Programar é achar uma solução automatizada para um problema. Certos tipos de problemas em programação, que envolvem entidades que transitam a cada momento para um estado diferente dentro de um conjunto finito de estados possíveis, podem ser modelados (representados) na forma de uma máquina de estado finitafinita, que é basicamente um certo tipo de diagrama que irei descrever. Essa representação em princípio não chega a entrar no mérito de como esse problema vai ser solucionado no código, mas facilita essa transição, sugerindo um algoritmo e eventualmente algumas abstrações.
Também não estou entrando no mérito do outro tipo de máquina de estado, que são as máquinas de estado infinitasinfinitas. Como se vê aqui no SOpt, é comum que ao se falar em máquina de estado em programação esteja subentendendo as máquinas de estado finitas.
É um conceito bem simples na verdade, em geral faz sentido modelar o problema como uma máquina de estado finita quando você tiver uma entidade (uma "coisa" qualquer) que pode a cada momento estar em um determinado estado dentredentro de um conjunto de diversos estados possíveis, como no caso de uma lâmpada (ligada ou desligada), um semáforo (vermelho, verde, amarelo, e não esqueçam também do estado de "defeito") ou outras coisas assim (na verdade acho que três ou mais estados é mais comum, se forem só dois a gente tende a se virar com booleanos para resolver o problema), e existe um critério para se passar de um estado para outro que respeita uma certa lógica e também ações que devem acontecer quando se chega a um estado "X", bem como a lógica para escolher qual vai ser o próximo estado.