Todos os exemplos citados pelo @VictorStafusa em sua resposta são jogos complexos. Vamos analisar o block breaker, já que ele foi o exemplo da pergunta?
Para definir um agente inteligente, você deve determinar PEAS:
- P: performance
- E: ambiente (environment)
- A: atuadores
- S: sensores
Um modelo equivalente é o PAGE, mas ele tem limitações ontológicas que são melhores atendidas pelo PEAS:
- P: percepção
- A: ação
- G: objetivo (goal)
- E: ambiente (environment)
Notou que em ambos você precisa determinar o ambiente? Qual o ambiente do block breaker?
Vou deixar o foco de múltiplos ambientes de lado já que só há atuação em um ambiente
Para começar a descrever o ambiente para o agente, precisamos descrever pelo menos as seguintes propriedades:
- dinamicidade
o ambiente é dinâmico ou estático? Isto é, ele sofre alterações em seu estado interno independente do agente?
- determinismo
o ambiente é determinístico ou estocástico? Existe alguma possibilidade de evento aleatório que altere seu estado interno? Obs: caos (conforme descrito na teoria do caos, o efeito borboleta) não é aleatório, apenas difícil de prever
- quantidade de agentes
estamos lidando com quantos agentes inteligentes nesse meio?
- observabilidade
o ambiente é completamente observável? Ou apenas se tem conhecimento parcial?
- continuidade temporal
é um agente com ações episódicas? Ou uma ação tem consequência no estado interno do sistema que precisa ser levada em consideração em uma ação futura?
Respondendo:
- é um ambiente dinâmico, ele evolui continuamente no tempo; isso se devido à mecânica do jogo, já que é um jogo de ação, que exige intervenção em tempo real
- até onde me consta, é um ambiente determinístico: dada uma configuração, o próximo passo já está definido; mas pode ser estocástico se a física da colisão implantada permitir que duas colisões iguais resultem em resultados distintos (já vi isso no jogo Idle Balls da Voodoo para iPhone); ele também poderia ser estocástico se blocos surgissem no mapa sem intervenção do agente
- é um sistema tipicamente mono-agente, em que só se tem um único agente no ambiente
- ele é completamente observável pelo agente, não há informação escondida; talvez tenha informação que é apresentada porém desconhecida pelo agente (por exemplo, blocos cinzas exigem três colisões para quebrar, blocos dourados não quebram; bloco azul vale mais pontos do que o vermelho), mas isso não quer dizer que a informação não esteja lá
- não é episódico, uma ação interfere no estado interno do ambiente
Bem, começamos com essas características do ambiente. Ufa? Bem, ainda não...
O ambiente continua sendo regido por um conjunto de "leis". A essas "leis", quando estamos falando de jogos, damos o nome de "mecânicas". Essas mecânicas implicam como o universo evolui por si só (é um ambiente dinâmico, não é estático) e também como se pode interagir com o jogo.
Temos quatro mecânicas principais nesse jogo:
- movimento retilíneo uniforme
dado que a bola segue seu trajeto
- colisões
quando a bolinha entra em contato com algo (parede, bloco, raquete), há uma colisão que vai mudar o estado da bolinha e do colidido
- vazamento da bolinha
caso a bolinha passe pelo fundo, ela vazou
- movimentação da raquete
o jogador pode definir como agir com a raquete
Em cima das mecânicas temos as regras. Por exemplo, vazamento da bolinha implica que perdeu uma vida (ou perdeu pontos). Blocos cinzas aguentam duas colisões e só partem na terceira. A raquete se move continuamente limitada a uma velocidade máxima, ou então ela faz saltos mágicos entre posições. A bolinha ao colidir com a raquete em movimento ganha/perde velocidade. Quebrar blocos gera pontos. Enfim, tem outras possíveis regras ainda que não vem ao caso.
Hmmm, percebeu que enquanto descrevíamos as regras do jogo tocamos em outro aspecto relativo ao ambiente? São os "elementos" do ambiente, os "objetos" contidos nele. Esses objetos são divididos nas seguintes classes:
- bolinha
- raquete
- bloco
- parede
- poço sem fim
Essas classes são importantes porque o agente vai perceber isso. A percepção do agente será relativo ao objeto e suas propriedades intrínsecas, que dependem de cada classe.
- bolinha
esse objeto contém posição do centro ((x,y)
), velocidade (direção/sentido/magnitude) e raio
- raquete
esse objeto contém posição do centro ((x,y)
) e, também, dimensões para calcular onde estão seus quatro vértices; pode conter também velocidade máxima, caso seja especificado que ele não salte posições
- bloco
esse objeto contém posição do centro ((x,y)
) e, também, dimensões para calcular onde estão seus quatro vértices, contém também cor, com possível implicação nas regras
- parede
esse objeto está localizado nas bordas superior e laterais do ambiente, não tendo outras informações relevantes
- poço sem fim
esse objeto está localizado na borda inferior do jogo, não tendo outras informações relevantes
E quais são as possíveis atuações do agente? Bem, apenas mexer a raquete. Mas isso pode se dar de duas maneiras:
- vai pro lado especificado na velocidade
X
(talvez X
seja informável, talvez seja a velocidade máxima)
- vá para esta posição em específico (se tiver velocidade máxima, ele irá se deslocar em velocidade máxima, caso contrário será teletransporte)
E como faço o cálculo da performance do agente? Bem, podemos começar com o score do jogo.
Nesse caso em específico do block breaker, as ações não influenciam na performance diretamente, pois não importe o quanto você mova a raquete, isso só vai significar algo caso encontre a bolinha. Então o agente precisa calcular suas ações sabendo que a recompensa é não imediata. Isso é particularmente desafiador se o agente conhecer o mínimo da ontologia do ambiente, como você está requisitando. Uma função de aprendizado focado num modelo meio pavloviano de ação/recompensa ou ação/punição não funciona para este tipo de ambiente (ainda mais se a velocidade da bolinha for baixa).