Primeiro, não é necessário alterar o código para evitar repetir o aprendizado. Não tenho conhecimento profundo sobre IA, até porque é bem mais complicado do que as pessoas acham que é, mas sei que o aprendizado não é sobre gerar novos códigos por conta própria.
Se fosse e não pudesse alterar o próprio código então seria impossível fazer isto.
Então claro que pode alterar o próprio código. Os JITters fazem isso o tempo todo.
Mesmo que isso esteja disponível não seria muito difícil fazer um mecanismo que altere os fontes e gere um novo executável.
Se quiser só mudar no executável dá também, precisa saber onde colocar nele. Me parece muita gambiarra.
Minha dúvida então é, é possível o programa modificar o seu próprio código fonte e modificar os valores das variáveis? Se sim, como?
Valores das variáveis são mudadas o tempo todo, por isso eles levam este nome.
Meu programa termina sua execução com a variável count = 3, então da próxima vez que ele for aberto, será atribuído o valor 3 para count novamente.
Basta persistir o valor em algum lugar, não é necessário mudar o código. Quer persistir no executável? Pode, não acho recomendável.
Porque eu gostaria que, qualquer pessoa sem arquivos externos, poderia usar meu programa, de onde parou.
Isso não é exatamente alterar o próprio código, é no máximo persistir dentro do executável.
Inclusive é possível usar resources para armazenar esses valores já que o desejo é apenas não ter um arquivo externo, o que eu acho uma vantagem pouco necessária.
Coloquei no GitHub para referência futura.