Se a cada instrução do processador, você fizer um dump dos 4 Gb de memória (e também das caches, do disco e dos registradores), quaisquer programas que estejam rodando irão eventualmente repetir um estado e você consegue comprovar isso com o dump. Afinal de contas, se a memória tem um tamanho finito, logo a quantidade de estados existentes é finita. O problema da parada se aplica para os casos onde a memória é infinita, mas esse caso é o que tem memória finita.
O problema da parada é (teoricamente) solucionável nos casos onde a memória é finita fazendo exatamente isso que você propõe. No entanto, é preciso olhar esse "teoricamente" com bastante atenção.
No pior caso, você teria que percorrer todos os 2n estados de memória até ele repetir, onde n é o número de bits existentes na memória como um todo. Se n for um valor suficientemente pequeno (para algum dispositivo com uns poucos bytes de memória total), isso até que é viável. Para um computador típico de alguns gigabytes de memória, isso é totalmente inviável. Se considerarmos apenas os 4 Gb de memória e desconsiderarmos os discos, o número de estados existentes seria de 234.359.738.368 (4 Gb = 34.359.738.368 bits). Isso resulta em um número com mais de 10 bilhões de dígitos decimais!
Cada bit de memória existente dobra a quantidade de estados possíveis e consequentemente dobra o tempo e o consumo de energia necessário para percorrer todos esses estados. A cada byte de memória acrescentado, a quantidade de estados aumenta em 256 vezes. Agora, imagine ter 34.359.738.368 bits, cada um dobrando a quantidade de estados possíveis (isso são 4 Gb, e olhe que isso é só a memória principal de um computador já considerado limitado para os dias de hoje, além disso estamos desconsiderando os discos).
Você simplesmente não consegue percorrer todo esse montão de estados porque isso demorará um tempão e gastará muita energia. A física termodinâmica vai impôr barreiras antes que você possa terminar isso. Logo, uma dessas coisas acontece antes:
O computador é destruído por forças externas a ele.
O Universo acaba antes de você percorrer todos os estados. Não sei se seria com o Big Crunch, o Big Rip, o Big Freeze, Big Bounce, Heat Death ou outra coisa. Mas qualquer que seja o caso, não seria bom para você. Isso implica na hipótese 1 acima.
Você consome toda a energia do universo a fim de criar e armazenar dumps de memória suficientes (ou mesmo se for só para manter o computador em funcionamento percorrendo todos esses estados). Isso implica na hipótese 2 acima que por sua vez implica na hipótese 1.
Assim, não é difícil se ver que com uma quantidade de memória suficiente, uma das três coisas enumeradas acima ocorreriam (e ocorreriam bem cedo!) nesse processo.