Isso não existe em Pyhton, isso é praticamente um erro de digitação, se você colocar isso para compilar dará erro. Isto é HTML puro (antes da exibição), é a forma do HTML representar o caracteres <
sem confundir com abertura de tag. Então este código na verdade é isto:
i = 0
while i < 5:
print(i)
i = i + 1
Este funciona perfeitamente. Veja o código original não funcionando no ideone. Também coloquei no GitHub para referência futura.
Então provavelmente está usando alguma tecnologia com defeito que trabalhe com código na web que acabou se confundindo e apesar de estar mostrando isso, só pode executando porque ele está com o código real correto e não isso.
Python tem um &
e ele é o mesmo que em outras linguagens, é o operador "e" bitwise, mas nada tem a ver com esse código.