Isso não existe em Pyhton, isso é praticamente um erro de digitação, se você colocar isso para compilar dará erro. Isto é HTML puro (antes da exibição), é a forma do HTML representar o caracteres <
sem confundir com abertura de tag. Então este código na verdade é isto:
i = 0
while i < 5:
print(i)
i = i + 1
Este funciona perfeitamente. Veja o código original não funcionando no ideone.
Então provavelmente está usando alguma tecnologia com defeito que trabalhe com código na web que acabou se confundindo e apesar de estar mostrando isso, só pode executando porque ele está com o código real correto e não isso.
Python tem um &
e ele é o mesmo que em outras linguagens, é o operador "e" bitwise, mas nada tem a ver com esse código.