A resposta do Wallace Maxters já está boa, só vou dar uma visão um pouco diferente da mesma coisa.

Vejo o `yield` como o gerador/iterador citado. É o responsável por manter estado entre as chamadas da função que o uso. Ele é o responsável por armazenar onde ele parou na execução da função e, portanto, de onde deve retomar quando ela voltar a ser executada.

Por acaso, ele tem um `return` implícito na sua execução. Então ele, geralmente, é usado em substituição ao `return` puro que é o retorno simples sem guardar estado.

Informações adicionais para quem está chegando aqui com dúvida total sobre o assunto:

- http://pt.stackoverflow.com/q/44293/101
- http://pt.stackoverflow.com/q/50208/101
- http://pt.stackoverflow.com/q/91400/101
- http://pt.stackoverflow.com/q/38910/101
- http://pt.stackoverflow.com/q/53547/101