Isso é chamado cardinalidade.
De uma certa forma o que está na pergunta praticamente já diz o que é cada um.
1:1 significa que para cada linha de uma tabela será referenciada em uma linha na outra tabela e vice-versa.
1:N significa que para cada linha em uma tabela será referenciada diversas linhas na outra tabela que por sua vez cada linha só pode ter uma linha referenciada na primeira tabela. Em geral pode ser de 0 à N linhas.
M:N significa que para cada linha em uma tabela será referenciada diversas linhas na outra tabela e esta última pode ter em cada uma de suas linhas diversas referências para a primeira tabela. Em geral pode ser de 0 à N linhas.
Não gosto desse N:N. Isto implica que ambos possuem o mesmo número, o que não costuma ser verdade. Sei que muita gente usa assim, mas prefiro M:N.
Usa-se também, 0..1, 0..* ou 1..* para indicar com mais precisão quantas linhas podem ser referenciadas no mínimo (antes dos pontos) e no máximo (depois dos pontos) indicando se nenhuma pode ser (0), deve ser uma (1) ou pode ser várias (*).
Coloquei no GitHub para referência futura.