A tag é apenas uma marca, em geral, em um branch específico que marca uma situação em um determinado momento.
O branch tradicional deve ser algo experimental, algo em paralelo, algo que potencialmente será incorporado ao desenvolvimento principal, ao branch principal.
A tag costuma marcar um release, uma versão ou algo assim. Então a tag é apenas um apontador para um commit específico enquanto que um branch é um caminho, um galho de desenvolvimento.
A tag é apenas um nome que se dá para um estado do desenvolvimento. Desta forma fica fácil acessar aquele estado sempre que for preciso.
No Git não há custo em ter uma tag, é algo simbólico e não ocupa espaço no repositório. Você não altera o que está na tag. É um ramo estático que pode ser usado a qualquer momento. A tag será usada eventualmente, quando há algum evento importante no desenvolvimento e que ali precise desta marca para voltar nela outras vezes. Normalmente este evento é um release.
Se trabalha no desenvolvimento sempre em cima de branches através dos commits. É nele que se faz o merge do estado anterior com o que foi desenvolvido agora. O branch vai recebendo evoluções do desenvolvimento. É incentivado que se faça um novo branch, sempre que possível, quando vai iniciar uma nova linha de desenvolvimento.
Coloquei no GitHub para referência futura.