Em princípio, pode, mas se for usar por linha de comando, precisa de "escape" ou aspas em Unix. Apesar de aceito no nome de arquivo, no Shell ele tem um significado especial, ele separa os comandos. No Windows é aceito sem restrições.
AComo complemento, a Wikipedia em inglês tem um compêndio muito bom de informações sobre nomes de arquivo: