Os traços dos telefones só podem estar presentes em posições específicas, certo?
/^([0-9]{5}(-| )?[0-9]{4})$/
Essa regex diz o seguinte:
- cinco números entre zero e nove;
- um espaço ou hífen, opcional;
- quatro números entre zero e nove.
Você pode refinar a expressão para não permitir, por exemplo, números de telefone iniciados por zero, ou para incluir mais trechos como código de área.
Para entender qualquer expressão regular em JS, recomendo o site http://regex101.com/. Você pode colocar uma expressão lá e o site explica os trechos.