Esta saída está correta, isso é a implementação padrão do `.toString()` na classe `Object`.

Você pode criar uma implementação do método `.toString()` na classe `Contato` para alterar a saída ou então passar para o `JOptionPane` a informação que deseja mostrar.

    for (Contato umContato : contatos){ 
        JOptionPane.showMessageDialog(null, umContato.getNome()); // Mostra o nome do contato
    }