O filho é uma entidade própria e pode existir mesmo sem um pai. Logo remover o relacionamento não significa remover o filho. Para não aparecer mais no banco de dados o filho deve ser removido da lista do pai e também deve ser removido do contexto de persistência diretamente pelo entityManager.
Por exemplo, para remover o filho 0 do pai e do banco de dados:
Pai pai = entityManager.find(Pai.class, 19L);
Filho filho = pai.getFilhos().remove(0); // remove e retorna o elemento removido
entityManager.remove(filho);
Mas por que o filho não é removido pelo menos da lista do pai?
Bom, na especificação da JPA:
The many side of one-to-many / many-to-one bidirectional relationships must be the owning side, hence the mappedBy element cannot be specified on the ManyToOne annotation.
(JSR 338 - Seção 2.9 Entity Relantionships)
No seu caso quem está do lado "many" do relacionamento é o Filho. Portanto ele é o dono do relacionamento! Remover um filho da classe Pai não fará diferença pois o pai não é o dono do relacionamento.
Para desfazer a relação o pai deve ser removido do filho. O interessante seria sempre fazer os dois, remover o pai do filho e o filho do pai, assim o grafo de entidades fica sempre consistente.
Mas se o filho é removido em outro lugar e apenas o pai é recebido, não há como remover um filho sem a sua referência. Nesse caso o hibernate possui a opção orphanRemoval, onde qualquer filho sem pai é apagado automaticamente, assim basta remover o filho da lista do pai.
Outra opção é declarar o relacionamento apenas no lado do pai, apagando o manyToOne no filho. Neste caso o hibernate vai criar uma tabela pai_filho a mais o que pode ser indesejado, ao apagar o filho da lista do pai ele será removido do relacionamento, mas o filho vai continuar existindo na tabela dele, porém sem pai.