O filho é uma entidade própria e pode existir mesmo sem um pai. Logo remover o relacionamento não significa remover o filho. Para não aparecer mais no banco de dados o filho deve ser removido da lista do pai e também deve ser removido do contexto de persistência diretamente pelo entityManager.
Por exemplo, para remover o filho 0 do pai e do banco de dados:
Pai pai = entityManager.find(Pai.class, 19L);
Filho filho = pai.getFilhos().remove(0); // remove e retorna o elemento removido
entityManager.remove(filho);
Mas por que o filho não é removido pelo menos da lista do pai?
Bom, na especificação da JPA:
The many side of one-to-many / many-to-one bidirectional relationships must be the owning side, hence the mappedBy element cannot be specified on the ManyToOne annotation.
(JSR 338 - Seção 2.9 Entity Relantionships)
No seu caso quem está do lado "many" do relacionamento é o Filho. Portanto ele é o dono do relacionamento! Remover um filho da classe Pai não fará diferença pois o pai não é o dono do relacionamento.
Para desfazer a relação o pai deve ser removido do filho. O interessante seria sempre fazer os dois, remover o pai do filho e o filho do pai, assim o grafo de entidades fica sempre consistente.