O filho é uma entidade própria e pode existir mesmo sem um pai. Logo remover o relacionamento não significa remover o filho. Para não aparecer mais no banco de dados o filho deve ser removido da lista do pai e também deve ser removido do contexto de persistência diretamente pelo entityManager.  

Por exemplo, para remover o filho 0 do pai e do banco de dados:

	Pai pai = entityManager.find(Pai.class, 19L);
	Filho filho = pai.getFilhos().remove(0);  // remove e retorna o elemento removido
	entityManager.remove(filho);

Mas por que no seu exemplo o filho não é removido pelo menos da lista do pai?

Bom, na especificação da JPA:

> The many side of one-to-many / many-to-one bidirectional relationships
> must be the owning side, hence the mappedBy element cannot be
> specified on the ManyToOne annotation.  

> (JSR 338 - Seção 2.9 Entity Relantionships)

No seu caso quem está do lado "many" do relacionamento é o Filho. Portanto ele é o dono do relacionamento! Remover um filho da classe Pai não fará diferença no banco de dados pois o pai não é o dono do relacionamento.

Para desfazer a relação o pai deve ser removido do filho. O interessante seria sempre fazer os dois, remover o pai do filho e o filho do pai, assim o grafo de entidades fica sempre consistente. 

Para remover por omissão do jeito que você quer, o hibernate possui a opção orphanRemoval, onde qualquer filho sem pai é apagado automaticamente, assim basta remover o filho da lista do pai. Para isso é só mudar o @OneToMany na classe pai do seguinte jeito:

    @OneToMany(mappedBy = "pai", cascade = CascadeType.ALL, orphanRemoval = true)
    public List<Staff> getFilhos() {
        return staffs;
    }

Essa solução é específica do hibernate e não existe no JPA, mas seria a solução mais adequada a sua pergunta.

Outra opção é declarar o relacionamento apenas no lado do pai, apagando o manyToOne no filho. Neste caso o hibernate vai criar uma tabela pai_filho a mais o que pode ser indesejado, ao apagar o filho da lista do pai ele será removido do relacionamento, mas o filho vai continuar existindo na tabela dele, porém sem pai.