Testei sua solução com mais objetos no array e diferentes formas, ela funciona perfeitamente. Estudei seu código para entendimento, e gostei muito. Muito obrigado!
A lógica das datas segue a ordem dos categories. Ex: Olhando pelo array original, o masculino quando Parda, tem o data 1, e quando Branca o data 2. Já o Feminino não possui valor quando Parda, logo seu data é 0, e possui quando Branca o data 1.