Isso acontece devido aos diferentes tamanhos e densidades de tela do sistema.
Em termos de usabilidade, se você tem um número pequeno e fixo de linhas (como no caso de um menu) podes utilizar algo como o LinearLayout ou ConstraintLayout e configurá-lo de modo a utilizar todo o tamanho disponível, então distribuir o tamanho dos itens de maneira proporcional para preencher a tela.
Se a lista precisa ser dinâmica (justificando a utilização do RecyclerView) e o tamanho do seu dataset variar, talvez seja melhor não se preocupar com o fato dos itens "preencherem perfeitamente a tela" - até mesmo porquê após a rolagem os itens do topo e base ficarão parcialmente visíveis. Caso a exibição integral dos itens seja um requisito, uma boa solução pode ser utilizar bibliotecas como esta, que irá ancorar o scroll dos elementos.
Caso as sugestões anteriores não resolvam o problema, você pode calcular dinamicamente a altura dos itens do layout de acordo com o tamanho da tela. Para isso é necessário obter a altura visível do RecyclerView, subtrair margens e acolchoamento (padding) e dividir pela quantidade de itens a serem exibidos. O resultado será a altura de cada item, que pode ser definida no método onBindViewHolder
do seu adapter.
Uma solução mais simples seria definir a altura dos itens de acordo com as dimensões da tela. A documentação do Android Developers explica como fazer isso.