Você pode incluir um chunk de CSS no corpo do arquivo .Rmd, para definir os atributos visuais dos elementos html da página que é gerada.

Nesse caso específico, é preciso incluir, nesse chunk CSS, um seletor que identifique o cabeçalho, para então definir a cor de fundo desejada por meio da propriedade `background-color`. Um seletor possível seria `div.header-panel`.

Assim, incluir o chunk abaixo deve alcançar o resultado desejado:

```
```{css}
div.header-panel {
   background-color: blue;
}
```
```