Geralmente o termo é usado quando o mecanismo de acesso ao banco de dados fica junto com a aplicação, em oposição de ter uma outra aplicação com a qual a sua se comunica para acessar o banco de dados.
O banco de dados embarcado mais conhecido é o SQLite (e também é o mais usado do mundo considerando todos os tipos de DB).
Nesse caso o produto permite funcionar assim ou como servidor. Cada um tem sua vantagem.
Para coisas simples que vão rodar só naquela máquina costuma ser melhor usar ele embarcado na aplicação. Só não sei o quanto o H2 é bom nesse modo, é comum ter algumas limitações, alguns produtos tem limitações demais. Mas tende ser mais rápido e simples de implantar e cuidar. Quase todos os websites do mundo (não falo de aplicações web, muitas podem, mas boa parte não) podem bem ser atendidos por um banco de dados embarcado, até porque a esmagadora maioria deles tem pouco acesso e pouca interação. Rearquitetado "um pouco", provavelmente este site (a versão em inglês mesmo, um dos sites mais acessados do mundo, mas que praticamente é uma aplicação) daria para rodar com SQLite ou algum DB embarcado, com vantagens e desvantagens (não é que seja tão simples e não estou dizendo que compensa).
Se tiver várias instâncias de aplicações querendo acessá-lo ao mesmo tempo, especialmente em máquinas diferentes o servidor passa ser melhor, ou até necessário.
Coloquei no GitHub para referência futura.