Conforme a definição já existente aí, abstração é esconder detalhes, é generalizar uma solução onde o mecanismo fique mais oculto e dê apenas um ponto de contato e um contrato de como se comunicar com aquilo.
O vazamento da abstração é algo que não está mas deveria estar oculto, que quem vai consumir não deveria saber ou ter que lidar e acaba tendo que fazer isso. Então há vazamento quando o consumidor tem que lidar com coisas que poderiam ter sido escondidas dele sem prejuízos.
Dosagem certa
É muito difícil fazer algo que não vaze. Eu sempre falo como é difícil criar as abstrações certas, ou vazamos ela ou blindamos demais. O exemplo da pergunta é uma das abstrações mais comuns que blindamos demais. Criamos complicações para ter algo abstrato que nunca precisa ser utilizado de fato, o banco de dados nunca muda.
Mas é pior, quem não sabe abstrair corretamente, e quase ninguém sabe, tende a criar uma série de problemas. Vemos em códigos aqui no site as pessoas quererem abstrair o banco de dados, elas nem sabem porque estão fazendo isto, mas elas fazem de forma ingênua e criam dificuldades, introduzem bugs tentando reproduzir o concreto na abstração, só que quem fez o concreto sabia o que estava fazendo.
Acha que não pode ficar pior? Se ela não sabe fazer isso bem, ela vaza abstrações específicas, e alguns detalhes acabam não sendo abstraídos, aí percebe-se que era um bug, mas como não estava corretamente abstraído não é possível corrigi-lo sem quebrar tudo o que tinha escrito, e você tem o pior dos dois mundos. Em muitos casos não abstrair, apesar de ser um vazamento completo, pode ser melhor que vazamentos indesejados pontuais, mas que você não percebe. Um vazamento consciente pode causar menos mal.
É comum vazamentos surgirem em versões novas. Você percebe que a abstração é inflexível e não resolve todos os casos que imaginava que iria resolver, aí quase sempre a solução é vazar uma abstração para passar por cima dela.
Frameworks são abstrações. Como eles não resolvem tudo acabam tendo que deixar você passar por cima deles. Por isso bibliotecas costumam ser mais consistentes. Frameworks são conhecidos por vazarem como loucos, porque eles se propõem resolver coisas que não conseguem sem perder flexibilidade. As pessoas nem se dão conta que estão criando vazamentos o tempo todo, até nas coisas mais básicas deles. O que não é um problema em si, pelo menos não um maior do que ele causaria se eliminasse a abstração.
Tentar não vazar pode trazer outros problemas. Deixar de vazar pode complicar o código interno da abstração ou até para o consumo. Cada vez mais vemos as pessoas tão preocupadas com isso que produzem verdadeiras aberrações.
Uma das maiores deficiências dos programadores hoje em dia é não saber abstrair as coisas, com isso repetem muito código, dão margem para erros, e sobrecarregam os consumidores desses códigos, o que não deixa de ser uma vazamento.
Exemplos
Não falarei o que já está no artigo do Joel linkado abaixo.
Exceções costumam ser vazamento de abstrações em muitos casos, até onde elas são bem usadas.
Gerenciamento manual de memória é um vazamento, o garbage collector é a abstração certa. Mas tem casos que ele falha, aí é vazamento. Você ter que adotar certos padrões de código para evitar pausas é um vazamento.
Se os compiladores fossem bons mesmo eles não exigiriam que a gente soubesse fazer um monte de coisa, especialmente para obter performance.
Ter que converter uma representação textual do número em número é um vazamento. Sabemos que as tentativas de resolver isso criaram aberrações nas linguagens.
Gostei do exemplo dado na resposta no SO. O carro é cheio de abstrações para ser fácil dirigir, imagine você ter que controlar o diferencial do carro na mão. Um câmbio manual é um vazamento de abstração, você tem que cuidar de um mecanismo de operação do carro que ele deveria cuidar sozinho. Dar seta é uma necessidade hoje em dia, mas será que ela não deveria ser automática quando começamos girar o volante mais fortemente mesmo que seja de forma atrasada? O controle de tração foi uma forma de acabar com um vazamento de abstração? Será que apenas acender uma luz indicando um problema não é um vazamento de abstração? Ou nem mostra nada e você ter que perceber por conta própria?
Notou que é debatível ou não o que é vazamento? O volante não é considerado vazamento porque é a forma mínima de se comunicar com o carro para dizer o que ele deveria fazer. Mas o conceito pode mudar porque logo teremos carros onde você diz onde quer ir e ele te leva lá sem maiores preocupações, mas hoje é um vazamento proposital para não complicar o todo e inviabilizar o projeto. Não ser possível fazer diferente não é desculpa para dizer que não houve o vazamento, é só justificativa para aceitá-lo. E percebe que podemos ignorar um vazamento porque achamos que não tem outro jeito de fazer ou que não é necessário ter uma abstração ali?
UX
Ter que saber usar o Git ou SVN é um vazamento de abstração com o usuário. Eu só deveria saber que quero controlar versões, não os detalhes dessas ferramentas. Imagine quantas coisas você obriga seu usuário fazer que o sistema poderia cuidar sozinho no código. Vazamento de abstração em outro nível afeta a experiência do usuário. Porque você acha que as pessoas usam melhor o celular (menos minha mãe) que o computador?
Os bancos e outros setores estão cada vez mais vazando abstrações dos seus serviços, um dos motivos de, ou reduzirem preços ou aumentarem seus lucros. E "esperto" é quem consegue fazer só o segundo aumentando a carga em cima de você.
Programar é muito difícil
Especialmente orientado a objeto que promete algo difícil de entregar, porque todas abstrações mentem. E o mapa não é o território, não tem como reproduzir o território ali.
All abstractions lie -- including this one
Vivo repetindo que não dominamos o problema o suficiente para criar boas abstrações, algo muito pregado em OOP. Por isso precisamos deixar as coisas mais soltas para ser mais fácil mudar depois, e OOP complica isso. E por isso OOP vai melhor quando não reproduzimos o mundo real e sim criamos abstrações próprias. Mesmo em GUI onde OOP vai bem, suas abstrações são péssimas, tanto que não dá para mapear bem a GUI de uma plataforma para outra.
Veja o artigo de um dos criadores deste site sobre o assunto.
Concluindo
O documento "canônico" sobre o assunto foi redigido por outro dos criadores deste site. Pelo menos foi ele que alertou a todos sobre o problema.
Coisas ortogonais são tão ou mais importantes que abstrações.
Simplicidade come abstração no café da manhã. Quando a abstração gera simplicidade ela é boa, quando isto não ocorre vazamentos existem ou surgirão. O complicado gera vazamento.
Espero que as analogias e exemplo fora da programação ajudem entender abstração e seu vazamento.
Coloquei no GitHub para referência futura.