ABI, Application Binary Interface não tem uma relação direta com API, mas guarda alguma semelhança.
Assim como a API é a maneira dos códigos se comunicarem através do source, a ABI é a maneira dos códigos se comunicarem através do target. A API é sobre o que o compilador recebe para trabalhar, a ABI é sobre o que ele emite para ser executado.
Assim como a API é sobre a especificação de como a comunicação deve ocorrer com seu código, a ABI é a especificação de como a comunicação deve ocorrer internamente no executável.
A especificação determina:
- tamanho e disposição dos dados
- convenção de chamada de função, onde os argumentos são passados, quais vão por registrador e quais pela pilha, e de que forma
- como as chamadas da funções do sistema operacional deve ocorrer
- o formato do código binário.
Só faz sentido entender da ABI em linguagens que geram código nativo e que se comunicam com outros compiladores, da mesma ou de diferentes linguagens, ou faz acesso direto ao sistema operacional. Se geram códigos de compiladores de ABI diferentes eles provavelmente não conseguirão conversar diretamente exigindo alguma intermediação. Por isso algumas coisas sempre terão que chamar uma DLL.
No artigo da Wikipedia tem uma imagem que mostra melhor essa relação:

Existe o uso de API em outro contexto, e até muita gente acha que só tem esse, mas acho que é um contexto diferente do que está aqui.
Coloquei no GitHub para referência futura.