Backward compatibility é algo que é compatível com as versões anteriores daquele componente ou com outros componentes já existentes, então este novo componente consegue conversar ou substituir perfeitamente componentes existentes. Em geral estamos falando de algo que continua sendo capaz de fazer as mesmas coisas que se fazia antes, invocando da mesma forma, mesmo que mude a implementação ou adicione algo novo. Se essa compatibilidade for quebrada provavelmente precisará de manutenção ou mudança de comportamento. Isso é considerado perda de funcionalidade que pode desagradar o usuário.
Forward compatibility é a capacidade do componente conseguir se comunicar com outros componentes que ainda estão por vir. Normalmente é uma preparação para que a forma exata do dado que ele receberá não precisa estar de um jeito tão específico, apenas obedece certos contratos. Uma técnica muito usada é a "programar voltado para interface e não para a implementação". Alguns padrões de projeto são úteis para obter a compatibilidade pra frente.
Provavelmente viu isso sobre compatibilidade dos navegadores. Em geral as tecnologias web são feitas para que novidades nelas não causem problemas em renderizadores antigos, eles só são ignorados.
Os termos funcionam muito para o desenvolvimento de software, mas também pode ser usado para hardware ou outros campos.
Coloquei no GitHub para referência futura.