O sinal de idêntico é usado só em PHP? Se não, quais linguagens possuem esse sinal?
Não, é usado pelo menos em JavaScript também, talvez em outras linguagens de tipagem dinâmica e fraca.
O ==
compara os valores no melhor esforço possível, se os tipos de cada operando forem diferentes a linguagem tenta compatibilizá-los para conseguir fazer a comparação. Isso pode trazer resultados indesejados.
O ===
considera o tipo e nenhuma coerção é feita. Se os tipos forem diferentes já é garantindo que o resultado será diferente e o valor só é avaliado se os tipos forem iguais.
Se sim, por que?
PHP é uma linguagem de script, foi feita para "facilitar" a criação rápida de código e o programador não ter que se preocupar com certos detalhes, então isso fazia sentido. Hoje a linguagem tenta deixar de ser script, mas precisa manter compatibilidade, então fica essa coisa meio esquizofrênica.
Caso C e Java o possuam, porque não é tão conhecido/ensinado junto com os outros sinais?
Isso é características de linguagens de tipagem fraca onde um valor pode ser passar como se fosse de outro tipo. Java não é assim.
C até é assim, mas de um jeito um pouco diferente, normalmente não se tenta fazer conversões, ele apenas tenta acessar e memória de forma bruta. Nunca acharam necessário ter um operador de "idêntico" em C porque a filosofia da linguagem é deixar acessar de qualquer forma. Mas hoje quase todos compiladores, pelo menos opcionalmente, produzem warnings quando isso ocorre forçando o programador usar um cast para indicar que a intenção é usar um tipo como se fosse outro.
É muito raro uma linguagem ter tipagem estática e fraca, C é assim porque é considerado um Assembly portável.
Mesmo linguagens de tipagem dinâmica optam por tipagem forte, caso de Python, Lua, Harbour, etc.
Coloquei no GitHub para referência futura.