A resposta mais simples é que esse termo, que é usado não só com PHP mas como a maioria das linguagens existentes, vem da álgebra linear.
Em álgebra linear, dizemos que um valor é escalar para denotar um número ou valor simples, e não uma estrutura algébrica. Falar sobre as estruturas algébricas em si seria meio que desviar do assunto, então para os curiosos vou apenas deixar um link para a wiki correspondente: da Estrutura algébrica.
Já em programação, uma variável é escalar se ela for um número, uma stringstring ou outro tipo dos ditos "primitivos" em várias linguagens - que é distinto de uma estrutura com mais lógica e conjunto de operações implícitos como uma instância de uma classe ou um arrayarray. E sim, eu sei que stringsstrings são no fundo arraysarrays de caracteres, mas recebem tratamento especial em quase toda linguagem.