Escalar significa subir. Então a escalabilidade, neste contexto, é a capacidade de aumentar o tamanho do software ou do seu uso.
Quando falamos da escalabilidade do software em si estamos falando sobre ter um código e uma arquitetura que é fácil de dar manutenção, de aumentar suas funcionalidades, de várias pessoas trabalharem nele.
Eventualmente podemos usar o termo para indicar que o software pode ser usado por uma grande quantidade de usuários (clientes). No sentido de pessoas ou empresas.
A escalabilidade do uso tem a ver com a capacidade de aumentar o consumo de memória, de processos, atender demandas de alta exigência de processamento e possivelmente concorrência de acesso.
Existem inúmeras técnicas para possibilitar melhor escalabilidade de software.
Alguns softwares funcionam muito bem com baixa quantidade de dados ou acesso, mas quando isto aumenta, ele passa ter problemas. Não adianta por mais e melhores equipamentos. Seria uma solução paliativa.
Algumas coisas crescem linearmente e isto é bom, escala bem. Os problemas se dão quando o software cresce e as necessidades crescem exponencialmente. Ou seja, o aumento da necessidade gera um aumento da capacidade de forma proporcionalmente maior. É uma progressão geométrica.
Claro que o ideal seria ter uma progressão logarítmica, assim cada aumento da necessidade obriga um aumento da capacidade em uma proporção bem menor. Mas é raro conseguir isto em todo o software, a não ser em coisas pontuais do software.
Leia mais sobre isto em Big-O (em inglês bem melhor).
Provavelmente o termo é usado em mais contextos do software.
Muitas vezes usamos o termo se referindo à solução como um todo e não apenas ao software. Aí escalabilidade tem a ver com a capacidade de atender bem a necessidade adicionando infraestrutura. Há casos que o software não está preparado para isto. Adicionar infra vai trazer outros problemas que o software não sabe lidar. Softwares escaláveis se adaptam a isto.
Softwares pouco escaláveis são mais vulneráveis à ataques.
Artigo da Wikipedia. Em inglês bem melhor.
Coloquei no GitHub para referência futura.