Seria o dado que realmente interessa sem metadados, sem o cabeçalho de transmissão ou outras informações acessórias usadas apenas como infraestrutura para transmitir o que importa. Então ele é o corpo da informação, é o que é útil de tudo o que está sendo transmitido.
A tradução literal "carga que paga" poderia ser chamada de "conteúdo que vale a pena".
O significado pode ser diferente em outros contextos, mesmo da computação.
Exemplo de pacote TCP (não achei um bom de HTTP, mas a ideia é parecida). O Data (verdinho) é o payload:
Em outra pergunta tem um diagrama mostrando as várias camadas de comunicação e todas possuem cabeçalhos que vão sendo adicionados em cada camada e a parte de "dados", que é o tal do payload. Se o payload for muito pequeno o overhead dos cabeçalhos de todas camadas se torna um fardo. Você pode ter algum controle sobre o tamanho do payload em camada alta, mas nas mais baixas o controle vai ficando menor, payloads muito grandes tendem ser fatiados antes de serem transmitidos.
O payload não tem formato de texto ou binário. O fato de ser JSON é apenas circunstancial. Em HTTP ele até é um texto por imposição do protocolo, mas pode ser o HTML, CSS, JS, texto bruto, binário codificado em base64, etc.
Coloquei no GitHub para referência futura.