JSON é um formato de dados. Uma das coisas em que ele é usado é a comunicação entre o cliente e o servidor web.
Cada lado não precisa saber a tecnologia que está do outro lado, por isto existem padrões regulando a comunicação. De fato o servidor não precisa saber se ele está servindo um navegador web, uma aplicação móvel, um software desktop ou mesmo um outro servidor. Muito menos precisa saber que tecnologia está fazendo a requisição, desde que ela siga os padrões estabelecidos.
O mesmo vale no sentido contrário. Essencialmente qualquer linguagem de programação pode ser usada para fornecer resultados para os requisitantes desde que siga estes padrões. E boa parte do padrão pode ser atendido através de um servidor web como o Apache ou IIS, portanto a sua aplicação C só precisa saber entregar o resultado para este servidor.
Os dados requisitados pelo JavaScript em um navegador ou não podem ser entregues dentro de qualquer formato, desde que o script requisitante saiba o que fazer com ele. Evidentemente que não é comum e não costuma valer a pena criar formatos próprios.
Inicialmente o formato proposto para usar em requisições assíncronas era o XML. Daí o X do nome AJAX. Mas o formato foi considerado pesado e complicado e foi quase universalmente substituído pelo JSON, mais leve e simples.
A não ser que você tenha um bom motivo para escolher outro formato ou outra forma de comunicação, é melhor seguir esta consagrada mesmo.
Então se sua aplicação C que vai atender as requisições recebidas pelo servidor HTTP é capaz de formatar os dados em JSON, faça isto e estará bem servido. Se ela não é capaz e não consegue resolver isto, terá que escolher um formato e adaptar o JS para entender este formato.
Se você estiver fazendo algo que será consumido por terceiros é melhor usar algo bem padrão, mesmo que tenha uma dificuldade a mais, ou até uma camada a mais.
Alguns poderão achar que um formato binário pode trafegar menos dados. Isto pode ser verdade em algumas situações. Mas é possível fazer compressão dos dados texto e reduzir o tráfego. Dependendo da quantidade de dados pode não compensar. Adotar um formato binário tem complicadores e apesar de viável, não é comum ser adotado.
Não faça em C algo diferente do que você faria em outra linguagem a não ser que tenha algum requisito que exija uma mudança.