Não é uma questão de "diferença".
Web services são "API's" para acessar dados através de protocolo HTTP. Qualquer forma de comunicação sobre HTTP para transferir dados entre aplicações pode ser chamada de web service.
Existem várias maneiras de estruturar a sua "API" usando HTTP como meio de transporte. A indústria desenvolveu e adotou o SOAP, usando um conjunto enorme de protocolos para trocar informação em XML sobre HTTP. SOAP ganhou um viés muito corporativo e ficou complexo, então alguns desenvolvedores adotam XML-RPC, que é mais informal.
Inicialmente, se usava XML mesmo quando o cliente da API era uma aplicação web em um browser, mas eventualmente caiu a ficha de que decodificar XML no browser era muito pesado e que seria mais simples entregar o conteúdo em JSON, que nada mais é que a estrutura de dados nativa do Javascript.
Então JSON é só o formato de transferência de dados usado por web services. Se seus web services forem consumidos por aplicações em browsers, é natural que você opte por JSON. Se forem consumidos por outras aplicações, talvez XML faça mais sentido. Como os dois são apenas formatos para a mesma informação, os frameworks de desenvolvimento (Rails, por exemplo) costumam permitir que o mesmo web service retorne JSON ou XML de acordo com a solicitação do cliente.