Se entendi bem, depende de ambos.
A API muitas vezes é o diferencial de cada linguagem: eu, por exemplo, acho o C++ superior ao Java como linguagem. Mas a API do Java é extensivamente mais prática que a Biblioteca Padrão do C++. Por isso, se eu tivesse que escolher entre as duas para um projeto comercial, provavelmente escolheria Java.
Semelhantemente acontece com as APIs de sistemas: Depende de quem desenvolveu a API e de quem a consome. Mas depende principalmente de quem a desenvolveu.
Se a API foi desenvolvida bem seguramente mas o cliente a usa de mal modo, esse problema é exclusivo do cliente. O cliente poderá expor mal seus dados, mas isso não afetará de modo algum o servidor.
Já se a API foi desenvolvida com brechas de segurança, até o mais cuidadoso dos clientes pode ter sua segurança afetada. Ele não pode fazer mudanças de segurança no servidor; ele depende daquela API ruim. O máximo que ele pode fazer é ser cuidadoso em sua aplicação e torcer pra que ninguém tente usar o servidor mal-desenvolvido para prejudicá-lo.
Resumindo: Depende de ambos, mas principalmente de quem desenvolveu a API -- e não de quem a consome.