É a existência de certas características. Ela é muito liberal em várias coisas e exige que o programador faça tudo certo. Não é que ela seja vulnerável, ela só exige que a pessoa saiba bem o que está fazendo, ela não te protege muito. E as linguagens são todas suscetíveis a algumas falhas. Não caia no marketing de alguma linguagem ser uma maravilha.
C faz você controlar toda memória na mão, e isso não é fácil, se você falhar em algum caso, dará problema.
C permite acessar a memória indiscriminadamente, e até onde não devia, é o programador que deve cuidar para que isso aconteça só do jeito certo.
C tem muito comportamento indefinido e o programador tem que saber bem disso e cuidar para que aconteça o que ele espera em cada plataforma.
C tem algumas funções da biblioteca padrão que são consideradas inseguras, então deve não usá-las ou usar com mais cuidado.
Tudo isso dá vantagens para C que outras linguagens não costumam ter.