A resposta do bigown está excelente na minha opinião. A pergunta de fato é subjetiva e como está aberta posto esta resposta para a adicionar meus dois centavos a respeito do uso de IDEs vs Editor de texto para iniciar em C.
Também sou iniciante em C, para meu aprendizado cada um teve uma importância especial, resumidamente:
Os editores de texto tiveram sua contribuição inicial pois permitiram entender o básico de que, escrevendo o código em um simples texto e depois rodando um compilador, tem-se um programa executável.
Agora os IDEs tiveram um papel mais amplo, nos IDEs (em primeiro o Eclipse) foi possível ver e entender a estrutura mais ampla código, entender melhor os cabeçalhos, os imports as condições no preprocessador e os erros na compilação. Tudo isto porque o Eclipse colore a sintaxe, mostra as ligações, mostra o que foi incluído ou não no código e aponta os erros.
Por fim, existe um IDE e uma série de tutoriais que teve um papel fundamental para o melhor entendimento da programação em C: O IAR Embedded Workbench, ele é voltado para a programação de microcontroladores ARM e permite rodar simulações visualizando a memória e o código "descompilado" em assembly. E isto é fantástico porque visualiza-se em tempo real, por exemplo, o que acontece na máquina quando se coloca um valor em uma variável, quando se usa um ponteiro, o que acontece quando se executa um loop, etc.
Pode parecer complicado mas existe uma série de tutoriais que explica passo a passo todo o processo ensinando a programar em C usando o IAR para ver os resultados.
Como exemplo, com o uso desta ferramenta e do tutorial foi possível entender rapidamente, em 12min precisamente :), uma das minhas maiores dúvidas, o básico do que são e como funcionam os ponteiros.
Então, acredito que para iniciar, é necessário passar por várias ferramentas, editores, IDEs. Depois com a experiência decide-se o que mais te agrada e o que atende às suas necessidades.
Fugindo do C, sou programador Python à 5 anos, pelos menos no python vejo que certos projetos ganham tal amplitude em complexidade (tamanho do código, número de arquivos, colaboração em time, etc) que fica muito difícil de gerenciar apenas com editores de texto, assim, minha escolha, devido a necessidade profissional, são os IDEs. (Mas não posso negar que editar código no VIM é muito divertido :) ).