TL;DR
Linguagem de programação é um conceito mais abstrato, são as regras especificadas que regem como um código deve se comportar para produzir programas de computador. A linguagem não é um programa que executa.
Compilador é o que concretiza a linguagem de programação, é o que aplica estas regras e transforma o que um humano entende no código que a máquina entende e é capaz de executar. É um programa de transformação. Normalmente ele é um programa que roda em console através da linha de comando.
IDE é uma ferramenta (um software) que ajuda todo processo de desenvolvimento de software integrando outras ferramentas e facilitando seu uso. A principal função dele é o editor de texto.
Hoje em dia é muito comum as pessoas, principalmente quando estão começando a programar, não entenderem muito bem todos os aspectos do que envolve o processo de desenvolvimento de software, toda teoria da computação, e o papel de cada ferramenta neste processo. IDE não é a linguagem de programação.
IDE
Como as pessoas começam como usuários de computador onde o normal é usar um Microsoft Word por exemplo, e aquilo faz tudo o que ele precisa em termos de edição de texto, quando ela vai programar e mandam ela instalar o Visual Studio, o Eclipse, o Android Studio ou algum outro IDE ela acha que aquilo é a linguagem de programação.
O IDE (Integreted Development Environment) é o ambiente de desenvolvimento integrado (note que é masculino), ou seja, é o programa que integra as várias ferramentas necessárias para o desenvolvimento de softwares ajudando todo o processo ficar mais fácil.
Sua principal função é ajudar o programador editar o código que será usado para criar seu programa.
Outra coisa muito importante que todos IDEs fazem é chamar o compilador, ou interpretador, dentro de certos parâmetros para gerar e/ou executar o programa criado se ele não contiver erros.
Ele também ajuda:
- depurar programas durante a execução com várias facilidades;
- gerenciar os projetos e suas configurações
- executar testes, montar o deploy ou até mesmo fazê-lo;
- fazer análise estática;
- controlar de versão;
- acessar banco de dados;
- gerar códigos automaticamente para certos padrões de codificação, como telas e relatórios;
- dar acesso fácil à documentação;
- diversas ajudas durante o processo de edição do código.
Isso pode variar de IDE para IDE e como ele está configurado. Como o nome diz, estas ferramentas costumam ser integradas. Claro que algumas estão lá por padrão, mas muitas delas dependem de um programa externo para executar a tarefa. O próprio compilador da linguagem normalmente é algo externo.
Um IDE pode suportar várias linguagens (ter ferramentas específicas para apoiar o uso de determinada linguagem).
Compilador
O compilador é o programa que analisa e gera o executável do que está sendo criado. Ele pega um texto compreensível por humanos - o que o programador escreveu - e transforma em código compreensível por máquinas, um código binário que possui instruções do que o processador deve executar (há casos de código intermediário).
Obviamente ele não é um programa mágico, especial. Ele é apenas um processador de dados como tantos outros. Ele lê textos e os transforma. De uma certa forma é um programa relativamente simples. Claro que há complexidade em interpretar toda a gramática de uma linguagem e cada uma tem seu grau de complexidade.
Durante esse processo erros sintáticos e semânticos são verificados, otimizações podem ser feitas, e uma geração de novo código alvo é realizada.
Em alguns casos é possível interpretar este código ao invés do processo tradicional de compilação, ainda que a interpretação envolva um processo de compilação interno.
O compilador deve entender as regras que uma determinada linguagem de programação foi construída, e deve garantir que todas elas foram seguidas transformando o código escrito obedecendo estas regras.
Em geral o compilador é um programa de console, mas há casos que eles são bibliotecas que podem ser usadas em conjunto com outros programas.
Existem compiladores que suportam várias linguagens, ainda que costume existir uma certa separação (em geral há uma plataforma de compilação única mas compiladores diferentes).
Entenda Como é feito um compilador?.
Linguagem de programação
A linguagem de programação é este conjunto de regras. É o que define a sintaxe e semântica a ser obedecida. Assim como toda língua natural, mas neste caso é uma língua mais limitada, mais lógica e com um propósito específico.
Estas linguagens podem ser C, C++, C#, Java, BASIC, COBOL, Fortran, Pascal, Go, D, PHP, JavaScript, Python, Ruby, Perl, Lua, Lisp, Haskell, etc.
Existem tantas porque cada uma possui um ponto forte, além de atender melhor um tipo de problema específico, atende gostos de pessoas diferentes. Há casos que não é bem a linguagem em si que a torna viável para um problema mas sim a infraestrutura que foi montada em torno dela.
Este conjunto de regras é definido por uma gramática e provavelmente uma especificação formal, ainda que alguns casos mais específicos a implementação do compilador é que define como a linguagem se comporta. Em geral isto ocorre em linguagens não padronizadas e que só possuem apenas um compilador para ela.
Entenda Como é desenvolvida uma linguagem de programação?.
É comum os compiladores não seguirem a especificação 100%, em geral por falha, ou mais ainda, por adicionar capacidades que a especificação não determina. Evidentemente isto é a exceção, caso contrário começaria se transformar em outra linguagem.
Nem todas linguagens são de programação.
Onde você programa?
Você usa o IDE para facilitar o trabalho de desenvolvimento, mas ele é apenas um facilitador e não pode ser confundido com a linguagem de programação. Qualquer problema que você está tendo com o código que está escrevendo é um problema com a linguagem e não com o IDE. Fazendo uma comparação com outras línguas, se você não sabe como escreve uma palavra em português ou como construir uma frase não pode dizer que isto é uma dificuldade que está tendo com o Word, é uma dificuldade com o português.
Um problema com o IDE ocorre durante o processo geral de desenvolvimento, quando algo falha ou a dificuldade encontrada é no IDE você tem um problema nele. Comparando novamente, quando você não está conseguindo fazer um parágrafo no Word, é uma dificuldade com o Word.
Quando alguma das ferramentas usadas falham ou você encontra dificuldade isoladamente você tem um problema nela especificamente. Isso pode ser até o compilador, mas raramente um problema é do compilador em si.
A maior parte das falhas ou dificuldades que a pessoa encontra durante o processo é durante o processo de compilação, mas porque o código tem algum problema, não porque o IDE ou o compilador não estão funcionando. Então o problema é com a linguagem de programação.
E não, o bug não está no IDE ou no compilador. O bug está no seu código escrito. É mais fácil acertar na loteria do que uma pessoa iniciante em programação achar um bug, principalmente no compilador, impedindo o uso correto da linguagem.
Um IDE pode usar compiladores diferentes, não só para linguagens diferentes, mas também para a mesma linguagem. A linguagem é única (ainda que possa ter dialetos), os compiladores não, e IDE menos ainda. O fato da maioria das pessoas usarem um determinado IDE para uma linguagem não o torna como parte da linguagem.
Um IDE é totalmente desnecessário para usar uma linguagem de programação (bem, pode existir alguma linguagem esotérica que exija). O compilador é absolutamente necessário, ainda que em alguns casos ele seja mais um interpretador.
Exemplos de compiladores e IDEs
C/C++
Compiladores como o GCC suportam linguagens como C, C++, Objective C, Fortran, Java (é muito raro alguém usá-lo para ela) e outras. Note que o GCC é apenas um dos compiladores existentes para as linguagens C e C++. Ele funciona em todas plataformas mainstream e várias outras. Entenda por plataforma, a arquitetura do processador ou sistema operacional. Em algumas pode exigir uma distribuição diferenciada, como é o caso do Windows. Neste sistema operacional costuma-se usar o MinGW, mas no fundo o compilador é o GCC. Há quem use também a distribuição Cygwin, mas á raro.
As linguagens C e C++ são padronizadas e possuem diversos compiladores que atendem suas especificações. Entre eles o Clang, Visual C++ (Note que ele não chama Visual Studio C++ que seria o IDE para esta linguagem, apesar do nome, o compilador funciona em linha de comando e não tem nada de visual, esta parte fica no IDE) e Intel C++ Compiler, só para citar os mais conhecidos e ativos.
Code::Blocks é um dos IDEs "independentes" mais usados. Quem usa a biblioteca Qt costuma usar o Qt Creator. Há quem goste do CodeLite, C++Builder, ou XCode. CLion começa ter adeptos.
Estas são linguagens onde há abundância de IDEs e todos importantes os que permitem o uso de várias linguagens oferecem algum nível de suporte a elas, em algum nível. Infelizmente há alguns bem ruins indicados em cursos (Dev C++, cof cof).
Java
Java é outra linguagem que possui diversos compiladores. O mais conhecido é o disponibilizado pela Oracle. Alguns fogem um pouco do padrão e há controvérsias se ele deveria ser chamado de compilador de Java, até a Microsoft já teve um. Outro bem conhecido é o compilador para o Android que tem características próprias. Além do Eclipse e Android Studio, já citados, o NetBeans é muito usado com esta linguagem ou C/C++. IntelliJ é outra.
C#
C# possui o antigo compilador, o novo que agora é uma plataforma de compilação, e o compilador do Mono. O Visual Studio é o IDE mais usado para esta linguagem, mas existem outros, como o SharpDevelop ou MonoDevelop. Hoje é o Visual Studio Code é muito usado, para outras linguagens também.
BASIC
BASIC tem diversos dialetos, cada um com seu próprio compilador. Mas dialeto pode ser diferente o suficiente para considerarmos como linguagens diferentes. Visual BASIC é provavelmente o mais conhecido deles, e ele costuma rodar junto com o Visual Studio.
JavaScript
JavaScript costuma ser interpretado ou compilado na hora de sua utilização. Em geral isto é feito no navegador e cada um tem seu próprio compilador. IE/Edge, Chrome/Opera, Safari, etc. A maioria dos IDEs citados suportam bem o JS, outro é o WebStorm.
PHP
PHP é uma linguagem interpretada. Existe uma plataforma oficial dele que pode ser complementada ou distribuída em formas diferentes. É raro uma distribuição diferente e principalmente uma implementação separada da oficial ter qualquer tipo de tração no mercado. Existem uma quantidade enorme de IDEs para PHP, mas é raro ter uma se destacando mais que outras.
Outras
Python e principalmente Ruby, possuem opções de compiladores, mas também não costumam ter muito sucesso. Diversos IDEs estão disponíveis, incluindo extensões para os IDEs citados mais acima, já que eles foram feitos para suportar diversas linguagens.
Há pelo menos um caso de linguagem e IDE se confundindo, ainda que sejam coisas diferentes, o Delphi.
Poderia continuar citando diversas outras linguagens com seus compiladores e IDEs, mas acho que isto dá uma boa base para depois ter perguntas mais específicas.
IDEs online
Não sei se dá para chamar de IDE de verdade, mas tem várias que podem ser usadas para códigos rápidos como ideone, repl.it, .NET Fiddle, Compiler Explorer, etc.
Conclusão
É importante entender estas diferenças para se desenvolver melhor.
E é importante saber isto para usar as tags corretas e descrever melhor o problema. Não diga que seu problema é no IDE quando na verdade é no seu código escrito em determinada linguagem (use a tag da linguagem e não do IDE que está usando). O fato de usar um IDE, não costuma ajudar nada nestes casos. Apenas quando é algum problema que só pode ocorrer no seu uso.
É mais importante informar o compilador quando a linguagem costuma ter vários.
Coloquei no GitHub para referência futura.