Um compilador é um programa, ou seja, é um conjunto de algoritmos. A forma como ele é encapsulado para rodar em um computador importa pouco. É comum que seja uma aplicação console, mas pode ser qualquer outra coisa. Há compiladores que foram escritos para ser primariamente uma biblioteca e ser usada de várias formas, console é só uma delas.
Os que não foram escritos assim, não tem uma forma específica de integração e não foi feita nenhuma adaptação, a comunicação é feita via console mesmo, ou seja, chama o executável em um outro processo passando os argumentos específicos para fazer o que deseja e captura o resultado que ele emite em console (não precisa estar mostrando na tela). É simples e tosco assim :) Ele pega o texto que sai lá, dá uma ligeira interpretada e mostra de forma conveniente do jeito que ele acha melhor.
É possível que algum compilador tenha alguma configuração que facilite alguma coisa, mas em geral não tem ou é algo bem simples, nada que vá mudar muito o resultado final. Nada impede, mas desconheço algum que seja realmente flexível, que possa ser usado pelo IDE para informações adicionais.
Alguns casos o IDE pode querer usar um compilador próprio para fazer algumas tarefas, em geral algo mais limitado e que não fará todo trabalho que o compilador de verdade faz, mas pode ser baseado nele, já que hoje quase tudo é código aberto e pode ser mexido conforme a necessidade. Mas claro que alguns são feitos do zero e o compilador é do IDE (mesmo sendo dele, não é o IDE que está fazendo o trabalho).
Esses sublinhados geralmente são feitos por este compilador interno e não pelo compilador oficial. Então costuma ser uma biblioteca, mesmo que adaptada para isto. Seria inviável ficar invocando o tempo todo um compilador completo para indicar os erros em cada coisa que você vai digitando.
Há linguagens que fornecem um servidor de linguagem onde o IDE pode se comunicar através de uma API. Não é diferente de uma biblioteca, só a forma de acesso da API é que é diferente. Eu prefiro tudo no mesmo processo.
Um dos motivos que o .NET Compiler Platform foi criado assim é justamente não ter que escrever outro compilador para cada tipo de necessidade, e é algo que outras linguagens estão fazendo, como é o caso de Rust.
Não há uma solução única, mas o compilador padrão no console da linguagem não costuma ser usado para ajudar na edição do código. Quase todos IDEs tem seu próprio compilador de sintaxe e até semântica, mas sem otimizadores ou gerador de código, claro.