Basicamente: Quanto mais poder de processamento, melhor. Simples assim. Você não deixa de usar o CPU pra usar a GPU, mas utiliza ambos. Uma série de fenômenos históricos e mercadológicos contribuíram para um avanço incrível no poder de processamento das GPUs e na demanda de tarefas para as quais as GPUs foram projetadas.
Até onde eu consigo entender, a GPU nada mais é que um processador adicional dedicado a renderização gráfica.
Não. As GPUs foram concebidas pensando-se em gráficos, pois o custo de processamento das intricadas funções matemáticas associadas a perspectiva e interpolação de texturas eram muito exigentes para os processadores. Com o tempo, essas operações foram tornando-se simples em relação ao poder computacional dos CPUs, mas a quantidade destas cresceu muito (especialmente relacionado com a resolução crescente dos jogos), então as GPUs foram aproximando-se de grandes matrizes de processamento paralelo (é comum em um jogo ter de se aplicar a mesma operação nos milhões de pixels da tela centenas de vezes por segundo), e esse processamento massivo e paralelo começou a chamar a atenção para outras tarefas, e alguns hacks começaram a ser utilizados para simular problemas de física (por exemplo) como pixels de textura, e as companhias perceberam isso e abraçaram o processamento genérico (com a introdução de shaders programáveis como grande marco), e hoje a GPU na verdade é um monte de núcleos que pode ser usado para gráficos.
Como a GPU pode auxiliar nos processamentos?
A GPU conta com centenas de núcleos (A GTX 960 tem 1024 núcleos de processamento) - muito além de qualquer PC doméstico. Esses núcleos são altamente especializados para operações incondicionais e seriais, ou seja, processar dados sem desvios de execução, principalmente quando atuando sobre largas regiões de memória (quando o paralelismo dos núcleos pode ser melhor explorado), que é o cenário comum ao manipular grande volume de informações de mídia.
Este offloading normalmente ocorre através de bibliotecas como a openMP. Em que exatamente estas bibliotecas auxiliam?
Embora as GPUs tenham grande poder computacional, ainda são periféricos controlados pelo CPU. Estas bibliotecas fornecem rotinas de comunicação para enviar comandos e dados para os periféricos computacionais (entre eles, a GPU). Elas ligam o programa com os drivers para expor as funções necessárias ao processamento genérico assim como as bibliotecas gráficas expõe as funcionalidades do OpenGL, por exemplo.
Existe algum overhead de transferir estes processamentos para a GPU? Compensa pagar este overhead para processar na GPU?
Sim e sim (em programas bem projetados). Toda comunicação entre periféricos é considerada overhead, inclusive a comunicação entre núcleos do mesmo CPU possui overhead. Os dados precisam ser formatados em tipo e protocolo e seguir para transferência. Avanços recentes nas tecnologias de barramento e memória RAM permitiram diminuir a latência associada, possibilitando experiência de tempo real, e também permitiram aumento da quantidade de dados transmitidos, fazendo com que o overhead de preparação seja compensado pelo acréscimo de resultado percebido (os termos técnicos associados com demora de preparação e quantidade de resultado por tempo são latency e throughput).
Um exemplo ilustrativo (com bastante liberdade):
Digamos que você tem uma array de 1024 números, e deseja realizar uma série de operações sobre eles, como somar uma constante.
Com um CPU de 8 núcleos, cada núcleo fica responsável por processar 128 números, já na GPU com seus 1024 núcleos, cada núcleo fica responsável por apenas um número. Assumindo que a GPU atue na metade da frequência e cada operação demore 1 clock, é uma vantagem de 64 vezes na velocidade de processamento.
Os dados tem de ser transmitidos para a GPU, então talvez a velocidade não compense em uma operação tão simples, mas digamos que você deseja somar um número, multiplicar, comparar com outra array, tirar o cosseno... uma série de comandos. Assim que os dados estiverem na GPU, a CPU só precisa enviar os comandos necessários (como no caso dos shaders usados em jogos), e está livre para outras tarefas que a GPU não é especializada em fazer, como verificar entradas do usuário, comunicar com outros periféricos, tratar de outros programas (etc) e depois requisitar o resultado.