Estou desenvolvendo uma aplicação servidor de rede em C++ e me deparei com o problema thundering herd, uma vez que eu projetei ter vários threads aceitando (accept()
) as conexões dos clientes simultaneamente.
Pelas minhas buscas, a solução mais comum é fazer uma queue de tarefas FIFO, que consiste em ponteiros para funções que são vão sendo executadas pelas threads. Nessas funções já vem o FD do socket da conexão do cliente aceitada, então o accept()
fica sendo responsabilidade apenas do processo principal, sem thundering herd aqui.
Porém, acho meio complicado implementar isso e tive outra ideia, que é o seguinte:
Thread:
- possui um ID;
- monitora o socket do servidor/escuta por novas conexões de clientes usando kqueue, epoll, etc.
- quando uma nova conexão chega, ele solicita ao Threads Controller o ID do thread que deve aceitar essa conexão. Se o ID recebido for o ID do próprio thread:
- aceita (
accept()
) nova conexão; - diz ao Threads Controller para mudar o ID do thread que deve aceitar a conexão para o ID do próximo thread;
- diz ao Threads Controller que agora está ocupado;
- recebe as requisições do cliente no socket e processa as respostas;
- diz ao Threads Controller que agora está livre para atender outra conexão;
- aceita (
Threads Controller:
- mantém o ID do thread que deve aceitar (
accept()
) a próxima conexão; - mantém um vetor de acesso atômico (
std::atomic<std::vector>
) destructs
que contém o ID do thread e se ele está ocupado (no fim é semelhante a umstd::map
); - quando o Thread executa a parte 2 acima, o Threads Controller percorre o vetor, obtém o próximo thread que não está ocupado e define o ID dele como o ID do thread que deve aceitar (
accept()
) a próxima conexão.
Vocês consideram essa solução melhor que o queue de tarefas? Em ambos há um momento que apenas 1 thread faz algo de cada vez (obter a próxima tarefa no queue e aceitar a nova conexão), em ambos há o uso de std::atomic
, ambos parecem resolver o problema...
No meu ver não há problemas na minha solução, mas como não sou muito experiente programando aplicações de rede, multithreading, etc., pode ter algo que estou deixando passar, algo que pode ser um gargalo, que pode travar um thread e impedir os outros de continuarem, sei lá.
Se não houver problemas, essa pode ser uma solução bem mais fácil de implementar para quem mais enfrentar o thundering herd. Não tem como eu fazer uma aplicação teste aqui e simular um ambiente real, já que meu único computador é uma antigo e fraco single core.
O que dizem? Desde já agradeço-lhes pela atenção.