1

Estou desenvolvendo uma aplicação servidor de rede em C++ e me deparei com o problema thundering herd, uma vez que eu projetei ter vários threads aceitando (accept()) as conexões dos clientes simultaneamente.

Pelas minhas buscas, a solução mais comum é fazer uma queue de tarefas FIFO, que consiste em ponteiros para funções que são vão sendo executadas pelas threads. Nessas funções já vem o FD do socket da conexão do cliente aceitada, então o accept() fica sendo responsabilidade apenas do processo principal, sem thundering herd aqui.

Porém, acho meio complicado implementar isso e tive outra ideia, que é o seguinte:

Thread:

  • possui um ID;
  • monitora o socket do servidor/escuta por novas conexões de clientes usando kqueue, epoll, etc.
  • quando uma nova conexão chega, ele solicita ao Threads Controller o ID do thread que deve aceitar essa conexão. Se o ID recebido for o ID do próprio thread:
    1. aceita (accept()) nova conexão;
    2. diz ao Threads Controller para mudar o ID do thread que deve aceitar a conexão para o ID do próximo thread;
    3. diz ao Threads Controller que agora está ocupado;
    4. recebe as requisições do cliente no socket e processa as respostas;
    5. diz ao Threads Controller que agora está livre para atender outra conexão;

Threads Controller:

  • mantém o ID do thread que deve aceitar (accept()) a próxima conexão;
  • mantém um vetor de acesso atômico (std::atomic<std::vector>) de structs que contém o ID do thread e se ele está ocupado (no fim é semelhante a um std::map);
  • quando o Thread executa a parte 2 acima, o Threads Controller percorre o vetor, obtém o próximo thread que não está ocupado e define o ID dele como o ID do thread que deve aceitar (accept()) a próxima conexão.

Vocês consideram essa solução melhor que o queue de tarefas? Em ambos há um momento que apenas 1 thread faz algo de cada vez (obter a próxima tarefa no queue e aceitar a nova conexão), em ambos há o uso de std::atomic, ambos parecem resolver o problema...

No meu ver não há problemas na minha solução, mas como não sou muito experiente programando aplicações de rede, multithreading, etc., pode ter algo que estou deixando passar, algo que pode ser um gargalo, que pode travar um thread e impedir os outros de continuarem, sei lá.

Se não houver problemas, essa pode ser uma solução bem mais fácil de implementar para quem mais enfrentar o thundering herd. Não tem como eu fazer uma aplicação teste aqui e simular um ambiente real, já que meu único computador é uma antigo e fraco single core.

O que dizem? Desde já agradeço-lhes pela atenção.

1 Resposta 1

0

Pelo que eu entendi, segundo a sua solução, quando uma conexão chega todas as threads acordam, e aquela que possui o ID fornecido pelo controlador aceita a conexão. Se esse for o caso, não é justamente esse um caso de thundering herd? Ou seja, sempre que chega uma conexão, todas as threads acordam, mesmo que apenas uma irá aceitar a conexão.

Por outro lado, num sistema de tarefas onde cada thread possui sua fila de tarefas, quando uma conexão chega, o escalonador (que faz o papel do que você chama de controlador) coloca essa tarefa em uma das filas, e apenas a thread responsável por aquela fila acorda. Acredito que você consiga melhor desempenho seguindo essa estratégia.

1
  • Realmente, eu estava olhando apenas para o desperdício de recursos ao chamar o accept() e receber um erro, não notei que acordar todos threads seria a mesma coisa. Conversando com um programador aqui cheguei à conclusão de essa não é realmente uma boa solução, traz muitas complicações em outras partes. Estava pensando em usar 1 fila para todos threads e usar um std::condition_variable para acordar apenas 1 thread (notifiy_one()), vou analisar sua sugestão de várias filas, pois parece me possibilitar ter um controle maior (mandar tarefa para thread menos ocupada, por ex.). Obrigado.
    – Tiago.SR
    Commented 29/02/2016 às 4:24

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .