2

Um grupo de amigos e eu estamos começando uma iniciativa de criar um repo no github com o intuito de testar a performance (benchmark) de serviços http implementados em diversas linguagens e frameworks. Uma das linguagens que já implementamos é Python, sem utilizar nenhum framework de terceiros.

A implementação ficou basicamente assim:

#!/usr/bin/python
from BaseHTTPServer import BaseHTTPRequestHandler,HTTPServer

PORT_NUMBER = 3000

class serverHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        self.send_response(200)
        self.send_header('Content-type','text/html')
        self.end_headers()
        self.wfile.write('yo')
        return

try:
    #Create a web server and define the handler to manage the
    #incoming request
    server = HTTPServer(('', PORT_NUMBER), serverHandler)
    print 'Started httpserver on port ' , PORT_NUMBER

    #Wait forever for incoming htto requests
    server.serve_forever()

except KeyboardInterrupt:
    print '^C received, shutting down the web server'
    server.socket.close()

Para realizar os testes de performance utilizamos o boom (https://github.com/rakyll/boom) através do comando:

boom -n 100000 -c 10000 http://localhost:3000

Quando disparamos o boom contra o serviço implementado em Python temos uma performance decepcionante, o que a princípio não deveria ocorrer.

Resultado:

Summary:
  Total:    25.5676 secs
  Slowest:  4.2101 secs
  Fastest:  0.9872 secs
  Average:  1.7560 secs
  Requests/sec: 380.0513

Status code distribution:
  [200] 9717 responses

Response time histogram:
  0.987 [1] |
  1.309 [1792]  |∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎
  1.632 [2670]  |∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎
  1.954 [1681]  |∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎
  2.276 [2616]  |∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎
  2.599 [446]   |∎∎∎∎∎∎
  2.921 [283]   |∎∎∎∎
  3.243 [171]   |∎∎
  3.565 [31]    |
  3.888 [1] |
  4.210 [25]    |

Latency distribution:
  10% in 1.0313 secs
  25% in 1.5239 secs
  50% in 1.7353 secs
  75% in 2.0630 secs
  90% in 2.2717 secs
  95% in 2.6155 secs
  99% in 3.1570 secs

Gostaria de saber o que implementei de errado. A intenção neste caso é ser o mais simplista possível, sem me utilizar de alegorias como cache, ou controle de pool de conexões (exceto se este for implícito da linguagem).

Para quem quiser verificar os outros resultados e implementações e/ou quiser contribuir com novas implementações em linguagens e frameworks, fiquem a vontade. Os códigos e resultado de todas as implementações encontram-se em: https://github.com/ericmdantas/bm

2
  • 1
    Decepcionante em relação ao quê? 6/04/2016 às 16:44
  • Usando a implementação mais simples para criar o servidor em Python, apenas 9717 requisições são aceitas das 100000 requisições feitas. Já as demais linguagens atendem no mínimo 70000 requisições.
    – bernardbr
    7/04/2016 às 12:29

1 Resposta 1

1

No código de exemplo você pode apenas processar uma requisição por vez (não há paralelismo). Em outras palavras, o interpretador Python ficará ocioso enquanto espera que os dados sejam enviados para o cliente.

Em termos computacionais, esse tempo de espera é precioso e poderia ser usado para processar outras requisições - por isso que, quando você analisa a performance de frameworks (como o Tornado, que utiliza um event loop) você percebe uma diferença grande no número de requisições atendidas.

Outro fator é que como o boom é executado na própria máquina na qual o servidor está sendo executado, ocorre uma competição pelos recursos da CPU entre o servidor implementado e o software de benchmark (no caso, o boom) - o que distorce os resultados. Ainda que o servidor fosse executado em uma máquina diferente você precisaria considerar outras questões como, por exemplo, largura de banda, CPU da máquina que está disparando o teste e configurações do sistema operacional.

Qualquer benchmark reflete apenas uma parte da realidade - tenha isso em mente quando comparar os resultados.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .