1

Eu desenvolvi um script no qual eu utilizo a classe DOMDocument do PHP para fazer um crawler em um site de terceiro.

A velocidade do script não atende ao objetivo esperado, gostaria de saber em qual linguagem de programação um script para a mesma finalidade me trará um resultado de varredura da DOM com mais velocidade?

1 Resposta 1

3

Linguagens de programação não possuem velocidade como característica. Algumas possuem características que ajudam ter mais velocidade. Bibliotecas já podem ter velocidade, mas a padrão não precisa ser usada. Se a padrão não atende os requisitos de performance, raro, bem raro, então procure outra biblioteca.

O que mais dá velocidade é usar a estrutura de dados certa e o algoritmo certo. A diferença entre a escolha certa e a errada pode ser de demorar menos de 1 segundo para fazer ou levar séculos. Tem casos que é nessa proporção, e não são poucos.

Escolher uma linguagem mais rápida pode fazer algo que leve 1 minuto levar menos de 1 segundo, não mais que isto, e em poucos casos dá tanta diferença. E estamos falando de linguagens com diferenças gritantes, por exemplo uma das piores implementações de Ruby comparando com Assembly muito bem escrito.

Assembly é a linguagem que permite a melhor performance possível. Mas na prática hoje é tão difícil escrever um código correto e rápido em Assembly que quase sempre um escrito em C será mais rápido. Em alguns casos em C++, ou Rust, ou Fortran pode ser melhor. Mas em Delphi, Java e C#, só para citar algumas, a maioria das tarefas serão executadas com mínima diferença para estas linguagens e mesmo nas que elas são ruins a diferença é dela levar uns 3 segundos onde em C levaria menos de 1 (quase tudo a diferença é muito inferior, muito mesmo, chega ser quase irrisório).

Se quiser manter-se em linguagens de script então JavaScript (quem sabe Typescript) e Lua, principalmente no dialeto LuaJIT, devem ser as melhores opções.

PHP não tem uma performance tão ruim assim, principalmente nas versões mais novas.

Mas se não dominar bem a linguagem, a programação e os conceitos descritos acima, o resultado não será bom.

A maioria das aplicações não precisam de tanta performance quanto as pessoas acham, as que precisam geralmente exigem um trabalho de engenharia árduo e complexo. Então se é possível ter um grande ganho de performance mudando algo é porque o original estava muito errado (mas funcionando, o que faz as pessoas acharem que estava certo).

Se fizer direitinho é provável que o gargalo seja trazer as informações pela rede, mesmo em "linguagens lentas".

É possível ver uma comparação das linguagens. Mas preste atenção que isto é chamado de "jogo", não é um método científico. Se usar isto para tomar decisões importantes pode quebrar a cara.

8
  • 1
    Pessoalmente aconselho python por simplicidade e resultados satisfatórios. Há dias fiz um script em PHP, não sei se pode chamar um web crawler, foi mais um page fetcher e a velocidade ficou um bocado aquem. Porém, ja havia feito um bot em python para imagens do imgur e fiquei impressionado com a velocidade da linguagem. Mas no fundo o que conta é a implementação do algoritmo e a velocidade/frequência dos seus pedidos.
    – lazyFox
    Commented 23/11/2017 às 17:33
  • 1
    @lazyFox embora a implementação padrão de PHP costume ser bem mais rápido que a implementação padrão de Python na maioria das tarefas. Só confio em comparações que eu vi o fonte do código das linguagens, os dados usados e outras informações para ver o quanto são comparáveis.
    – Maniero
    Commented 23/11/2017 às 17:52
  • Obrigado pela resposta, entendi que o segredo é "limar" o algoritmo. Commented 24/11/2017 às 9:17
  • 1
    C#, mas eu sou suspeito :) Ainda que seja mesmo.
    – Maniero
    Commented 24/11/2017 às 10:37
  • 1
    Resumindo: A performance é uma característica da implementação, não do modelo. (mas alguns modelos privilegiam implementações mais performáticas, evidentemente).
    – Gabriel
    Commented 12/12/2017 às 12:51

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .