5

Estou a ler ficheiros XML de cerca de 50M de informação (uns cem mil registos, podendo ser mais), e tenho duas classes implementadas de leitura de XML uma DOM e outra SAX.

Estou a ter um problema em termos de tempos de execução, demora me mais do que 10 minutos, o tempo de execução máximo do PHP, alterado por mim no php.ini.

Já li muito sobre isto e sei que o SAX é mais rápido que o DOM para ficheiros muito grande, que acho que é o caso.

Um dos meus requisitos obrigatório é que ou é lido todo o ficheiro e colocado na Base de Dados, ou não insere NADA.

A pergunta que fica é qual a forma mais eficaz, em termos de TEMPO DE EXECUÇÃO, de ler o XML e guardar na BD?

  • Ir lendo TAG a TAG e inserindo na BD?
  • Ler tudo para uma estrutura de dados e inserir tudo no final?
  • Outra forma, qual?
6
  • 1
    Eu acho muito válida a sua pergunta, mas ela é quase que principalmente baseada em opiniões. Digo isso diante das opções que temos. Por exemplo, se lermos tudo primeiro e inserir no final da requisição, a fluidez será maior – esta é uma técnica bastante utilizada pela Microsoft nas últimas versões de seus softwares; por outro lado, se inserirmos item à item, pode ocorrer o problema de perdermos algo no caminho se não tivermos um stash de dados para armazenar e posteriormente commitar as informações à serem inseridas no banco de dados. Commented 17/06/2014 às 13:42
  • @GuilhermeOderdenge a pergunta é clara, qual é a forma mais eficaz EM TEMPO DE EXECUÇÃO.
    – Jorge B.
    Commented 17/06/2014 às 13:44
  • 2
    Mas gostei da primeira parte da resposta sobre a microsoft :)
    – Jorge B.
    Commented 17/06/2014 às 13:46
  • 1
    Além disso, você mencionou "[...] em termos de tempo de execução [...]": para ter segurança na hora de inserir tag à tag, você precisará de um stash. Ele exige um pouco de hardware, o que naturalmente minimiza a performance da técnica em questão; por outro lado, ler toda a estrutura e salvar no final, pra mim, é a melhor opção porque não há necessidade de stashes e é tudo ou nada: se conseguiu, salva; senão, esqueça o que foi feito. Além disso, essa metodologia exige uma – e apenas uma – requisição com o banco de dados, o que não se faz desperdiçar qualquer byte utilizado. Commented 17/06/2014 às 13:48
  • Acabaste de dar uma resposta tudo menos baseada em opiniões. Obrigado.
    – Jorge B.
    Commented 17/06/2014 às 13:50

1 Resposta 1

1

Vamos analisar as possibilidades que você mesmo deu:

Ir lendo TAG a TAG e inserindo na BD

Nesse formato, nós teremos uma estrutura redundante – a cada tag lida, abre-se uma requisição com o banco de dados e salva isso lá.

O bom:

Se não conseguiu tudo ler e salvar tudo, faz-se, pelo menos, o que é possível; O problema desse "pró" é que ele vai contra a questão por você mesmo levantada:

"[...]

Um dos meus requisitos obrigatório é que ou é lido todo o ficheiro e colocado na Base de Dados, ou não insere NADA.

[...]"

O ruim:

Se você não manter uma conexão com o banco de dados viva durante o ciclo de vida da aplicação, você terá o que eu chamei há pouco de estrutura redundante. Ora, a cada vez que fores salvar alguma informação, serás obrigado a requisitar conexão com a sua base – o que, tenha certeza, é um desperdício de processamento bem relevante; naturalmente, isso vai afetar diretamente o tempo de execução do seu serviço – que é justamente o que não queremos.

Considere esta técnica uma espécie de streaming. O seu processamento é fragmentado – se a experiência não for social, eu vejo mais que o desnecessário, eu vejo como algo desperdiçoso.

Além disso tudo, o conceito de "tudo ou nada" não se aplica sem um stash para um posterior commit – mesmo que você aplique isso, mantendo a conexão viva, o stash e o commit exigem um "a mais" de hardware – o que depreda mais ainda a performance que você tanto busca.


No outro lado do tatami, temos:

Ler tudo para uma estrutura de dados e inserir tudo no final

Entenda:

Essa é uma técnica muito utilizada nas últimas versões dos softwares da Microsoft – é daí que vêm aquela falácia de que o Windows Phone é fluído, por exemplo: o carregamento é todo feito antes da execução final de um aplicativo em questão, o que torna a experiência suave e sem travamentos. Entenda isso como um vídeo sendo 100% carregado antes de executado: leva mais tempo para você assistir, porém, você assiste sem problemas.

Termos técnicos:

Esse método exige uma requisição com o banco de dados: na hora de salvar. Essa única requisição não torna a sua estrutura redundante e garante o seu "tudo ou nada". Se conseguiu salvar, significa que foi tudo – e esse é um ponto no qual você levantou.

No geral, o tempo de resposta para salvar tudo será menor que o da técnica anterior. Isso porque o processamento agora é menor; o hardware responde mais rápido e consegue executar tudo com suavidade, fluidez e consequentemente mais agilidade.

A partir do momento que você não quiser mais o "tudo ou nada", considere reanalisar a técnica anterior, de streaming.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .