3

Eu tenho uma grande lista em HTML com cerca de 106000 linhas de código. Onde essas linhas são registros e esses registros são subdivididos em:

  • 6 linhas de informações sobre um jogo (Como nome e ano de publicação)
  • 1 quebra linha

Sendo assim, cada "registro" no meu HTML possui 7 linhas e, portanto tenho mais de 15000 registros diferentes. Os dados se apresentam assim pois foi retirado de uma lista na web e tratado com PHP pra ficar o mais agradável possível.

Os dados HTML se apresentam da seguinte forma:

<h4>Jogo: Area 51</h4>
<li>Região: 2 - </li>
<li>Sistema: 8 - Sony PlayStation</li>
<li>Ano: 2003</li>
<li>Publicadoras: 1190 - Midway, 730 - GT Interactive</li>
<li>Desenvolvedora: 1165 - Mesa Logic</li>
<!-- Quebra de linha, não é comentada assim no código original -->

Assim sendo, é praticamente inviável colocar todos os dados no meu banco de dados de forma manual e preciso de uma forma de pelo menos converter para XML (ou uma forma de já jogar tudo direto no BD), para que de alguma forma consiga passar para o BD que é MySQL.

PS: No meio do processo, é importante que o navegador não trave e pare de responder para que não haja a adição de dados repetidos!

14
  • 1
    Ia ser legal um guia definitivo desses por aqui.
    – brasofilo
    Commented 10/09/2014 às 6:00
  • De fato, eu só posso apoiar.. hahaha Commented 10/09/2014 às 6:09
  • 1
    Acho que só com o DOM dá pra resolver seu caso. E vc podia ir tentando enquanto não aparece resposta ;)
    – brasofilo
    Commented 10/09/2014 às 6:29
  • Agora é hora de dormir, estou quebrando a cabeça faz um bom tempo. Deixar o HTML assim, bonitinho já deu muito trampo. hahaha Commented 10/09/2014 às 6:31
  • 1
    @GabrielTadraMainginski dormir? O que é isso? Programadores não dormem :)
    – gmsantos
    Commented 10/09/2014 às 10:36

2 Respostas 2

2

Fiz aqui rapidamente um parser para o seu caso:

jogos.txt

<h4>Jogo: Area 51 : teste de : no nome do jogo</h4>
<li>Região: 2 - </li>
<li>Sistema: 8 - Sony PlayStation</li>
<li>Ano: 2003</li>
<li>Publicadoras: 1190 - Midway, 730 - GT Interactive</li>
<li>Desenvolvedora: 1165 - Mesa Logic</li>

<h4>Jogo: Area 52</h4>
<li>Região: 3 - </li>
<li>Sistema: 9 - Sony PlayStation 2</li>
<li>Ano: 2004</li>
<li>Publicadoras: 1191 - Midway, 730 - GT Interactive</li>
<li>Desenvolvedora: 1166 - Mesa Logic</li>

<h4>Jogo: Area 53</h4>
<li>Região: 4 - </li>
<li>Sistema: 10 - Sony PlayStation 3</li>
<li>Ano: 2005</li>
<li>Publicadoras: 1192 - Midway, 730 - GT Interactive</li>
<li>Desenvolvedora: 1167 - Mesa Logic</li>

PHP:

$lines = file('jogos.txt');

$jogos = array();
foreach ($lines as $line_num => $line) {
    $line = strip_tags($line);
    if (substr($line, 0, 5) == 'Jogo:') $i++;
    list($key, $value) = preg_split('/:/', $line, 2);
    if ($value) $jogos[$i][$key] = $value;
}

print_r($jogos);

Retorno:

Array
(
    [1] => Array
        (
            [Jogo] => Area 51 : teste de : no nome do jogo
            [Região] => 2 - 
            [Sistema] => 8 - Sony PlayStation
            [Ano] => 2003
            [Publicadoras] => 1190 - Midway, 730 - GT Interactive
            [Desenvolvedora] => 1165 - Mesa Logic
        )
    [2] => Array
        (
            [Jogo] => Area 52
            [Região] => 3 - 
            [Sistema] => 9 - Sony PlayStation 2
            [Ano] => 2004
            [Publicadoras] => 1191 - Midway, 730 - GT Interactive
            [Desenvolvedora] => 1166 - Mesa Logic
        )
    [3] => Array
        (
            [Jogo] => Area 53
            [Região] => 4 - 
            [Sistema] => 10 - Sony PlayStation 3
            [Ano] => 2005
            [Publicadoras] => 1192 - Midway, 730 - GT Interactive
            [Desenvolvedora] => 1167 - Mesa Logic
        )
)

Agora basta usar o array para gerar o insert no BD...

Obs.: Fiz testes com um arquivo com 11,5mb, 384257 linhas e 54894 registros e gerou o array em menos de 15 segundos.


Exemplo com separação do ID:

PHP:

$lines = file('jogos.txt');

$jogos = array();
foreach ($lines as $line_num => $line) {
    $line = strip_tags($line);
    if (substr($line, 0, 5) == 'Jogo:') ++$i;
    list($key, $value) = preg_split('/:/', $line, 2);
    $value = trim($value);
    if ($value) {
        if (strpos($value, '-') !== false) {
            if (strpos($value, ',') !== false) {
                $j = 0;
                foreach(explode(', ', $value) as $item) {
                    list($id, $str) = preg_split('/ -/', $item, 2);
                    $str = trim($str);
                    $jogos[$i][$key][$j]['id_'.$key] = $id;
                    if ($str) $jogos[$i][$key][$j][$key] = $str;
                    $j++;
                }
            } else {
                list($id, $str) = preg_split('/ -/', $value, 2);
                $str = trim($str);
                $jogos[$i]['id_'.$key] = $id;
                if ($str) $jogos[$i][$key] = $str;
            }
        } else {
            $jogos[$i][$key] = $value;
        }
    }
}

Retorno:

Array
(
    [1] => Array
        (
            [Jogo] => Area 51 : teste de : no nome do jogo
            [id_Região] => 2
            [id_Sistema] => 8
            [Sistema] => Sony PlayStation
            [Ano] => 2003
            [Publicadoras] => Array
                (
                    [0] => Array
                        (
                            [id_Publicadoras] => 1190
                            [Publicadoras] => Midway
                        )

                    [1] => Array
                        (
                            [id_Publicadoras] => 730
                            [Publicadoras] => GT Interactive
                        )

                )

            [id_Desenvolvedora] => 1165
            [Desenvolvedora] => Mesa Logic
        )

    [2] => Array
        (
            [Jogo] => Area 52
            [id_Região] => 3
            [id_Sistema] => 9
            [Sistema] => Sony PlayStation 2
            [Ano] => 2004
            [Publicadoras] => Array
                (
                    [0] => Array
                        (
                            [id_Publicadoras] => 1191
                            [Publicadoras] => Midway
                        )

                    [1] => Array
                        (
                            [id_Publicadoras] => 730
                            [Publicadoras] => GT Interactive
                        )

                )

            [id_Desenvolvedora] => 1166
            [Desenvolvedora] => Mesa Logic
        )

    [3] => Array
        (
            [Jogo] => Area 53
            [id_Região] => 4
            [id_Sistema] => 10
            [Sistema] => Sony PlayStation 3
            [Ano] => 2005
            [Publicadoras] => Array
                (
                    [0] => Array
                        (
                            [id_Publicadoras] => 1192
                            [Publicadoras] => Midway
                        )

                    [1] => Array
                        (
                            [id_Publicadoras] => 730
                            [Publicadoras] => GT Interactive
                        )

                )

            [id_Desenvolvedora] => 1167
            [Desenvolvedora] => Mesa Logic
        )

)
5
  • @GabrielTadraMainginski mude o explode para preg_split limitado em 2, E notice não chega a ser um problema, provavelmente não vi aqui porque tenho notices desativadas, desative as notices e veja se funciona ok... Commented 10/09/2014 às 19:24
  • Obrigado pela resposta e atenção! Porém obtive alguns problemas: - O jogo pode ter ': ' no seu nome, mas isso eu consigo resolver sozinho. - Notice: Undefined offset: 1 in C:\xampp\htdocs\RETROPLUS\data-to-base.php on line 13, onde a linha 13 é a que puxa o array do explode. Fiz um print_r do explode e ele retornou o último vetor assim: Array ( [0] => ). Commented 10/09/2014 às 19:25
  • Só repostei pra você não ficar falando sozinho.. xD Vou ver o que eu consigo fazer aqui! Commented 10/09/2014 às 19:26
  • @GabrielTadraMainginski Editei a resposta usando o preg_split limitado, testei e agora quebra apenas no primeiro : da linha. Commented 10/09/2014 às 19:32
  • ainda continuava o problema do jogo_id, mas troquei o foreach(explode(', ', $value) as $item) { por foreach(preg_split('/, /', $value, 2) as $item) {, deixando de um jeito que eu consiga prosseguir sozinho! Muito obrigado pela ajuda, estará nos agradecimentos do projeto! :) Commented 10/09/2014 às 20:58
2

Gostaria de propor uma alternativa que visa parafusar com uma chave de fenda e não com um martelo, ou seja, analisar sintaticamente uma estrutura hierárquica com um parser de verdade.

Essa é uma das poucas situações em que a verbosidade excessiva da DOM não dificulta a solução do problema. No entanto, para que esta solução trabalhe de acordo é preciso que HTML esteja semanticamente formulado. Por essa razão estarei assumindo um HTML que contenha as tags <UL>:

<h4>Jogo: Area 51</h4>
<ul>
<li>Região: 2 - </li>
<li>Sistema: 8 - Sony PlayStation</li>
<li>Ano: 2003</li>
<li>Publicadoras: 1190 - Midway, 730 - GT Interactive</li>
<li>Desenvolvedora: 1165 - Mesa Logic</li>
</ul>

A solução:

$dom = new DOMDocument;
$dom -> loadHTML( $html );

$data = array();

foreach( $dom -> getElementsByTagName( 'ul' ) as $node ) {

    if( $node -> hasChildNodes() ) {

        foreach( $node -> childNodes as $children ) {

            $nodeValue = trim( $children -> nodeValue );

            if( ! empty( $nodeValue ) ) {

                $structure = preg_split(

                    '/(.*?):\s+(.*?)/', $nodeValue, -1,

                    PREG_SPLIT_DELIM_CAPTURE | PREG_SPLIT_NO_EMPTY
                );

                $data[ spl_object_hash( $node ) ][ $structure [ 0 ] ] = $structure[ 1 ];
            }
        }
    }
}

Iteramos todos os elementos <UL> através de DOM::getElementsByTagName(). De tudo aquilo que $node disponibiliza trabalharemos apenas com o valor da propriedade DOMNode::nodeValue

Aqui abre-se a primeira possibilidade de gambiarra. Poderíamos explodir as quebras-linhas desse valor e montar os índices do array diretamente. Mas estamos analisando sintaticamente, então, isso é errado e, por isso, precisamos iterar os filhos das listas.

Poderíamos ao invés de obter todas as listas, obter diretamente os filhos (<LI>), mas isso requereria código adicional e, pessoalmente faria menos sentido lógico.

Para evitar erros, notices e cia. vamos verificar se existem nós-filhos, mesmo que estejamos vendo que estes existam. Para isso, usamos DOMNode::hasChildNodes() e, caso existam, trabalharemos com o valor da propriedade DOMNode::childNodes

Desse ponto em diante não estamos mais analisando sintaticamente e sim manipulando o texto dos nós. Vamos quebrar cada string, já limpa com trim(), separando o possível rótulos de seu valor.

Não cabe ao escopo do tópico explicar a ER, mas como pode ver é bem simples.

Ao adicionar no array $data precisamos de uma forma de tornar cada conjunto de informações único. Poderíamos fazer uma gambiarrazinha com um contador manualmente incrementado mas já que estamos com muitos objetos em jogo, optei por spl_object_hash() que retorna uma sequência numérica única para cada objeto em tempo de execução, ou seja, cada vez que atualizar a p´gina, serão outros valores.

Isso é puramente estrutural, quando iterar esse array para inserir no banco basta ignorar o valor da primeira chave. Simples assim!

2
  • Obrigado pelo por me ceder seu tempo @BrunoAugusto! Meu HTML não estava tão padronizado assim, o que, como você mesmo disse não seria possível. Como estou rodando o projeto em localhost, sem me preocupar com a qualidade do código, usei a solução que precisaria menos ou nenhuma adaptação do meu código HTML. Mas reconheço que sua solução é a mais ideal se eu considerasse usar isso sem nenhuma 'gambiarra'. Commented 10/09/2014 às 21:05
  • Perfeito, mas ainda assim, salvo engano, é possível consertar o HTML a ser importado em tempo de execução com a própria DOM, antes de ler os dados dele. Vou ver se consigo montar algo aqui e edito a resposta. Commented 10/09/2014 às 21:09

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .