1

Tomando como base o texto abaixo, como manter a saída de texto da primeira coluna da tag span, que condiz com o texto do último span?

<span class="CVA68e qXLe6d">Colcha Casal e ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Colcha Solteiro e ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Roupão de banho ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; banho</span>  </span>
<span class="CVA68e qXLe6d">Caminho de mesa ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; mesa</span>  </span>
<span class="CVA68e qXLe6d">Cortina para quarto ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Travesseiro de pena com ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Fronha de Solteiro em ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Lençol 70% algodão e ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Pano de prato pintado a ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; mesa</span>  </span>
<span class="CVA68e qXLe6d">Coberto dupla face colo... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Toalha de rosto felpudo ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; banho</span>  </span>

Lembrando que o texto acima possui vários parágrafos e, o que é determinante nessa questão é conseguir pegar os títulos do primeiro span através da filtragem pela #hashtag &#8250; cama/mesa/banho do terceiro/último span.

O que tentei: o sed juntamente com o grep em sua forma simples de uso:

sed 's/\"/\n/g' /tmp/default.htm | grep "TorraTudo"
Significado da opção \" \n:
\" - Filtrar apóstrofos,
\n - Quebrar linha por linha a cada apóstrofo.
  • Isto me dá uma lista, como abaixo:
>Colcha Casal e ... - TorraTudo</span>  <span class=
>Colcha Solteiro e ... - TorraTudo</span>  <span class=
>Roupão de banho ... - TorraTudo</span>  <span class=
>Caminho de mesa ... - TorraTudo</span>  <span class=
>Cortina para quarto ... - TorraTudo</span>  <span class=
>Os Simpsons em Português - YouTube</span>  <span class=
>Travesseiro de pena com ... - TorraTudo</span>  <span class=
>Fronha de Solteiro em ... - TorraTudo</span>  <span class=
>Lençol 70% algodão e ... - TorraTudo</span>  <span class=
>Pano de prato pintado a ... - TorraTudo</span>  <span class=
>Coberto dupla face colo... - TorraTudo</span>  <span class=
>Toalha de rosto felpudo ... - TorraTudo</span>  <span class=

Mas veja que não há distinção entre Cama/Mesa/Banho

Até tentei algo como:

sed 's/\"/\n/g' /tmp/default.htm | grep "TorraTudo\(^.*$\) &#8250\; cama"

sed 's/\"/\n/g' /tmp/default.htm | grep "TorraTudo\(^.*$\) &#8250\; mesa"

sed 's/\"/\n/g' /tmp/default.htm | grep "TorraTudo\(^.*$\) &#8250\; banho"

Entre várias tentativas inúteis que fiz fora essas mostrada aqui, decidi pergunta pra quem tem mais experiência neste assunto (Expressão Regular).

Isto é o que preciso, separar cada título a sua categoria cama/mesa/banho.

2
  • Há quebra de linha entre os spans ou está do jeito que você colocou aí?
    – Kiritonito
    20/05/2021 às 4:14
  • @Kiritonito Não há quebra de linha entre os span. Está do modo original do que tenho comigo. É um exemplo real mesmo, pode salvar ele em seu PC e tentar filtrar, pois este texto é o que reflete minha dificuldade. 20/05/2021 às 4:18

4 Respostas 4

5

Não use regex para manipular HTML

De forma geral, regex não foi feito para trabalhar com HTML (pode até "funcionar" em muitos casos, mas não é a ferramenta mais adequada para a tarefa).

A regex da outra resposta pode até ter "funcionado", mas há uma série de problemas que tratarei em detalhes - existe um bom exemplo aqui e aqui, mas de qualquer forma, vamos primeiro ver uma solução sem regex, e depois voltamos para a regex e seus problemas.


Prefira um parser dedicado

Use a ferramenta correta para cada situação: se quer manipular HTML, use um parser de HTML.

No Linux existem várias opções, uma delas é o libxml2 (que dá para instalar facilmente com sudo apt install libxml2 ou sudo apt install libxml2-utils - ou baixar diretamente do site oficial).

Com isso, você terá disponível o comando xmllint, e veja como é simples obter o texto de todas as tags span:

xmllint --html --xpath "//span/text()" /tmp/default.htm 

Com isso a saída será:

Colcha Casal e ... - TorraTudo
  
www.torratudo.com › cama
  
Colcha Solteiro e ... - TorraTudo
  
www.torratudo.com › cama
  
Roupão de banho ... - TorraTudo
  
www.torratudo.com › banho

etc...

Sendo assim, agora que já fizemos o mais difícil (extrair o texto das tags HTML), basta usar alguns comandos para manipular o texto. Primeiro eu removo essas linhas em branco:

xmllint --html --xpath "//span/text()" /tmp/default.htm | grep "\S"

Assim teremos:

Colcha Casal e ... - TorraTudo
www.torratudo.com › cama
Colcha Solteiro e ... - TorraTudo
www.torratudo.com › cama
Roupão de banho ... - TorraTudo
www.torratudo.com › banho
etc...

Depois, se eu quiser somente as entradas correspondentes a "cama", faço um grep com a opção -B para pegar também a linha anterior:

xmllint --html --xpath "//span/text()" /tmp/default.htm | grep "\S" | grep " cama$" -B 1 --no-group-separator

Assim eu pego as linhas que terminam com "cama" (cama$), e a opção -B 1 faz com que a linha imediatamente anterior também seja retornada. Só que o default é retornar também um separador entre os matches (no caso, é colocado um -- para separar os matches), então uso a opção --no-group-separator para que o separador não seja mostrado. O resultado é:

Colcha Casal e ... - TorraTudo
www.torratudo.com › cama
Colcha Solteiro e ... - TorraTudo
www.torratudo.com › cama
Cortina para quarto ... - TorraTudo
www.torratudo.com › cama
Travesseiro de pena com ... - TorraTudo
www.torratudo.com › cama
etc...

Agora basta eu pegar as linhas ímpares (a primeira, terceira, quinta, etc). Você pode fazer isso com sed ou awk:

xmllint --html --xpath "//span/text()" /tmp/default.htm | grep "\S" | grep " cama$" -B 1 --no-group-separator | awk 'NR%2'

ou

xmllint --html --xpath "//span/text()" /tmp/default.htm | grep "\S" | grep " cama$" -B 1 --no-group-separator | sed -n '1~2 p'

Para ambos a saída será:

Colcha Casal e ... - TorraTudo
Colcha Solteiro e ... - TorraTudo
Cortina para quarto ... - TorraTudo
Travesseiro de pena com ... - TorraTudo
Fronha de Solteiro em ... - TorraTudo
Lençol 70% algodão e ... - TorraTudo
Coberto dupla face colo... - TorraTudo

Se quiser "mesa" e "banho", basta trocar o grep "cama$" pela respectiva opção.


Com regex é pior

Apesar de parecer uma solução "simples" e que "funciona", regex não é o ideal.

Só para citar um exemplo:

grep "cama<\/span>" /tmp/default.htm | grep -oP '(?<=<span class="CVA68e qXLe6d">)[^<]+(?=<\/span>)'

Primeiro eu pego as linhas que tem a tag span que termina com "cama" e depois pego o conteúdo do primeiro span que está na mesma linha. Para isso eu uso a opção -P que habilita as regex compatíveis com Perl, com recursos mais avançados como os lookarounds, que no caso servem para verificar se algo existe antes e depois (no caso, a abertura e fechamento da tag), mas estes não fazem parte do match. O resultado é apenas o texto das tags.

Um detalhe é que para pegar o texto da tag eu usei [^<]+ (um ou mais caracteres que não sejam <). Isso é um pouco mais eficiente que o .*? da outra resposta (ver mais detalhes aqui e aqui). Mas ainda sim não é o ideal, pois assume que não existem outras tags dentro do span (ou tags comentadas, ou um bloco CDATA, etc).

Mas essa solução é muito ingênua (além de só funcionar para este caso específico). Basta o HTML mudar só um pouco que a regex não funciona mais. Se mudar as classes do span, ou se eles não estiverem mais na mesma linha, ou se um deles estiver comentado, ou se surgir outro atributo (vai que cada span recebe um id, por exemplo), a regex falha. E aí você terá que alterá-la para contemplar esses casos, e ela vai ficando cada vez mais complicada, até o ponto em que começa a não valer mais a pena.

Já usando xmllint, não preciso alterar nada. Para todas as situações já citadas (span's em linhas diferentes, com outros atributos ou classes, se um estiver comentado já é ignorado corretamente, etc), as opções citadas acima continuam funcionando sem problemas. E caso mude um pouco a estrutura do HTML, o xmllint ainda precisará de menos alterações do que a regex.

Lembre-se que HTML é um formato específico, cujas estruturas estão em um contexto maior (as tags possuem "pais", "filhos" e "irmãos", e para analisar uma, muitas vezes é preciso analisar também o todo). Já regex opera linha a linha (por padrão, há como mudar isso, mas só acaba deixando ainda mais complicado), sem levar em conta o contexto e a semântica deste texto, e por isso é tão complicado fazer algo mais assertivo (é aparentemente fácil fazer algo que "funcione" para casos mais simples, o que dá a ilusão de que é a ferramenta adequada para o problema - não é).

"Ah, mas você também usou regex no primeiro exemplo"

Sim, mas foi apenas para pegar as linhas que terminam com "cama", e principalmente, isso foi depois que eu extraí o texto das tags. Ou seja, não usei a regex para manipular o HTML, e sim o texto resultante depois da manipulação do HTML (que foi feita com a ferramenta adequada - no caso, o xmllint). Regex por si só não é "ruim", o ruim é usar quando não precisa, ou quando há ferramentas melhores para resolver o problema.


Outro problema destas soluções é que você precisa ler o arquivo 3 vezes: uma para pegar as linhas correspondentes a "casa", outra para "mesa" e outra para "banho".

O ideal seria usar alguma linguagem de programação, ler o arquivo apenas uma vez e para cada tag já ir guardando os dados em alguma estrutura (como um map/tabela de hash/dicionário/etc). Sei que parece tentador usar apenas a linha de comando e resolver tudo "em uma linha", mas muitas vezes a tentativa de se fazer um one liner pode acabar complicando as coisas.

Até porque mesmo o xmllint (e qualquer outra ferramenta de linha de comando) tem suas limitações (por exemplo, se o span tiver outras tags dentro dele, o xmllint imprime o conteúdo de cada uma em uma linha, e aí o grep teria que ser adaptado para mostrar mais de uma, mas como a quantidade varia, ficaria bem mais complicado - já usando alguma linguagem de programação com as libs adequadas, fica bem mais fácil resolver, pois muitas já possuem mecanismos prontos para obter esta informação).

Resumindo, mesmo que seja possível fazer de um jeito, prefira usar as ferramentas corretas para cada problema. De qualquer forma, as opções estão aí.

1
  • 1
    Excelente resposta, uma pena que eu não consiga transmitir, para as outras pessoas, a gambiarra que é fazer parsing de XML/HTML com regex. Infelizmente teremos ainda que ver seres humanos fadados a bater cabeça com códigos que repentinamente param de funcionar "sem motivo". 20/05/2021 às 15:33
1

Você pode usar esse:

">(.*?) - TorraTudo</span>.*?#\d+;(?:\s?)banho

Não tenho linux, testei no notepad++.

Teste e explicação está aqui.

--

Como afirmei, não tenho linux, estou no windows. Meu arquivo "teste.txt" está exatamente como seu exemplo, selecionei seu texto (os span), ctrl+c e ctrl+v e salvei.

Arquivo teste.txt

<span class="CVA68e qXLe6d">Colcha Casal e ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Colcha Solteiro e ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Roupão de banho ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; banho</span>  </span>
<span class="CVA68e qXLe6d">Caminho de mesa ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; mesa</span>  </span>
<span class="CVA68e qXLe6d">Cortina para quarto ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Travesseiro de pena com ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Fronha de Solteiro em ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Lençol 70% algodão e ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Pano de prato pintado a ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; mesa</span>  </span>
<span class="CVA68e qXLe6d">Coberto dupla face colo... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; cama</span>  </span>
<span class="CVA68e qXLe6d">Toalha de rosto felpudo ... - TorraTudo</span>  <span class="qXLe6d dXDvrc">  <span class="fYyStc">www.torratudo.com &#8250; banho</span>  </span>

Rodei esse comando no powershell:

Get-Content -Encoding UTF8 "./teste.txt" | Select-String -Pattern '">(.*?) - TorraTudo</span>.*?#\d+;(?:\s?)cama' | % { "Titulo $($_.matches.groups[1])" }

Resultado:

Colcha Casal e ...
Colcha Solteiro e ...
Cortina para quarto ...
Travesseiro de pena com ...
Fronha de Solteiro em ...
Lençol 70% algodão e ...
Coberto dupla face colo...

O título vai estar no grupo 1, o 0 será toda a linha.

2
  • Eu resolvi alterar a resposta pra colocar as informações.
    – Kiritonito
    20/05/2021 às 5:38
  • Consegui! E vou compartilhar com você criando uma outra resposta. Ja que se eu for ter que explanar os detalhes do assunto (erros, acertos e descoberta) que após inúmeras tentativas que se deu. Eu tería que escrever vários comentários em sequência. Pra não poluir esta página com comentário em partes. Vou responder a minha própria questão pra abordar o assunto como um todo. Sua lógica esta correta! 20/05/2021 às 7:07
1

Esta é uma resposta em emenda com a reposta do colega @Kiritonito

Tão somente serve para esclarecer alguns detalhes que uma vez ele deu sua reposta fazendo uso do sistema Windows e que por minha vez uso distro Linux.

Então vou relatar alguns [poucos] pontos que pude perceber e corrigir para que a solução da "Expressão Regular" dada por ele, funcionasse em meu sistema operacional(Unix/Like).

Para o sed não acusar erro de síntaxe. O detalhe aqui é que, foi preciso escapar a barra (invertida) slash do span:

<\/span>

Me lembrei que possuo tanto o pacote Coreutils da GNU, como o Busybox.

  • O que isso quer dizer??? Um tem mais recurso built-in do que o outro.

E como era de se esperar, houve diferença você irá saber agora. Confira:

Executando com o sed do pacote CoreUtils:

/usr/local/bin/sed '/">(.*?) - TorraTudo<\/span>.*?#\d+;(?:\s?)/g' /tmp/default.htm  | grep banho | cut -d\> -f2 | cut -d\< -f1

Executando com o sed do pacote Busybox:

/bin/busybox sed '/">(.*?) - TorraTudo<\/span>.*?#\d+;(?:\s?)banho/g' /tmp/default.htm  | cut -d\> -f2 | cut -d\< -f1

Observações:

sed GNU - 4.2.2

No final da expressão regular, onde, fica(va) a palavra seletora cama,mesa ou banho não funciona no sed da GNU [CoreUtils].

sed '/">(.*?) - TorraTudo<\/span>.*?#\d+;(?:\s?)/g' /tmp/default.htm | grep banho

O que me fez pensar .. filtrar pelo grep as tais palavras cama, mesa e banho. Ja que não traz diferença nenhuma coexistir essas palavras na expressão do sed

É precisso utilizar-se do grep juntamente com a expressão regular em partes no sed pra conseguir realizar tal façanha.


sed Busybox - v1.22.1

Não se faz necessário alterar ou acrescentar nada apenas como de praxe, escapar a barra invertida do span. E tudo flui como desejado.

sed '/">(.*?) - TorraTudo<\/span>.*?#\d+;(?:\s?)banho/g' /tmp/default.htm

Finalizei com o comando cut ao final pra deixar o resultado bem limpo.

cut -d\> -f2 | cut -d\< -f1


Conclusão

Na resposta dada pelo @Kiritonito um dos desafio foi descobrir qual era o comando a se fazer uso da expressão regular(sed,awk ou grep).

Corrigir este mínimo erro de escapar a barra <\/span>.

E testar em múltiplo comando sed e descobrir em qual deles a síntaxe precisava de ajuste ou não dependendo do sed e sua versão.

Então, isto pode parecer uma coisa boba, mas eu perdi muito tempo por não me lembrar que tenho duas ferramentas de linha de comando de pacotes diferentes, e que cumpre o mesmo papel. Porém, uma é mais moderna do que outra.

Devemos nos atentar também a versões de programas de diferentes época de seu lançamento que pode acarretar em frustações, levando nos a pensar que o código possa conter erros, e muitas das vezes não é. É o preço muita das vezes que se paga ao usar versões semântica de códigos ou apli modernas -, incompatibilidade.

1
  • Isto também funcionou muito bem e foi mais prático do que imaginava. sed 's/\*>/\n/g' /tmp/default.htm | grep "mesa" | cut -d\> -f2 | cut -d\< -f1 . Só foi preciso utilizar - O curinga casa com o “nada”, pois “qualquer quantidade” também é igual a “nenhuma quantidade”. 20/05/2021 às 17:26
1

Usando expressões regulares via Perl

$ perl -nE '/<span.*?>(.*?)- TorraTudo.*8250; (.*?)<.span>/ 
            and say $1,$2' file.html

Colcha Casal e ... cama
Colcha Solteiro e ... cama
Roupão de banho ... banho
Caminho de mesa ... mesa
...

Usando um parser de XML/HTML (xidel)

xidel ex1.html -e '//span/text()'| perl -0pe 's/TorraTudo\s*.*?›//g'

(produz o mesmo resultado)

0

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .