1

Sei que existem parsers de HTML, mas como o meu HTML não está bem estruturado, preciso usar também expressões regulares.

O HTML é assim:

<tr bgcolor="#CCCCCC">
<td colspan="2"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">1º 

                          Período Ideal</span></font></td>
<td><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">Créd.<br/>

                          Aula</span></font></td>
<td><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">Créd.<br/>

                          Trab.</span></font></td>
<td align="center"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CH</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CE</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CP</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">ATPA</span></font></td>
</tr>

E a regex é:

r'''<span class="txt_arial_8pt_black">(.*?)</span>'''

Estou tentando pegar o texto '1º Período Ideal', mas a regex não o reconhece, embora outros trechos sejam reconhecidos, como 'CE', 'CP' e 'ATPA', e eu não entendo o motivo.

0

2 Respostas 2

8

Não use regex para parsing de HTML

Já que a pergunta tem a tag , por que não usar essa biblioteca, que é feita justamente para fazer parsing e manipulação de HTML, em vez de regex?

Se o HTML está mal formado/estruturado, você pode instalar parsers alternativos, citados na própria documentação do Beautiful Soup. No seu caso, acredito que a opção seria usar o html5lib, que é o mais permissivo dos parsers (a documentação diz que, apesar de ser mais lento, ele é tão permissivo quanto os browsers, que são conhecidos por aceitarem HTML's extremamente mal formados). Não ficou claro o quão mal formado está seu HTML, mas acho que vale o teste.

De qualquer forma, regex não foi feito para trabalhar com HTML (pode até "funcionar" em muitos casos, mas como você mesmo já começou a perceber, não é a ferramenta mais adequada para a tarefa).

Com Beautiful Soup, ficaria assim:

html = '''
<tr bgcolor="#CCCCCC">
<td colspan="2"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">1º 

                          Período Ideal</span></font></td>
<td><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">Créd.<br/>

                          Aula</span></font></td>
<td><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">Créd.<br/>

                          Trab.</span></font></td>
<td align="center"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CH</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CE</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CP</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">ATPA</span></font></td>
</tr>'''

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
for span in soup.find_all('span', class_='txt_arial_8pt_black'):
    print(span.text)

O código acima busca todos os span's que tem a classe "txt_arial_8pt_black", e imprime o respectivo texto de cada uma. Detalhe que as quebras de linha presentes no HTML também serão impressas:

1º 

                          Período Ideal
Créd.

                          Aula
Créd.

                          Trab.
CH
CE
CP
ATPA

Se quiser usar o outro parser já citado, que lida melhor com HTML mal formado, basta mudar para:

soup = BeautifulSoup(html, 'html5lib')

Não esquecendo, claro, de instalá-lo, conforme consta na documentação.


Mas se quiser muito mesmo usar regex...

Abaixo eu mostro algumas soluções com regex, e você entenderá porque usar o Beautiful Soup é uma solução muito melhor.

A sua regex não funciona em todos os casos porque o ponto corresponde a qualquer caractere, exceto quebras de linha. E como algumas tags span tem quebras de linha no texto, .* não vai pegar esses trechos - como é o caso da tag que você mencionou:

<span class="txt_arial_8pt_black">1º 

                          Período Ideal</span>

Uma alternativa é usar a flag DOTALL, que faz com que o ponto também corresponda a quebras de linha:

import re
for texto in re.findall(r'<span class="txt_arial_8pt_black">(.*?)</span>', html, re.DOTALL):
    print(texto)

Usei findall para buscar todas as ocorrências existentes no HTML. O detalhe é que o trecho que corresponde ao conteúdo da tag está entre parênteses e isso forma um grupo de captura. E a documentação diz que findall retorna somente os grupos quando estes estão presentes, por isso a variável texto já tem o texto da tag a cada iteração.

Isso "funciona", mas com muitas limitações (e nem me refiro ao fato da regex retornar também as tags <br/> junto do texto, que não ficou claro se é para retornar ou não). Se o HTML mudar um pouco, já vai exigir modificações na regex, que não seriam necessárias se usássemos o Beautiful Soup.

Por exemplo, se a tag tiver outros atributos ou simplesmente outra classe, como <span id="abc" class="txt_arial_8pt_black"> ou <span class="outra_classe txt_arial_8pt_black">. Pronto, já quebrou a regex (mas o primeiro código com Beautiful Soup continuará achando essas tags sem problemas). Uma alternativa seria:

r'<span[^>]+class="[^"]*\btxt_arial_8pt_black\b[^"]*"[^>]*>(.*?)</span>'

Ou seja, a regex considera que pode ter [^>]+ (um ou mais caracteres que não sejam >) antes do class, e dentro do class pode ter zero ou mais caracteres que não sejam aspas ([^"]*) antes e depois de "txt_arial_8pt_black" (e o atalho \b é para garantir que não haverá classes como "txt_arial_8pt_black2", por exemplo).

Mas e se tiver um span dentro de outro (o que é perfeitamente possível)?

<span class="txt_arial_8pt_black">Antes <span>Durante</span> Depois</span>

O Beautiful Soup pega corretamente todo o texto "Antes Durante Depois", mas a regex só pega Antes <span>Durante (obs: se quiser que o Beautiful Soup retorne todo o conteúdo do span, incluindo as tags, troque span.text por span.decode_contents()). Isso acontece porque a regex usa lazy quantifier (o ? logo depois do .* - veja mais informações aqui e aqui), ou seja, ele pega a menor quantidade possível de caracteres que satisfaça a expressão. Isso faz a regex parar no primeiro </span> que encontrar (veja).

E se eu retirar o lazy quantifier, aí ela se torna gananciosa e pega a maior quantidade possível de caracteres, ou seja, ela pega tudo até o último </span> (veja).

Nesse caso, até daria para usar algo como:

r'<span[^>]+class="[^"]*\btxt_arial_8pt_black\b[^"]*"[^>]*>(.*?)</span>(?![^<>]*</span>)'

O lookeahead negativo (?![^<>]*</span>) verifica se depois do fechamento da tag não há outro fechamento, mas agora a regex falha se no meio tiver alguma outra tag que não seja span, ex:

<span class="txt_arial_8pt_black">Antes <span>Durante</span><br> Depois</span>

O <br> entre os dois </span> já quebra a regex, e aí você tem que mudá-la novamente para que considere este caso. Uma alternativa seria:

r'<span[^>]+class="[^"]*\btxt_arial_8pt_black\b[^"]*"[^>]*>(.*?)</span>(?!(?:</?(?!\bspan\b)[^<>]*>|[^<>])*</span>)'

Agora o lookahead negativo (?!(?:</?(?!\bspan\b)[^<>]*>|[^<>]) verifica se tem algum caractere que não é < nem >, ou uma tag que não é span (usando outro lookahead só para isso, ou seja, um lookahead dentro de outro - que para mim já é um dos sinais de que a coisa está mais complexa do que deveria).

Apesar de funcionar para o caso citado, será que vale a pena usar essa regex? Pense na manutenção futura disso, e compare com o código do Beautiful Soup lá em cima. Além disso, a regex retorna sempre o conteúdo do span com as tags, enquanto o Beautiful Soup dá a opção de retornar somente o texto sem as tags. Para eliminar as tags usando regex, você precisaria de outra só para isso.


Perceba que para cada caso diferente a mais, surge uma nova complicação na regex, e a expressão vai ficando cada vez maior, mais complexa e difícil de entender e manter. Já o código com Beautiful Soup seria o mesmo citado no início, então será que vale a pena insistir em usar regex?

Tem ainda outros casos, como por exemplo se a tag estiver dentro de comentários:

<!--
comentários HTML, etc
<a href="blabla">estou comentado</a>
<span class="txt_arial_8pt_black">também estou comentado</span>
<p>comentado, me ignorem</p>
-->
<span class="txt_arial_8pt_black">não estou comentado</span>

O Beautiful Soup ignora o primeiro span, pois ele está comentado, enquanto a regex não, pois ela não consegue avaliar o que está "em volta" da tag, e por isso não detecta que ela está dentro de um comentário. Até é possível mudar a regex para detectar esses casos, mas será que vale a pena adicionar algo assim em uma expressão que por si só já está bem complexa, sendo que com Beautiful Soup o código seria o mesmo que está no início da resposta?

E só estamos considerando os casos em que existe o fechamento da tag. Mas como você disse que o HTML está mal formado, então teremos que considerar que nem sempre a tag terá o respectivo fechamento? Nesse caso será pior ainda ter uma regex que contemple todas as situações possíveis: talvez tenha que deixar os fechamentos opcionais (mas como saber que a tag terminou?), detectar algumas variações de tags mal formadas - e a complexidade vai depender de como estão estas tags - etc. Enfim, dependendo de como está o HTML, fazer uma ou mais expressões será trabalhoso demais e na minha opinião não valerá a pena.

Não me entenda mal, regex são legais - eu gosto bastante - e muitas vezes parece ser a melhor solução. Mas nem sempre é (para manipular HTML, com certeza não é).

3

o problema específico desta tag, no exemplo que está aí, é que o conteúdo da célula se estende por mais de uma linha. Você nao colocou seu código Python (é dificil responder a pergunta assim), mas você tem que adicionar a flag re.DOTALL à chamada que executa a expressão regular. (não tem como dar exemplo, já que não sabemos qual função você está usando). Essa flag indica para o engine que todo o bloco de texto deve ser tratado em conjunto, e não que cada nova linha "inicia novamente" um bloco de texto onde aplicar a expressão regular.

Acho que em todas as chamadas do módulo re, as flags são o último parâmetro - é só adicionar o re.DOTALL na sua chamada.

Perceba que mesmo funcionando, expressões regulares não são a forma masi adequada de se extrair conteúdo web - você pode usar se quer algo bem específico, em páginas que você sabe como estão - e que não parseiam direito, como é esse caso - mas uma expressão regular "universal" que dê conta de qualquer estrutura válida no HTML não só seria muito difícil de escrever e manter, como seria algo monstruoso -seria muito mais fácil fazer um parser. Não enfatizo mais esse ponto, por que esse HTML aí realmente é bem ruim - então, ua solução ad-hoc pode ser o melhor a fazer.

No entanto você está fazendo um uso bastante ineficiente de expressões regulares aí: voce está passando caracteres exatos, sem usar nenhum dos recursos para garantir que você continue pegando seus resultados se mudar o nome da classe no elemento spam, ou se tiver um espaço a mais em algum lugar, ou outras tags, etc... - pode ser que funcione assim sempre, e pode ser que quebre derrepente, ou que você deixe de pegar tags que nem perceba que estão lá por conta de espaçamento, etc... O ideal seria usar uma regexp mais flexível do que essa aí.

2
  • 1
    Na verdade a flag a ser usada é DOTALL, pois a MULTILINE só muda o comportamento do ^ e $ (eles passam a considerar também o início e fim de cada linha). Já o DOTALL faz com que o ponto corresponda a quebras de linha, e aí sim "funciona": ideone.com/HbKC2C - pessoalmente eu acho confuso o nome MULTILINE, e pra piorar algumas engines chamam o DOTALL de "single line", o que deixa tudo mais confuso ainda. Mas de qq forma, acho que regex nem é a melhor solução, conforme eu falo na minha resposta :-)
    – hkotsubo
    Commented 17/03/2020 às 14:04
  • 1
    Troquei para o .DOTALL - mas vou manter a resposta, já que deve reolver o problema do A.P. agora - vou enfatizar que não se deve usar regexps, no entanto.
    – jsbueno
    Commented 17/03/2020 às 14:07

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .