Não use regex para parsing de HTML
Já que a pergunta tem a tag beautifulsoup, por que não usar essa biblioteca, que é feita justamente para fazer parsing e manipulação de HTML, em vez de regex?
Se o HTML está mal formado/estruturado, você pode instalar parsers alternativos, citados na própria documentação do Beautiful Soup. No seu caso, acredito que a opção seria usar o html5lib, que é o mais permissivo dos parsers (a documentação diz que, apesar de ser mais lento, ele é tão permissivo quanto os browsers, que são conhecidos por aceitarem HTML's extremamente mal formados). Não ficou claro o quão mal formado está seu HTML, mas acho que vale o teste.
De qualquer forma, regex não foi feito para trabalhar com HTML (pode até "funcionar" em muitos casos, mas como você mesmo já começou a perceber, não é a ferramenta mais adequada para a tarefa).
Com Beautiful Soup, ficaria assim:
html = '''
<tr bgcolor="#CCCCCC">
<td colspan="2"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">1º
Período Ideal</span></font></td>
<td><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">Créd.<br/>
Aula</span></font></td>
<td><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">Créd.<br/>
Trab.</span></font></td>
<td align="center"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CH</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CE</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">CP</span></font></td>
<td align="center" width="6%"><font color="#000000" face="Verdana, Arial, Helvetica, sans-serif" size="1"><span class="txt_arial_8pt_black">ATPA</span></font></td>
</tr>'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
for span in soup.find_all('span', class_='txt_arial_8pt_black'):
print(span.text)
O código acima busca todos os span
's que tem a classe "txt_arial_8pt_black", e imprime o respectivo texto de cada uma. Detalhe que as quebras de linha presentes no HTML também serão impressas:
1º
Período Ideal
Créd.
Aula
Créd.
Trab.
CH
CE
CP
ATPA
Se quiser usar o outro parser já citado, que lida melhor com HTML mal formado, basta mudar para:
soup = BeautifulSoup(html, 'html5lib')
Não esquecendo, claro, de instalá-lo, conforme consta na documentação.
Mas se quiser muito mesmo usar regex...
Abaixo eu mostro algumas soluções com regex, e você entenderá porque usar o Beautiful Soup é uma solução muito melhor.
A sua regex não funciona em todos os casos porque o ponto corresponde a qualquer caractere, exceto quebras de linha. E como algumas tags span
tem quebras de linha no texto, .*
não vai pegar esses trechos - como é o caso da tag que você mencionou:
<span class="txt_arial_8pt_black">1º
Período Ideal</span>
Uma alternativa é usar a flag DOTALL
, que faz com que o ponto também corresponda a quebras de linha:
import re
for texto in re.findall(r'<span class="txt_arial_8pt_black">(.*?)</span>', html, re.DOTALL):
print(texto)
Usei findall
para buscar todas as ocorrências existentes no HTML. O detalhe é que o trecho que corresponde ao conteúdo da tag está entre parênteses e isso forma um grupo de captura. E a documentação diz que findall
retorna somente os grupos quando estes estão presentes, por isso a variável texto
já tem o texto da tag a cada iteração.
Isso "funciona", mas com muitas limitações (e nem me refiro ao fato da regex retornar também as tags <br/>
junto do texto, que não ficou claro se é para retornar ou não). Se o HTML mudar um pouco, já vai exigir modificações na regex, que não seriam necessárias se usássemos o Beautiful Soup.
Por exemplo, se a tag tiver outros atributos ou simplesmente outra classe, como <span id="abc" class="txt_arial_8pt_black">
ou <span class="outra_classe txt_arial_8pt_black">
. Pronto, já quebrou a regex (mas o primeiro código com Beautiful Soup continuará achando essas tags sem problemas). Uma alternativa seria:
r'<span[^>]+class="[^"]*\btxt_arial_8pt_black\b[^"]*"[^>]*>(.*?)</span>'
Ou seja, a regex considera que pode ter [^>]+
(um ou mais caracteres que não sejam >
) antes do class
, e dentro do class
pode ter zero ou mais caracteres que não sejam aspas ([^"]*
) antes e depois de "txt_arial_8pt_black" (e o atalho \b
é para garantir que não haverá classes como "txt_arial_8pt_black2", por exemplo).
Mas e se tiver um span
dentro de outro (o que é perfeitamente possível)?
<span class="txt_arial_8pt_black">Antes <span>Durante</span> Depois</span>
O Beautiful Soup pega corretamente todo o texto "Antes Durante Depois"
, mas a regex só pega Antes <span>Durante
(obs: se quiser que o Beautiful Soup retorne todo o conteúdo do span
, incluindo as tags, troque span.text
por span.decode_contents()
). Isso acontece porque a regex usa lazy quantifier (o ?
logo depois do .*
- veja mais informações aqui e aqui), ou seja, ele pega a menor quantidade possível de caracteres que satisfaça a expressão. Isso faz a regex parar no primeiro </span>
que encontrar (veja).
E se eu retirar o lazy quantifier, aí ela se torna gananciosa e pega a maior quantidade possível de caracteres, ou seja, ela pega tudo até o último </span>
(veja).
Nesse caso, até daria para usar algo como:
r'<span[^>]+class="[^"]*\btxt_arial_8pt_black\b[^"]*"[^>]*>(.*?)</span>(?![^<>]*</span>)'
O lookeahead negativo (?![^<>]*</span>)
verifica se depois do fechamento da tag não há outro fechamento, mas agora a regex falha se no meio tiver alguma outra tag que não seja span
, ex:
<span class="txt_arial_8pt_black">Antes <span>Durante</span><br> Depois</span>
O <br>
entre os dois </span>
já quebra a regex, e aí você tem que mudá-la novamente para que considere este caso. Uma alternativa seria:
r'<span[^>]+class="[^"]*\btxt_arial_8pt_black\b[^"]*"[^>]*>(.*?)</span>(?!(?:</?(?!\bspan\b)[^<>]*>|[^<>])*</span>)'
Agora o lookahead negativo (?!(?:</?(?!\bspan\b)[^<>]*>|[^<>])
verifica se tem algum caractere que não é <
nem >
, ou uma tag que não é span
(usando outro lookahead só para isso, ou seja, um lookahead dentro de outro - que para mim já é um dos sinais de que a coisa está mais complexa do que deveria).
Apesar de funcionar para o caso citado, será que vale a pena usar essa regex? Pense na manutenção futura disso, e compare com o código do Beautiful Soup lá em cima. Além disso, a regex retorna sempre o conteúdo do span
com as tags, enquanto o Beautiful Soup dá a opção de retornar somente o texto sem as tags. Para eliminar as tags usando regex, você precisaria de outra só para isso.
Perceba que para cada caso diferente a mais, surge uma nova complicação na regex, e a expressão vai ficando cada vez maior, mais complexa e difícil de entender e manter. Já o código com Beautiful Soup seria o mesmo citado no início, então será que vale a pena insistir em usar regex?
Tem ainda outros casos, como por exemplo se a tag estiver dentro de comentários:
<!--
comentários HTML, etc
<a href="blabla">estou comentado</a>
<span class="txt_arial_8pt_black">também estou comentado</span>
<p>comentado, me ignorem</p>
-->
<span class="txt_arial_8pt_black">não estou comentado</span>
O Beautiful Soup ignora o primeiro span
, pois ele está comentado, enquanto a regex não, pois ela não consegue avaliar o que está "em volta" da tag, e por isso não detecta que ela está dentro de um comentário. Até é possível mudar a regex para detectar esses casos, mas será que vale a pena adicionar algo assim em uma expressão que por si só já está bem complexa, sendo que com Beautiful Soup o código seria o mesmo que está no início da resposta?
E só estamos considerando os casos em que existe o fechamento da tag. Mas como você disse que o HTML está mal formado, então teremos que considerar que nem sempre a tag terá o respectivo fechamento? Nesse caso será pior ainda ter uma regex que contemple todas as situações possíveis: talvez tenha que deixar os fechamentos opcionais (mas como saber que a tag terminou?), detectar algumas variações de tags mal formadas - e a complexidade vai depender de como estão estas tags - etc. Enfim, dependendo de como está o HTML, fazer uma ou mais expressões será trabalhoso demais e na minha opinião não valerá a pena.
Não me entenda mal, regex são legais - eu gosto bastante - e muitas vezes parece ser a melhor solução. Mas nem sempre é (para manipular HTML, com certeza não é).