Como André Figueiredo explicou perfeitamente, expressões regulares (no sentido formal do termo) não são poderosas o suficiente para tratar linguagens livres de contexto. Por isso, tratar HTML com regexes não é uma boa prática.
Uma explicação mais prática pode ser útil.
Às vezes a linguagem não é HTML
Expressões regulares são úteis para parsear texto, mesmo que o conteúdo seja HTML. Considere uma lista como a abaixo:
<ul class="my-list">
<li>item1</li>
<li>item2</li>
<li>item3</li>
</ul>
É fácil pegar o conteúdo de cada item com uma expressão regular (exemplo em Python):
>>> a = '''<ul class="my-list">
... <li>item1</li>
... <li>item2</li>
... <li>item3</li>
... </ul>'''
>>> def items(string):
... return re.findall('<li>(.*)</li>', string)
...
>>> items(a)
['item1', 'item2', 'item3']
Isto não é "errado" per se. É bastante prático, aliás. No caso, não queremos nem tratar uma linguagem livre de contexto como HTML. Queremos apenas tratar a linguagem regular <li>.*</li>
.
Aí a linguagem se transforma em HTML
O (potencial) problema com essa abordagem é que o conteúdo pode mudar de maneiras que uma regex não pode acompanhar.
Digamos que o HTML é gerado por uma aplicação dinâmica, e um dia ele muda para algo assim:
<ul class="my-list">
<li>
item1
</li>
<li>
item2
<ol class="sublist">
<li>item2.1</li>
<li>item2.2</li>
</ol>
</li>
<li>
item3
</li>
</ul>
O resultado será bem diferente agora:
>>> b = '''<ul class="my-list">
... <li>
... item1
... </li>
... <li>
... item2
... <ol class="sublist">
... <li>item2.1</li>
... <li>item2.2</li>
... </ol>
... </li>
... <li>
... item3
... </li>
... </ul>'''
>>> items(b)
['item2.1', 'item2.2']
Algumas partes do problema são fáceis de resolver. Podemos alterar a expressão para incluir item1
e item3
ao descartar espaços em branco, como em <li>\s*(.*)\s*</li>
. Outras são mais complicadas. Como pegar item2
? Queremos pegar a sub-lista em item2
, ou apenas o texto? Se quisermos pegar apenas os items da primeira lista, como fazemos?
É aí que expressões regulares começam falham. É praticamente impossível fazer a expressão regular entender que está no primeiro nível, ou no segundo, por exemplo.
Esse cenário é comum: uma solução simples com regex começa a falhar em um caso, depois em outro, depois outro... Aos poucos vai sendo adaptada, mas a regex fica cada vez mais complicada. Com o tempo, ela fica quase impossível de entender.
A solução através do parser
Um parser HTML é ligeiramente mais complicado de usar que uma expressão regular, mas é muito mais poderoso.
Por exemplo, nossa função poderia utilizar BeautifulSoup ao invés de expressões regulares. Seria algo assim:
>>> def items(string)
... b = BeautifulSoup(string, 'html.parser')
... items = b.find_all('li')
... return [i.text for i in items]
...
>>> items(a)
[u'item1', u'item2', u'item3']
Tem mais código aqui, mas não muito. Agora, o que acontece se chamamos essa função com o novo valor b
?
>>> items(b)
[u'\n item1\n ', u'\n item2\n \nitem2.1\nitem2.2\n\n', u'item2.1', u'item2.2', u'\n item3\n ']
Dessa vez, ela retornou o conteúdo de todos os li
!
Por outro lado, ela falhou também, de maneira diferente. Mas é mais fácil consertar agora. Para remover os espaços em branco, usamos o método strip()
:
>>> def items(string):
... b = BeautifulSoup(string, 'html.parser')
... elements = b.find_all('li')
... return [e.text.strip() for e in elements]
...
>>> items(b)
[u'item1', u'item2\n \nitem2.1\nitem2.2', u'item2.1', u'item2.2', u'item3']
A lista aninhada é adicionada como texto no item2
. Felizmente, o parser é flexível: podemos usar o método find()
de cada elemento para pegar apenas texto:
>>> def items(string):
... b = BeautifulSoup(string, 'html.parser')
... elements = b.find_all('li')
... return [e.find(text=True, recursive=False).strip() for e in elements]
...
>>> items(b)
[u'item1', u'item2', u'item2.1', u'item2.2', u'item3']
Se queremos apenas os items da lista primária, podemos ser mais específicos. Vamos pegar a lista primeiro, e então vamos pegar todos os <li>
dela, sem recursividade:
>>> def items(string):
... b = BeautifulSoup(string, 'html.parser')
... list = b.find('ul')
... elements = list.find_all('li', recursive=False)
... return [e.find(text=True, recursive=False).strip() for e in elements]
...
>>> items(b)
[u'item1', u'item2', u'item3']
A função não é tão simples quanto a primeira, mas faz muito mais coisas. E, melhor ainda, pudemos evoluí-la gradativamente, de maneira legível.
Uma só ferramenta boa versus a melhor ferramenta para o trabalho
Isto não significa que nunca se possa usar expressões regulares para extrair conteúdo de HTML. A questão são os tradeoffs:
- Se você está fazendo um script descartável, expressão regular é provavelmente uma boa escolha;
- Se você confia que o formato do HTML não vai mudar, a expressão regular pode ser suficiente;
- Se você tem controle sobre o HTML a ser tratado, e estiver disposto a usar um formato rígido nele (o que não é uma boa ideia), a expressão regular será estável;
- Se você estiver disposto para correr e alterar sua regex toda vez que alguem mudar alguma coisa no HTML, você pode fazê-lo (e se preparar para perder batante tempo.)
É muito fácil um principiante fascinar-se com a simplicidade das expressões regulares e fazer a escolha errada. Por isso, é tão comum recomendar que se use o parser desde a primeira linha de código. O parser é sempre uma escolha certa, e 90% das vezes é a escolha mais certa.
Agora, se você é experiente e já está acostumado com parsers, pode pesar os prós e contras caso a caso. No final das contas, mesmo que expressão regular não seja a escolha mais escalável, se você a mantiver encapsulada em uma função vai ser bem fácil substituí-la por um parser eventualmente.