27

Eu entendo que se eu tentar utilizar Regex sobre HTML, as tags HTML vão escorrer de meus olhos como dor líquida, dentre outros horrores. E que eu deveria utilizar um parser de XML ou algo do tipo.

Meu lado criança curioso não para de me perguntar: mas por que? Por que, caro Stack Overflow, não posso eu usar expressões regulares para garimpar nos campos das linguagens de marcação?

1
  • 16
    Porque RegEx faz xixi na calça :)
    – Maniero
    Commented 19/05/2016 às 20:40

2 Respostas 2

24

TL;DR

O HTML é simplesmente mais complexo do que Regex, a ponto que é impossível ter uma Expressão Regular que trate o HTML de maneira satisfatória.

Explicação

A explicação mais direta está na linguagem formal com ajuda da Hierarquia de Chomsky, a qual basicamente organiza as linguagens de acordo com sua complexidade, isto é, liberdade de regras e máquina reconhecedora da linguagem.

Do Tipo 0, a mais complexa - que gera todas as gramáticas reconhecíveis pela Máquina de Turing, ao Tipo 3, a menos complexa, reconhecível por um simples autômato finito.

  • Regex ou Expressão Regular é a implementação da Gramática Regular, do Tipo 3 da Hierarquia de Chomsky, sendo uma gramática linear, reconhecida facilmente por um autômato finito.

  • Já o HTML deriva do SGML, o qual é uma Linguagem Livre de Contexto (LLC), gerada por uma Gramática Livre de Contexto (GLC), do Tipo 2, reconhecida por um autômato com pilha. E o HTML nem LLC é, apesar de ser Turing Complete pela Regra 110 em combinação com o CSS3.

Isto é, um autômato finito não é o suficiente para reconhecer a HTML, sendo preciso um autômato com pilha para reconhecer o SGML, que gerou o HTML. Assim, por definição não é possível reconhecer o HTML com Expressão Regular de modo satisfatório (que cobre todos os casos).


Notas:

  1. A Gramáticas na Hierarquia de Chomsky não estão mutual-exclusivamente separadas e sim, por postas em subconjuntos: Tipo #0 ⊊ #1 ⊊ #2 ⊊ #3.
4
  • HTML não é livre de contexto? Tem como por a referência desse regra 110? Commented 4/07/2017 às 13:46
  • Achei uma referência: en.wikipedia.org/wiki/Rule_110 ; Jogo da VIda de Conway =) Commented 4/07/2017 às 13:48
  • Eu sabia disso para CSS3 junto com HTML, não HTML per si. E também tem o ponto que a descrição em si é GLC (mesmo que a computação dessa descrição permita algo Turing Completo). Por exemplo, eu escrevi um identificador de linguagens Tipo 0 usando apenas GLC, nessa resposta sobre Meta Linguagem Commented 4/07/2017 às 13:52
  • @JeffersonQuesado HTML per se, não - por definição. Corrigi o texto. Porém, HTML não é livre de contexto (apesar de haver alguns defensores dessa ideia, equivocadamente ao meu ver). Não vou me aprofundar nesse tópico aqui porque ele não é pertinente ao post, mas há bastante material na internet. Commented 4/01/2019 às 5:02
12

Como André Figueiredo explicou perfeitamente, expressões regulares (no sentido formal do termo) não são poderosas o suficiente para tratar linguagens livres de contexto. Por isso, tratar HTML com regexes não é uma boa prática.

Uma explicação mais prática pode ser útil.

Às vezes a linguagem não é HTML

Expressões regulares são úteis para parsear texto, mesmo que o conteúdo seja HTML. Considere uma lista como a abaixo:

<ul class="my-list">
    <li>item1</li>
    <li>item2</li>
    <li>item3</li>
</ul>

É fácil pegar o conteúdo de cada item com uma expressão regular (exemplo em Python):

>>> a = '''<ul class="my-list">
...   <li>item1</li>
...   <li>item2</li>
...   <li>item3</li>
... </ul>'''
>>> def items(string):
...     return re.findall('<li>(.*)</li>', string)
... 
>>> items(a)
['item1', 'item2', 'item3']

Isto não é "errado" per se. É bastante prático, aliás. No caso, não queremos nem tratar uma linguagem livre de contexto como HTML. Queremos apenas tratar a linguagem regular <li>.*</li>.

Aí a linguagem se transforma em HTML

O (potencial) problema com essa abordagem é que o conteúdo pode mudar de maneiras que uma regex não pode acompanhar.

Digamos que o HTML é gerado por uma aplicação dinâmica, e um dia ele muda para algo assim:

<ul class="my-list">
    <li>
        item1
    </li>
    <li>
        item2
        <ol class="sublist">
            <li>item2.1</li>
            <li>item2.2</li>
        </ol>
    </li>
    <li>
        item3
    </li>
</ul>

O resultado será bem diferente agora:

>>> b = '''<ul class="my-list">
...     <li>
...         item1
...     </li>
...     <li>
...         item2
...         <ol class="sublist">
...             <li>item2.1</li>
...             <li>item2.2</li>
...         </ol>
...     </li>
...     <li>
...         item3
...     </li>
... </ul>'''
>>> items(b)
['item2.1', 'item2.2']

Algumas partes do problema são fáceis de resolver. Podemos alterar a expressão para incluir item1 e item3 ao descartar espaços em branco, como em <li>\s*(.*)\s*</li>. Outras são mais complicadas. Como pegar item2? Queremos pegar a sub-lista em item2, ou apenas o texto? Se quisermos pegar apenas os items da primeira lista, como fazemos?

É aí que expressões regulares começam falham. É praticamente impossível fazer a expressão regular entender que está no primeiro nível, ou no segundo, por exemplo.

Esse cenário é comum: uma solução simples com regex começa a falhar em um caso, depois em outro, depois outro... Aos poucos vai sendo adaptada, mas a regex fica cada vez mais complicada. Com o tempo, ela fica quase impossível de entender.

A solução através do parser

Um parser HTML é ligeiramente mais complicado de usar que uma expressão regular, mas é muito mais poderoso.

Por exemplo, nossa função poderia utilizar BeautifulSoup ao invés de expressões regulares. Seria algo assim:

>>> def items(string)
...     b = BeautifulSoup(string, 'html.parser')
...     items = b.find_all('li')
...     return [i.text for i in items]
... 
>>> items(a)
[u'item1', u'item2', u'item3']

Tem mais código aqui, mas não muito. Agora, o que acontece se chamamos essa função com o novo valor b?

>>> items(b)
[u'\n        item1\n    ', u'\n        item2\n        \nitem2.1\nitem2.2\n\n', u'item2.1', u'item2.2', u'\n        item3\n    ']

Dessa vez, ela retornou o conteúdo de todos os li!

Por outro lado, ela falhou também, de maneira diferente. Mas é mais fácil consertar agora. Para remover os espaços em branco, usamos o método strip():

>>> def items(string):
...     b = BeautifulSoup(string, 'html.parser')
...     elements = b.find_all('li')
...     return [e.text.strip() for e in elements]
... 
>>> items(b)
[u'item1', u'item2\n        \nitem2.1\nitem2.2', u'item2.1', u'item2.2', u'item3']

A lista aninhada é adicionada como texto no item2. Felizmente, o parser é flexível: podemos usar o método find() de cada elemento para pegar apenas texto:

>>> def items(string):
...     b = BeautifulSoup(string, 'html.parser')
...     elements = b.find_all('li')
...     return [e.find(text=True, recursive=False).strip() for e in elements]
... 
>>> items(b)
[u'item1', u'item2', u'item2.1', u'item2.2', u'item3']

Se queremos apenas os items da lista primária, podemos ser mais específicos. Vamos pegar a lista primeiro, e então vamos pegar todos os <li> dela, sem recursividade:

>>> def items(string):
...     b = BeautifulSoup(string, 'html.parser')
...     list = b.find('ul')
...     elements = list.find_all('li', recursive=False)
...     return [e.find(text=True, recursive=False).strip() for e in elements]
... 
>>> items(b)
[u'item1', u'item2', u'item3']

A função não é tão simples quanto a primeira, mas faz muito mais coisas. E, melhor ainda, pudemos evoluí-la gradativamente, de maneira legível.

Uma só ferramenta boa versus a melhor ferramenta para o trabalho

Isto não significa que nunca se possa usar expressões regulares para extrair conteúdo de HTML. A questão são os tradeoffs:

  • Se você está fazendo um script descartável, expressão regular é provavelmente uma boa escolha;
  • Se você confia que o formato do HTML não vai mudar, a expressão regular pode ser suficiente;
  • Se você tem controle sobre o HTML a ser tratado, e estiver disposto a usar um formato rígido nele (o que não é uma boa ideia), a expressão regular será estável;
  • Se você estiver disposto para correr e alterar sua regex toda vez que alguem mudar alguma coisa no HTML, você pode fazê-lo (e se preparar para perder batante tempo.)

É muito fácil um principiante fascinar-se com a simplicidade das expressões regulares e fazer a escolha errada. Por isso, é tão comum recomendar que se use o parser desde a primeira linha de código. O parser é sempre uma escolha certa, e 90% das vezes é a escolha mais certa.

Agora, se você é experiente e já está acostumado com parsers, pode pesar os prós e contras caso a caso. No final das contas, mesmo que expressão regular não seja a escolha mais escalável, se você a mantiver encapsulada em uma função vai ser bem fácil substituí-la por um parser eventualmente.

1

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .