Como faço para remover a tag de comentário junto com o conteúdo dela com o bs4 ?
<div class="foo">
A Arara é um animal voador.
<!--
<p>Animais
Nome: Arara
Idade: 12 anos e 9 meses
Tempo de Vida: 15 anos
-->
</div>
Baseado nas respostas da pergunta Beautifulsoup 4: Remove comment tag and its content, você pode utilizar o método extract
para remover um item da árvore. Para saber se o item é um comentário, basta verificar se é uma instância de bs4.Comment
.
from bs4 import BeautifulSoup, Comment
html = """<div class="foo">
A Arara é um animal voador.
<!--
<p>Animais
Nome: Arara
Idade: 12 anos e nove meses
Tempo de Vida: 15 anos
-->
</div>"""
soup = BeautifulSoup(html, 'html.parser')
div = soup.find('div', class_='foo')
for element in div(text=lambda it: isinstance(it, Comment)):
element.extract()
print(soup.prettify())
A saída será:
<div class="foo">
A Arara é um animal voador.
</div>
Encontrei uma solução simplificada baseado na resposta da pergunta How to find all comments with Beautiful Soup
Primeiro importa o BeautifulSoup com os métodos necessários.
from bs4 import BeautifulSoup, Comment
Segundo, utilize o código abaixo para extrair os comentários
for comments in soup.findAll(text=lambda text:isinstance(text, Comment)):
comments.extract()
Caso queira apenas o content da div foo
:
div = soup.find('div', class_='foo')
print div.text
Resultado
A Arara é um animal voador.
Esta solução utiliza List Comprehension.
from bs4 import BeautifulSoup, Comment
soup = BeautifulSoup(html, 'html.parser')
[x.parent.decompose() for x in soup.find_all(text=lambda x: isinstance(x, Comment))]