-1

Tenho várias páginas HTML que gostaria de pegar o título, usando o sed ou o awk.

Quando faço com o sed ele retorna todo o conteúdo da página, e não somente o título.

Nas páginas o título vem assim:

<h1 style="color:#0F1A7F;margin:0px 10px 10px;border-bottom:1px solid #FF0000;font-family:'Trebuchet MS', 'geneva', 'sans-serif', 'arial';"> Titulo da pagina </h1>

Usei este comando para pegar somente o 'Titulo da pagina':

k=$(sed 's/<[^>]*>//') pagina.html

Retorna todo o conteúdo da página.

0

1 Resposta 1

0

sed e awk (com expressões regulares - regex) não são as ferramentas mais adequadas para a tarefa. De maneira geral, regex não foi feito para trabalhar com HTML (pode até "funcionar" em muitos casos, mas não é a ferramenta mais adequada para a tarefa).

Embora seja possível - e até "fácil" nos casos mais simples - é muito mais garantido usar um parser de HTML, e ao longo da resposta veremos os motivos.

Por exemplo, com sed, uma solução ingênua seria:

sed -e 's/^.*<title>//' -e 's/<\/title>.*//' pagina.html

Ou seja, primeiro eu removo tudo desde o início até a tag <title>, e depois removo tudo de </title> em diante. O que sobrar é o título da página.

Mas no seu caso, como você quer pegar o conteúdo de um h1, então ficaria:

sed -e 's/^.*<h1[^>]*>//' -e 's/<\/h1>.*//' pagina.html

Mas essa solução é simplista demais. Por exemplo, se o HTML tiver algo assim:

    <title>título da página</title>
<!--     <title>title comentado</title> -->

O primeiro comando acima pegará a tag que está comentada. E alterar as regex para que detectem comentários não é lá muito simples.

É por este e outros motivos que regex não é a melhor ferramenta para fazer parsing de HTML (veja mais detalhes aqui, aqui e aqui).


Uma opção - melhor, na minha opinião - é usar o xmllint, que é parte da libxml (procure na Internet como instalá-lo no seu sistema, não é difícil).

Com ele fica bem mais simples obter o title (e qualquer outra tag). Ex:

xmllint --xpath '//title/text()' --html pagina.html

O comando acima devolve somente o texto da tag title. Se quiser também a tag, basta remover o /text(). Além disso, como ele é um parser, já consegue detectar - e ignorar - corretamente se a tag estiver dentro de comentários, como no exemplo acima.

No caso do h1, poderia ser algo como:

xmllint --xpath '//h1[1]/text()' --html pagina.html

h1[1] serve para pegar apenas o primeiro h1 (caso haja mais de um na página).

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .