2

Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos html/CSS.

import requests, bs4,os
url = ('https://valor.globo.com/')
res = requests.get(url)
objSoup=bs4.BeautifulSoup(res.text,features="html.parser")
newsValor = objSoup.select('.highlight__subtitle')
newsValor

Não consegui encontrar muita coisa sobre isso.

0

1 Resposta 1

3

Use o método get_text:

import requests, bs4,os

url = ('https://valor.globo.com/')
res = requests.get(url)
objSoup=bs4.BeautifulSoup(res.text,features="html.parser")
newsValor = objSoup.select('.highlight__subtitle')

full_text=[]

for i in range(len(newsValor)):
    full_text.append(newsValor[i].get_text() + "\n\n") #dei um espaço de duas linhas para cada entrada para ver com mais clareza as manchetes

print(''.join(full_text))

Output:

 Na contagem apenas dos votos válidos, Covas tem 57% e Boulos, 43% 

 Pesquisa exclusiva vai ajudar você a diversificar seus investimentos 

 Por seis votos a três, tribunal especial montado na Assembleia Legislativa de Santa Catarina considerou que Carlos Moisés não cometeu crime de responsabilidade ao conceder aumento salarial a procuradores do estado 

 Ex-juiz da Mãos Limpas diz que “encarcerar as pessoas é inútil e piora o problema” 

 Esta Black Friday registrará uma migração natural de parte da demanda das lojas físicas para o on-line 

 População ocupada no comércio foi a única a se manter estável no período 

 Decisão deixa a campanha do republicano com poucas opções para contestar os resultados do pleito na Pensilvânia 

 Nas últimas 24 horas, a Rússia registrou mais um recorde de 27.543 novos casos de covid-19, quase 25% deles na capital 

 Valores, segundo a CNI, variam de R$ 80 a R$ 1 mil por unidade inspecionada em porto 

 Receita total dos embarques do segmento chegou a US$ 577 milhões até outubro 

 Pesquisa mostra que brasileiros são mais otimistas quanto ao uso de ferramentas digitais

Note que newsValor é um objeto que se parece com uma lista e não é possível extrair o texto diretamente dele, como pode ser visto na lista de métodos desse objeto (digite dir(newsValor)). No entanto, o método get_text está definido para os elementos de newsValor (digite dir(newsValor[0])). Por isso a necessidade de um loop.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .