Estou tentando fazer um scrap em um blog de livros, preciso pegar os títulos e as categorias de todos os livros postados. Na primeira tentativa, obtive um Attribute Error, o que deve acontecer várias vezes pois o site é mal feito e nem sempre as coisas que eu to pegando vão estar com o mesmo código. Para tentar lidar com isso eu adicionei um except
para que o looping continue. Segue meu código até agora:
from selenium import webdriver
import time
from bs4 import BeautifulSoup
import pandas as pd
webdriver.Chrome(executable_path = '/home/porco/Downloads/chromedriver')
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--test-type')
options.binary_location='/usr/bin/chromium'
driver = webdriver.Chrome(chrome_options=options)
url = 'http://amoraosromances.blogspot.com/'
driver.get(url)
A = []
B = []
while True:
soup = BeautifulSoup(driver.page_source, 'lxml')
try:
for div in soup.findAll('div', class_='post hentry'):
titulo = div.find('h3', class_='post-title entry-title')
A.append(titulo.text.strip().title())
temas = div.find('span', class_='post-labels')
B.append(temas.text.strip().replace('\n', ' ').replace('Marcadores:', '').title())
print(titulo.txt)
print('...rodando...')
except AttributeError:
continue
try:
nextButton = driver.find_element_by_xpath('//*[@id="Blog1_blog-pager-older-link"]')
nextButton.click()
except:
break
print('...fazendo .csv e json...')
df=pd.DataFrame(A, columns=['Título'])
df['Tema'] = B
df
df.to_csv('autor-tema2.csv')
df.to_json('autor-tema2.json', orient='records')
driver.quit()
Eu tenho duas dúvidas, sendo uma relacionada ao que falei lá em cima do except
, não tenho certeza se está funcionando pois está rodando faz um tempo aqui e a url parou de mudar. Tem como eu adicionar alguma coisa para que possam ter umas saídas para eu ver em que fase do processo está? Coloquei uns print()
, mas não se mostraram muito uteis.
A outra dúvida é se tem como impedir que o navegador abra novas janelas/abas, pois este site tem muita propaganda e acredito que meu computador pode travar no meio do processo se essa janelas ficarem abrindo, são cerca de 3.057 posts. Se não tiver como impedir, uma maneira de serem fechadas logo que abrem seria bom também.
Abraços.