0

Boa tarde galera.

Resolvi iniciar meus estudos com técnica de crawler em Python. Montei o seguinte Script utilizando a lib selenium :

   # Importando selenium para realizar o crawling

from selenium import webdriver
import time
import csv
# especificando onde o arquivo do webdriver está

chrome_path = r" Desktop\Crawler\chromedriver.exe"

# criando uma variável com a localização do webdriver
driver = webdriver.Chrome(chrome_path)

# utilizando o comando driver para redirecionar para um site
driver.get("Link")
time.sleep(5)

# procurando um determinado elemento na página


# Pesquisando pelo estado
estado = driver.find_element_by_css_selector(
    "body > div.layout > main > div > div.col-md-12.ng-scope > div > form:nth-child(4) > div:nth-child(2) > div:nth-child(1) > div > select > option:nth-child(18)").click()
time.sleep(7)

# Após obter o estado, pesquisar município
municipio = driver.find_element_by_css_selector(
    "body > div.layout > main > div > div.col-md-12.ng-scope > div > form.form-inline.ng-valid.ng-dirty.ng-valid-parse > div:nth-child(2) > div:nth-child(2) > div > select > option:nth-child(113)").click()
time.sleep(5)

# Ação de click no botão de pesquisa
pesquisar = driver.find_element_by_css_selector('body > div.layout > main > div > div.col-md-12.ng-scope > div > form.form-inline.ng-pristine.ng-valid > div > button'
                                                ).click()
time.sleep(5)

# Extraindo dados em variáveis
siglaEstado = driver.find_element_by_xpath(
    "/html/body/div[2]/main/div/div[2]/div/div[3]/table/tbody/tr[1]/td[1]")

nmMunicipio = driver.find_element_by_css_selector(
    "body > div.layout > main > div > div.col-md-12.ng-scope > div > div:nth-child(9) > table > tbody > tr:nth-child(1) > td:nth-child(2)")

cnes = driver.find_element_by_xpath(
    "/html/body/div[2]/main/div/div[2]/div/div[3]/table/tbody/tr[1]/td[3]")

nmFantasia = driver.find_element_by_xpath(
    "/html/body/div[2]/main/div/div[2]/div/div[3]/table/tbody/tr[1]/td[4]")

natureza = driver.find_element_by_xpath(
    "/html/body/div[2]/main/div/div[2]/div/div[3]/table/tbody/tr[1]/td[5]")

gestao = driver.find_element_by_xpath(
    "/html/body/div[2]/main/div/div[2]/div/div[3]/table/tbody/tr[1]/td[6]")

sus = driver.find_element_by_xpath(
    "/html/body/div[2]/main/div/div[2]/div/div[3]/table/tbody/tr[1]/td[7]")

Gostaria de saber como posso exportar os dados dessas variáveis para um arquivo .CSV que deve ser gerado no próprio Python. E dicas de como aprimorar meu código.

2
  • 2
    Você pode simplesmente dar um print de forma csv, eu fiz algo parecido com o selenium github.com/bulfaitelo/Tesouro-Direto-Scraper vê se pode te ajudar.
    – Bulfaitelo
    Commented 16/02/2019 às 19:04
  • Você pode criar esse arquivo csv e ao terminar de fazer o scrap da pagina, você abre o arquivo e grava as variaveis com os dados lá. Não há limites para manipular uma arquivo csv com python. Commented 17/02/2019 às 0:04

1 Resposta 1

2

Você pode utilizar a biblioteca python padrão para csv, abaixo segue um exemplo de como pegar valor de uma listas e converter para csv:

import csv

with open(meuArquivo, 'wb', newline='') as arquivo:
 teste = csv.writer(arquivo, quoting=csv.QUOTE_ALL)
 teste.writerow(lista)

Já em relação selenium, acho muito legal mas recomendo você estudar sobre o requests.

2
  • Por que o requests no lugar do selenium? Commented 18/02/2019 às 19:36
  • 1
    Acho o selenium uma boa opção mas vai depender do escopo do seu projeto porque ele é um pouco mais lento. Por isso eu recomendo os requests, porque muitas vezes a informação que você quer, está em um json retornado pelo site, não precisando renderizar o site todo pra fazer a extração.
    – Davi Luis
    Commented 19/02/2019 às 0:17

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .