Perguntas com a tag [scrapy]
Scrapy é um framework web para extrair dados necessários a partir de sites (Web scraping). É open-source, escrito em Python e controlado usando ferramentas de linha de comando.
57
perguntas
-3
votos
0
respostas
9
visitas
Problema com seleção de Xpath para WebScraping, precisava encontrar o Xpath para extrair as informações dessa página. Sou iniciante [fechada]
import scrapy
class Makita2023Spider(scrapy.Spider):
name = "makita2023"
start_urls = [f"https://www.makita.com.br/catalogoADetalhes.asp?codParamD={i}" for i in range(90,91)}
def ...
1
voto
0
respostas
67
visitas
Scrapy - Buscar itens em formulario
sou bem iniciante no assunto, será que conseguem me ajudar? estou testando spiders para buscar licitações.
Porém não consigo retornar os itens pelo formulário.
tenho o código abaixo de exemplo:
...
1
voto
0
respostas
171
visitas
scrapay+xpath retornando array vazio
Estou aprendendo a criar um crawler com scrapy + xpath.
Porem, quando eu dou o comando
scrapy shell https://br.udacity.com/courses/all/
O sitema retorna isso como se tudo estivesse normal:
2021-01-22 ...
-3
votos
1
resposta
149
visitas
Único conteúdo json entre []
Eu to com uma dúvida sobre um código que eu fiz usando scrapy para coletar dados e mandar para um arquivo json.
O problema é que a formatação do arquivo não está como costuma ser, por isso achei ...
-1
votos
1
resposta
224
visitas
pip install scrapy erro 1
Estou tentando instalar o Scrapy no vscode porém toda vez da um erro que não estou conseguindo resolver, alguém poderia me ajudar?
error: Microsoft Visual C++ 14.0 is required. Get it with "...
0
votos
1
resposta
71
visitas
O URL responde apenas com o site aberto
Eu preciso raspar a informações desta página aqui.
Nas ferramentas do desenvolvedor, encontrei este link com as respostas necessárias.
O problema é que o link com as respostas é aberto apenas se o ...
0
votos
1
resposta
45
visitas
Dict com atributos repetidos Python
Boa tarde!
Estou montando um formdata para um post,
formdata = {
'data': '',
'controle': 'ADMIN',
'g-recaptcha-response': recaptcha_response
}
for numero in nDams:
...
0
votos
0
respostas
84
visitas
Problema ao coletar informação de site
Estou tentado coletar os dados de numero de pessoas ajudas no SOPT, ou seja, o meu impacto, para colocar em uma api posteriormente, mas não está extraindo a informação.
Spider:
import scrapy
class ...
0
votos
1
resposta
618
visitas
Como criar um Array dentro do outro
Preciso criar um array que tenha indice e valores
page_links recebe os links de uma pagina
all_links_main = []
for link in page_links:
all_links_main.append(link.get('href'))
produto = []
for ...
0
votos
0
respostas
182
visitas
Como preencher um TextBox e fazer raspagem de dados com Python?
Estou tentando analisar alguns dados da secretário da educação. Já fiz a requisição, mas...
Achei um jeito de fazer isso pela web mesmo, no entanto, são muitas escolas por esse motivo preciso ...
0
votos
0
respostas
197
visitas
Extrair documentos pdf de sites com scrapy
É possível varrer um site inteiro passando em todos os links em busca de arquivos pdf com scrapy? seria algo parecido com o apache nutch. Eu fiz uma pesquisa mas o pessoal só usa XPath, e XPath não dá ...
1
voto
2
respostas
647
visitas
Assistente Virtual [fechada]
Boa tarde companheiros, como vão?
Então sou razoavelmente novo nesse ambiente de desenvolvimento e já programei em python há algum tempo atrás. Estou com uma ideia de projeto no qual envolve em ...
8
votos
1
resposta
109
visitas
Limitando quantidade de matches do regex com Python
estou com uma certa dificuldade, gostaria de criar um for no Python para retornar uma quantidade específica de match do regex.
Da maneira que fiz, ele está retornando todos os links que existem e que ...
-1
votos
1
resposta
405
visitas
Como usar scrapy em páginas asp.net
Bom pessoal, minha dúvida é a seguinte:
Tenho que baixa o arquivo excel do produto que contem a descrição "Maíz", Tipo de producto "Los Démas. En grano." e Comercialização "A granel con hasta un 15 % ...
0
votos
1
resposta
482
visitas
Passar uma lista de URL para função Scrapy
Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL.
Entretanto, gostaria de ...
1
voto
1
resposta
814
visitas
passar input ao executar bat
Boa tarde, tenho um .bat pra executar um arquivo python, o mesmo precisa receber uma entrada, só que não estou conseguindo rodar esse input ao rodar o .bat, alguém sabe como se faz?
segue informações ...
0
votos
2
respostas
2mil
visitas
Como converter CSV para XLSX com python?
Como eu faço para converter um arquivo .csv gerado pelo python para .xlsx?
Estou com dois problemas:
Um deles é que eu não consegui entender como fazer esta conversão
O segundo é que mesmo passando ...
0
votos
1
resposta
1mil
visitas
Corrigir Problema de encoding ao exportar para csv de um arquivo scrapy
Como eu posso corrigir o problema de encoding ao salvar o arquivo em csv? este problema está acontecendo somente quando salvo em csv.
from scrapy import *
from projeto_iruan.items import *
import csv
...
0
votos
1
resposta
580
visitas
Como consigo usar o Scrapy no Anaconda
Olá, estou tendo problemas para criar um projeto com Scrapy.
Estou estudando ciência de dados na faculdade e tenho que usar o Scrapy. Estou usando pelo Anaconda. Primeiro através do Spider IDE(...
0
votos
1
resposta
165
visitas
Ajustar colunas csv com Scrapy
Estou com um problema, o python por padrão quando gera o arquivo csv separa as colunas por vírgula, porém eu preciso que os itens criados se transformem nas respectivas colunas, porém não estou ...
0
votos
1
resposta
223
visitas
Captura utilizando Xpath
Estou fazendo uma captura de um site utilizando python (scrapy) e xpath
Como capturar apenas o 232.990 do código abaixo?
<div class="price-advantages-container">
<div class="price-...
0
votos
2
respostas
648
visitas
Concatenação de múltiplas listas com Python
Boa tarde!
Estou com um problema e preciso de ajuda, estou trabalhando com 3 listas distintas que deverão ser adicionados a um dicionário, porem para que eu possa capturar todos os valores sem que um ...
0
votos
1
resposta
894
visitas
Scrapy for login
Eu peguei esse código da internet e mudei um pouco, para fazer login no site da cpfl, mas quando eu uso o comando scrapt crawl myproject nada acontece e o comando scrapy runspider items.py da o erro ...
0
votos
0
respostas
70
visitas
Como extrair dados para os campos Models.py do Scrapy?
Pretendo retirar todos os "Municipios" da tag começando nesta página.
https://www.anmp.pt/anmp/pro/mun1/mun101w3.php?cod=M2200
E em seguida retirar informações como: "nome do concelho", "presidente ...
1
voto
1
resposta
149
visitas
Web Crawler com view.py do Django
estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
0
votos
1
resposta
745
visitas
Salvar arquivo Excel no Python através do Scrapy
Como faço para a minha spider salvar em um único arquivo XML todos os dados do Excel dos links que eu extraio? Ou também salvar em cada arquivo único XLS na pasta do projeto?
Parte da minha spider:
...
-2
votos
1
resposta
51
visitas
Escrever arquivo no excel dentro do projeto Scrapy [fechada]
Tenho uma Spider que pega os links xlsx, na Request eu chamo os arquivos e salvo em:
def save_file(self, response):
f = open("teste.xls", "wb")
f = write(response.body)
f.close()
...
1
voto
1
resposta
437
visitas
Raspar parâmetros de um método post, com scrapy em python!
Preciso coletar informações de um site, utilizando spiders dentro do ScraPy em Python, porém o site é um método post e estou aprendendo a linguagem enquanto desenvolvo o projeto. Achei um modelo de ...
1
voto
2
respostas
804
visitas
Scrapy xpath href ou span dentro da div
Olá, estou tentando fazer uma raspagem onde tenho que pegar um link e um texto porém estou com dificuldades por causa das variações da página.
Tenho 3 variações possíveis:
1.
<div>
<strong&...
0
votos
1
resposta
86
visitas
Parse Xpath from Int
Tenho um scrapy rodando o for para trazer o dia e o link de algo. Ex:
t_day = div.xpath('.//a/text()').extract_first()
a_day = div.xpath('.//a/@href').extract_first()
day = int(t_day)
if day > ...
0
votos
0
respostas
34
visitas
Variável xpath salva em Mongo
Já tentei de diversas formas, mas acredito que estou errando o caminho. Gostaria de salvar o XPATH no Mongodb e importar no item() da function parse. Existe alguma forma de realizar ?
7
votos
1
resposta
4mil
visitas
Extrair informações do lattes [fechada]
Introdução
Os pesquisadores brasileiros possuem, desde 1999, um site onde podem colocar informações sobre as sua carreira acadêmica. Estas informações são conhecidas como Currículos Lattes. Eu desejo ...
0
votos
1
resposta
865
visitas
Qual o melhor jeito de raspar o site do Datasus em Python?
O link é esse:
http://tabnet.datasus.gov.br/cgi/tabcgi.exe?sih/cnv/nrbr.def
Estou tentando mandar um POST através do requests com um dicionário contendo as categorias que desejo, mas depois a URL ...
7
votos
1
resposta
979
visitas
Como extrair informações de um cabeçalho HTTP com Python?
Sabemos que, no protocolo HTTP, o fim do cabeçalho é indicado por “\r\n\r\n”. Exemplo:
Pode ser que, por alguma razão, o cliente não envie o “\r\n\r\n” ao servidor (pode ser um ataque, por exempo):
...
1
voto
1
resposta
1mil
visitas
Web Scraping - converter tabela HTML em dict python
Estou tentando transformar uma tabela HTML em dict@python, me deparei com alguns problemas e solicito a ajuda de vocês.
Segue até onde consegui chegar...
def impl12(url='http://www.geonames.org/...
-1
votos
1
resposta
561
visitas
Extração de dados na Web com Scrapy
Up.. Seguinte galera...
Estou escrevendo um código com o Framework scrapy para buscar e extrair alguns dados. Sou novo nisso! O código a seguir teoricamente teria que buscar e extrair, porém ele não ...
3
votos
1
resposta
321
visitas
Scrapy não consegue selecionar um form usando xpath
Olá, estou utilizando o scrapy para fazer um crawler para conseguir pegar questões de concuros e etc do site gabarite.com.br, eu consigo pegar a descrição da pergunta a alternativa correta, porém não ...
0
votos
1
resposta
52
visitas
Erro "missing scheme" utilizando Scrapy
Quando executo minha aranha o scrapy me retorna o seguinte erro:
ValueError: Missing scheme in request url h
import scrapy
class QuotesSpider(scrapy.Spider):
name = "Mineracao"
def ...
0
votos
1
resposta
456
visitas
Como faço para integrar meu projeto Django com o Scrapy? [fechada]
Estou querendo desenvolver um projeto simples usando Django onde criarei uma página web e essa página irá capturar dados de outras páginas. O problema é que não consigo integrar o Scrapy com Django.
1
voto
3
respostas
810
visitas
Expressão regular em python 3.6 para extração de frase inteitra
Preciso extrair somente as frases que contêm ADMINISTRAÇÃO - JUIZ DE FORA - NOTURNO - SISU - GRUPO B, por exemplo. Ou seja, preciso pegar somente o nome do curso, a cidade, o turno, o O SISU e o nome ...
1
voto
2
respostas
301
visitas
Preciso de ajuda em um crawler em python
from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelector
from crawler.items import crawlerlistItem
class MySpider(BaseSpider):
name = "epoca"
allowed_domains = ["...
2
votos
1
resposta
214
visitas
Erro com o Webdriver no Python3.5 AttributeError: can't set attribute
Estou precisando baixar o conteúdo de um site. Fiz um código em python 3.5. Quando eu o rodo apenas para uma única pagina o código funciona muito bem porém quando eu o coloco em um loop ou função ele ...
3
votos
1
resposta
725
visitas
Erro com requisições com scrapy
Tenho um arquivo em csv com alguns urls que precisam ser acessadas.
http://www.icarros.com.br/Audi, Audi
http://www.icarros.com.br/Fiat, Fiat
http://www.icarros.com.br/Chevrolet, Chevrolet
Tenho um ...
1
voto
1
resposta
133
visitas
Criar uma nova função com scrapy
Estou começando a aprender scrapy e criei a seguinte função:
import scrapy
class ModelSpider(scrapy.Spider):
name = "model"
start_urls = [
'http://www.icarros.com/'
]
def parse(...
2
votos
1
resposta
111
visitas
Scrapy fila queue e mysql store
Eu agrupei 2 perguntas, pois acho que são relacionadas.
Eu fiz um script test, onde salvo no banco os links salvos com seus dados.
Esta é uma prática ruim? (Prioridade alta)
Preciso realizar algo ...
1
voto
1
resposta
181
visitas
Scrapy diferentes paginas
Mas estou enfrentando um problema. E acabei me confundindo, resolvi voltar o código num ponto funcional.
# -*- coding: utf-8 -*-
# coding: utf-8
import scrapy
from mbu2.items import Mbu2Item2
import ...
3
votos
1
resposta
425
visitas
Informação contida em duas páginas Scrapy
Não sou um programador de python, mas estou tentando trabalhar com a aplicação Scrapy.
O exemplo acima é o que preciso, isto roda em extensão do chrome.
Para explicar, eu preciso do post e todas ...
2
votos
1
resposta
45
visitas
Scrapy 1.0 - Configurações de Log
Preciso saber como posso fazer para alterar os campos destacados, pois quando eu executo meu programa com Scrapy na versão 1.0 ele imprimi o resultado nestas quantidades destacadas.
Queria saber como ...
2
votos
1
resposta
79
visitas
Problemas com parâmetro restrict_xpaths num crawler
Não tenho experiência em Python mas decidi tentar fazer qualquer coisa com o Scrapy, para testes. Assim, estou a tentar recolher os artigos existentes numa determinada página, nomeadamente num ...
3
votos
1
resposta
59
visitas
Existe alguma forma de desabilitar a interface web do Scrapyd?
Existe alguma forma de desabilitar a interface web do Scrapyd?
Gostaria de ficar monitorando o servidor somente pela api.