Perguntas com a tag [scrapy]
Scrapy é um framework web para extrair dados necessários a partir de sites (Web scraping). É open-source, escrito em Python e controlado usando ferramentas de linha de comando.
59
perguntas
1
voto
0respostas
7 visitas
scrapay+xpath retornando array vazio
Estou aprendendo a criar um crawler com scrapy + xpath.
Porem, quando eu dou o comando
scrapy shell https://br.udacity.com/courses/all/
O sitema retorna isso como se tudo estivesse normal:
2021-01-22 ...
-1
votos
0respostas
19 visitas
Erro Ao utilizar a biblioteca scrapy
OSError: [WinError 1392] O arquivo ou pasta está corrompido e ilegível: 'C:\\Users\\JR BARBOSA\\AppData\\Local\\Programs\\Python\\Python38-32\\lib\\site-packages\\twisted\\internet'
Não sei como ...
-3
votos
1resposta
43 visitas
Único conteúdo json entre []
Eu to com uma dúvida sobre um código que eu fiz usando scrapy para coletar dados e mandar para um arquivo json.
O problema é que a formatação do arquivo não está como costuma ser, por isso achei ...
-1
votos
1resposta
56 visitas
pip install scrapy erro 1
Estou tentando instalar o Scrapy no vscode porém toda vez da um erro que não estou conseguindo resolver, alguém poderia me ajudar?
error: Microsoft Visual C++ 14.0 is required. Get it with "...
0
votos
0respostas
20 visitas
Erro do scrapy no android
Galera, estou fazendo meu trabalho de curso com meu amigo, o projeto baseia-se em um aplicativo android que tem como uma das suas funcionalidades capturar informações da internet através do scrapy. ...
0
votos
0respostas
27 visitas
python3 scrapy e diretórios
Olá, estou tendo alguns problemas para fazer a extração de dados web com python3 usando scrapy. O programa está totalmente feito e o spider está em um outro diretório, para poder executá-lo usei a ...
0
votos
1resposta
45 visitas
O URL responde apenas com o site aberto
Eu preciso raspar a informações desta página aqui.
Nas ferramentas do desenvolvedor, encontrei este link com as respostas necessárias.
O problema é que o link com as respostas é aberto apenas se o ...
0
votos
1resposta
35 visitas
Dict com atributos repetidos Python
Boa tarde!
Estou montando um formdata para um post,
formdata = {
'data': '',
'controle': 'ADMIN',
'g-recaptcha-response': recaptcha_response
}
for numero in nDams:
...
0
votos
1resposta
41 visitas
Django Login com Scrapy, requests e CSRFToken
Estou tendo alguns problemas em usar o scrapy autenticando em minha aplicação. Estou usando o requests para obter o csrftoken e logo em seguida faço um request para a rota de login passando as ...
0
votos
0respostas
51 visitas
Problema ao coletar informação de site
Estou tentado coletar os dados de numero de pessoas ajudas no SOPT, ou seja, o meu impacto, para colocar em uma api posteriormente, mas não está extraindo a informação.
Spider:
import scrapy
class ...
0
votos
1resposta
65 visitas
Como criar um Array dentro do outro
Preciso criar um array que tenha indice e valores
page_links recebe os links de uma pagina
all_links_main = []
for link in page_links:
all_links_main.append(link.get('href'))
produto = []
for ...
0
votos
0respostas
44 visitas
Como preencher um TextBox e fazer raspagem de dados com Python?
Estou tentando analisar alguns dados da secretário da educação. Já fiz a requisição, mas...
Achei um jeito de fazer isso pela web mesmo, no entanto, são muitas escolas por esse motivo preciso ...
0
votos
0respostas
76 visitas
Extrair documentos pdf de sites com scrapy
É possível varrer um site inteiro passando em todos os links em busca de arquivos pdf com scrapy? seria algo parecido com o apache nutch. Eu fiz uma pesquisa mas o pessoal só usa XPath, e XPath não dá ...
1
voto
2respostas
367 visitas
Assistente Virtual [fechada]
Boa tarde companheiros, como vão?
Então sou razoavelmente novo nesse ambiente de desenvolvimento e já programei em python há algum tempo atrás. Estou com uma ideia de projeto no qual envolve em ...
9
votos
1resposta
64 visitas
Limitando quantidade de matches do regex com Python
estou com uma certa dificuldade, gostaria de criar um for no Python para retornar uma quantidade específica de match do regex.
Da maneira que fiz, ele está retornando todos os links que existem e que ...
0
votos
1resposta
154 visitas
Como usar scrapy em páginas asp.net
Bom pessoal, minha dúvida é a seguinte:
Tenho que baixa o arquivo excel do produto que contem a descrição "Maíz", Tipo de producto "Los Démas. En grano." e Comercialização "A granel con hasta un 15 % ...
0
votos
1resposta
237 visitas
Passar uma lista de URL para função Scrapy
Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL.
Entretanto, gostaria de ...
1
voto
1resposta
320 visitas
passar input ao executar bat
Boa tarde, tenho um .bat pra executar um arquivo python, o mesmo precisa receber uma entrada, só que não estou conseguindo rodar esse input ao rodar o .bat, alguém sabe como se faz?
segue informações ...
0
votos
2respostas
877 visitas
Como converter CSV para XLSX com python?
Como eu faço para converter um arquivo .csv gerado pelo python para .xlsx?
Estou com dois problemas:
Um deles é que eu não consegui entender como fazer esta conversão
O segundo é que mesmo passando ...
0
votos
1resposta
275 visitas
Corrigir Problema de encoding ao exportar para csv de um arquivo scrapy
Como eu posso corrigir o problema de encoding ao salvar o arquivo em csv? este problema está acontecendo somente quando salvo em csv.
from scrapy import *
from projeto_iruan.items import *
import csv
...
0
votos
1resposta
409 visitas
Como consigo usar o Scrapy no Anaconda
Olá, estou tendo problemas para criar um projeto com Scrapy.
Estou estudando ciência de dados na faculdade e tenho que usar o Scrapy. Estou usando pelo Anaconda. Primeiro através do Spider IDE(...
0
votos
1resposta
77 visitas
Ajustar colunas csv com Scrapy
Estou com um problema, o python por padrão quando gera o arquivo csv separa as colunas por vírgula, porém eu preciso que os itens criados se transformem nas respectivas colunas, porém não estou ...
0
votos
1resposta
93 visitas
Captura utilizando Xpath
Estou fazendo uma captura de um site utilizando python (scrapy) e xpath
Como capturar apenas o 232.990 do código abaixo?
<div class="price-advantages-container">
<div class="price-...
0
votos
2respostas
409 visitas
Concatenação de múltiplas listas com Python
Boa tarde!
Estou com um problema e preciso de ajuda, estou trabalhando com 3 listas distintas que deverão ser adicionados a um dicionário, porem para que eu possa capturar todos os valores sem que um ...
0
votos
1resposta
659 visitas
Scrapy for login
Eu peguei esse código da internet e mudei um pouco, para fazer login no site da cpfl, mas quando eu uso o comando scrapt crawl myproject nada acontece e o comando scrapy runspider items.py da o erro ...
0
votos
0respostas
50 visitas
Como extrair dados para os campos Models.py do Scrapy?
Pretendo retirar todos os "Municipios" da tag começando nesta página.
https://www.anmp.pt/anmp/pro/mun1/mun101w3.php?cod=M2200
E em seguida retirar informações como: "nome do concelho", "presidente ...
1
voto
1resposta
106 visitas
Web Crawler com view.py do Django
estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
0
votos
1resposta
399 visitas
Salvar arquivo Excel no Python através do Scrapy
Como faço para a minha spider salvar em um único arquivo XML todos os dados do Excel dos links que eu extraio? Ou também salvar em cada arquivo único XLS na pasta do projeto?
Parte da minha spider:
...
-2
votos
1resposta
48 visitas
Escrever arquivo no excel dentro do projeto Scrapy [fechada]
Tenho uma Spider que pega os links xlsx, na Request eu chamo os arquivos e salvo em:
def save_file(self, response):
f = open("teste.xls", "wb")
f = write(response.body)
f.close()
...
1
voto
1resposta
287 visitas
Raspar parâmetros de um método post, com scrapy em python!
Preciso coletar informações de um site, utilizando spiders dentro do ScraPy em Python, porém o site é um método post e estou aprendendo a linguagem enquanto desenvolvo o projeto. Achei um modelo de ...
1
voto
2respostas
277 visitas
Scrapy xpath href ou span dentro da div
Olá, estou tentando fazer uma raspagem onde tenho que pegar um link e um texto porém estou com dificuldades por causa das variações da página.
Tenho 3 variações possíveis:
1.
<div>
<strong&...
0
votos
1resposta
47 visitas
Parse Xpath from Int
Tenho um scrapy rodando o for para trazer o dia e o link de algo. Ex:
t_day = div.xpath('.//a/text()').extract_first()
a_day = div.xpath('.//a/@href').extract_first()
day = int(t_day)
if day > ...
0
votos
0respostas
21 visitas
Variável xpath salva em Mongo
Já tentei de diversas formas, mas acredito que estou errando o caminho. Gostaria de salvar o XPATH no Mongodb e importar no item() da function parse. Existe alguma forma de realizar ?
5
votos
1resposta
2mil visitas
Extrair informações do lattes [fechada]
Introdução
Os pesquisadores brasileiros possuem, desde 1999, um site onde podem colocar informações sobre as sua carreira acadêmica. Estas informações são conhecidas como Currículos Lattes. Eu desejo ...
0
votos
1resposta
391 visitas
Qual o melhor jeito de raspar o site do Datasus em Python?
O link é esse:
http://tabnet.datasus.gov.br/cgi/tabcgi.exe?sih/cnv/nrbr.def
Estou tentando mandar um POST através do requests com um dicionário contendo as categorias que desejo, mas depois a URL ...
7
votos
1resposta
629 visitas
Como extrair informações de um cabeçalho HTTP com Python?
Sabemos que, no protocolo HTTP, o fim do cabeçalho é indicado por “\r\n\r\n”. Exemplo:
Pode ser que, por alguma razão, o cliente não envie o “\r\n\r\n” ao servidor (pode ser um ataque, por exempo):
...
1
voto
1resposta
740 visitas
Web Scraping - converter tabela HTML em dict python
Estou tentando transformar uma tabela HTML em dict@python, me deparei com alguns problemas e solicito a ajuda de vocês.
Segue até onde consegui chegar...
def impl12(url='http://www.geonames.org/...
1
voto
1resposta
366 visitas
Extração de dados na Web com Scrapy
Up.. Seguinte galera...
Estou escrevendo um código com o Framework scrapy para buscar e extrair alguns dados. Sou novo nisso! O código a seguir teoricamente teria que buscar e extrair, porém ele não ...
3
votos
1resposta
192 visitas
Scrapy não consegue selecionar um form usando xpath
Olá, estou utilizando o scrapy para fazer um crawler para conseguir pegar questões de concuros e etc do site gabarite.com.br, eu consigo pegar a descrição da pergunta a alternativa correta, porém não ...
0
votos
1resposta
44 visitas
Erro “missing scheme” utilizando Scrapy
Quando executo minha aranha o scrapy me retorna o seguinte erro:
ValueError: Missing scheme in request url h
import scrapy
class QuotesSpider(scrapy.Spider):
name = "Mineracao"
def ...
0
votos
1resposta
411 visitas
Como faço para integrar meu projeto Django com o Scrapy? [fechada]
Estou querendo desenvolver um projeto simples usando Django onde criarei uma página web e essa página irá capturar dados de outras páginas. O problema é que não consigo integrar o Scrapy com Django.
1
voto
3respostas
655 visitas
Expressão regular em python 3.6 para extração de frase inteitra
Preciso extrair somente as frases que contêm ADMINISTRAÇÃO - JUIZ DE FORA - NOTURNO - SISU - GRUPO B, por exemplo. Ou seja, preciso pegar somente o nome do curso, a cidade, o turno, o O SISU e o nome ...
1
voto
2respostas
272 visitas
Preciso de ajuda em um crawler em python
from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelector
from crawler.items import crawlerlistItem
class MySpider(BaseSpider):
name = "epoca"
allowed_domains = ["...
2
votos
1resposta
108 visitas
Erro com o Webdriver no Python3.5 AttributeError: can't set attribute
Estou precisando baixar o conteúdo de um site. Fiz um código em python 3.5. Quando eu o rodo apenas para uma única pagina o código funciona muito bem porém quando eu o coloco em um loop ou função ele ...
3
votos
1resposta
435 visitas
Erro com requisições com scrapy
Tenho um arquivo em csv com alguns urls que precisam ser acessadas.
http://www.icarros.com.br/Audi, Audi
http://www.icarros.com.br/Fiat, Fiat
http://www.icarros.com.br/Chevrolet, Chevrolet
Tenho um ...
1
voto
1resposta
92 visitas
Criar uma nova função com scrapy
Estou começando a aprender scrapy e criei a seguinte função:
import scrapy
class ModelSpider(scrapy.Spider):
name = "model"
start_urls = [
'http://www.icarros.com/'
]
def parse(...
2
votos
1resposta
81 visitas
Scrapy fila queue e mysql store
Eu agrupei 2 perguntas, pois acho que são relacionadas.
Eu fiz um script test, onde salvo no banco os links salvos com seus dados.
Esta é uma prática ruim? (Prioridade alta)
Preciso realizar algo ...
1
voto
1resposta
129 visitas
Scrapy diferentes paginas
Mas estou enfrentando um problema. E acabei me confundindo, resolvi voltar o código num ponto funcional.
# -*- coding: utf-8 -*-
# coding: utf-8
import scrapy
from mbu2.items import Mbu2Item2
import ...
3
votos
1resposta
279 visitas
Informação contida em duas páginas Scrapy
Não sou um programador de python, mas estou tentando trabalhar com a aplicação Scrapy.
O exemplo acima é o que preciso, isto roda em extensão do chrome.
Para explicar, eu preciso do post e todas ...
2
votos
1resposta
36 visitas
Scrapy 1.0 - Configurações de Log
Preciso saber como posso fazer para alterar os campos destacados, pois quando eu executo meu programa com Scrapy na versão 1.0 ele imprimi o resultado nestas quantidades destacadas.
Queria saber como ...