Perguntas com a tag [scrapy]

Scrapy é um framework web para extrair dados necessários a partir de sites (Web scraping). É open-source, escrito em Python e controlado usando ferramentas de linha de comando.

Filtrar por
Ordenado por
Com tags
8 votos
1 resposta
111 visitas

Limitando quantidade de matches do regex com Python

estou com uma certa dificuldade, gostaria de criar um for no Python para retornar uma quantidade específica de match do regex. Da maneira que fiz, ele está retornando todos os links que existem e que ...
user avatar
7 votos
1 resposta
1mil visitas

Como extrair informações de um cabeçalho HTTP com Python?

Sabemos que, no protocolo HTTP, o fim do cabeçalho é indicado por “\r\n\r\n”. Exemplo: Pode ser que, por alguma razão, o cliente não envie o “\r\n\r\n” ao servidor (pode ser um ataque, por exempo): ...
Ed S's user avatar
  • 2.294
7 votos
1 resposta
4mil visitas

Extrair informações do lattes [fechada]

Introdução Os pesquisadores brasileiros possuem, desde 1999, um site onde podem colocar informações sobre as sua carreira acadêmica. Estas informações são conhecidas como Currículos Lattes. Eu desejo ...
Marcus Nunes's user avatar
  • 18,9mil
4 votos
2 respostas
134 visitas

Como calcular um valor ótimo para a variável CONCURRENT_REQUESTS do Scrapyd?

Uma das configurações que vem padrão no Scrapyd é o número de processos concorrentes (é 16). CONCURRENT_REQUESTS = 16 Qual seria a melhor metodologia para calcular um valor ótimo para esta variável? ...
Arthur Alvim's user avatar
3 votos
4 respostas
2mil visitas

Ferramenta para gerar XPath

Olá, estou fazendo um spider para capturar com XPath alguns dados da web. Porem a criação de xpath é meio trabalhosa. Alguém conhece alguma forma de treinar XPath? Exemplo; Clico 5 vezes em um link e ...
LeoCBS's user avatar
  • 1.159
3 votos
1 resposta
742 visitas

Erro com requisições com scrapy

Tenho um arquivo em csv com alguns urls que precisam ser acessadas. http://www.icarros.com.br/Audi, Audi http://www.icarros.com.br/Fiat, Fiat http://www.icarros.com.br/Chevrolet, Chevrolet Tenho um ...
Lucas Lopes's user avatar
3 votos
1 resposta
435 visitas

Informação contida em duas páginas Scrapy

Não sou um programador de python, mas estou tentando trabalhar com a aplicação Scrapy. O exemplo acima é o que preciso, isto roda em extensão do chrome. Para explicar, eu preciso do post e todas ...
Luiz Brz Developer's user avatar
3 votos
1 resposta
60 visitas

Existe alguma forma de desabilitar a interface web do Scrapyd?

Existe alguma forma de desabilitar a interface web do Scrapyd? Gostaria de ficar monitorando o servidor somente pela api.
Arthur Alvim's user avatar
3 votos
1 resposta
133 visitas

Como gerenciar o funcionamento e falha na execução das Spiders?

Estou desenvolvendo um módulo para obter informações sobre as spiders que rodam no sistema da empresa. Segue abaixo o modelo onde guardamos o início das operações e o job. Gostaria de validar se os ...
Arthur Alvim's user avatar
3 votos
1 resposta
330 visitas

Scrapy não consegue selecionar um form usando xpath

Olá, estou utilizando o scrapy para fazer um crawler para conseguir pegar questões de concuros e etc do site gabarite.com.br, eu consigo pegar a descrição da pergunta a alternativa correta, porém não ...
joao paulo santos almeida's user avatar
3 votos
1 resposta
180 visitas

Múltiplos pipelines para tratar spiders diferentes no Scrapy

Como tratar o pipelines.py quando temos diferentes spiders? Exemplo: Tenho uma Spider que trabalha obtendo posts de um determinado blog e outra salvando imagens de banners em jpeg encontrados em cada ...
Arthur Alvim's user avatar
2 votos
1 resposta
232 visitas

Erro com o Webdriver no Python3.5 AttributeError: can't set attribute

Estou precisando baixar o conteúdo de um site. Fiz um código em python 3.5. Quando eu o rodo apenas para uma única pagina o código funciona muito bem porém quando eu o coloco em um loop ou função ele ...
user2535338's user avatar
2 votos
1 resposta
79 visitas

Problemas com parâmetro restrict_xpaths num crawler

Não tenho experiência em Python mas decidi tentar fazer qualquer coisa com o Scrapy, para testes. Assim, estou a tentar recolher os artigos existentes numa determinada página, nomeadamente num ...
w00t's user avatar
  • 41
2 votos
2 respostas
128 visitas

Como proteger meu servidor Scrapyd de chamadas não autenticadas?

Digamos que eu tenha a seguinte configuração no scrapy.cfg no Scrapyd. [deploy] url = http://example.com/api/scrapyd/ username = user password = secret project = projectX Na documentação do Scrapyd ...
Arthur Alvim's user avatar
2 votos
1 resposta
45 visitas

Scrapy 1.0 - Configurações de Log

Preciso saber como posso fazer para alterar os campos destacados, pois quando eu executo meu programa com Scrapy na versão 1.0 ele imprimi o resultado nestas quantidades destacadas. Queria saber como ...
Caio Fernandes's user avatar
2 votos
1 resposta
153 visitas

Implementar filas para gerenciar a concorrência entre spiders no Scrapyd

Existe alguma maneira de o Scrapyd criar filas de spiders de forma que quando eu envie muitas spiders (com funções diferentes) eu possa privilegiar/limitar a concorrência entre elas? Hoje, todas as ...
Arthur Alvim's user avatar
2 votos
1 resposta
114 visitas

Scrapy fila queue e mysql store

Eu agrupei 2 perguntas, pois acho que são relacionadas. Eu fiz um script test, onde salvo no banco os links salvos com seus dados. Esta é uma prática ruim? (Prioridade alta) Preciso realizar algo ...
Luiz Brz Developer's user avatar
1 voto
2 respostas
301 visitas

Preciso de ajuda em um crawler em python

from scrapy.spiders import BaseSpider from scrapy.selector import HtmlXPathSelector from crawler.items import crawlerlistItem class MySpider(BaseSpider): name = "epoca" allowed_domains = ["...
Julia Lamenza's user avatar
1 voto
1 resposta
1mil visitas

Web Scraping - converter tabela HTML em dict python

Estou tentando transformar uma tabela HTML em dict@python, me deparei com alguns problemas e solicito a ajuda de vocês. Segue até onde consegui chegar... def impl12(url='http://www.geonames.org/...
britodfbr's user avatar
  • 698
1 voto
3 respostas
816 visitas

Expressão regular em python 3.6 para extração de frase inteitra

Preciso extrair somente as frases que contêm ADMINISTRAÇÃO - JUIZ DE FORA - NOTURNO - SISU - GRUPO B, por exemplo. Ou seja, preciso pegar somente o nome do curso, a cidade, o turno, o O SISU e o nome ...
SasukeUchiha's user avatar
1 voto
1 resposta
134 visitas

Criar uma nova função com scrapy

Estou começando a aprender scrapy e criei a seguinte função: import scrapy class ModelSpider(scrapy.Spider): name = "model" start_urls = [ 'http://www.icarros.com/' ] def parse(...
Lucas Lopes's user avatar
1 voto
2 respostas
851 visitas

Scrapy xpath href ou span dentro da div

Olá, estou tentando fazer uma raspagem onde tenho que pegar um link e um texto porém estou com dificuldades por causa das variações da página. Tenho 3 variações possíveis: 1. <div> <strong&...
Júnior Carvalho's user avatar
1 voto
1 resposta
848 visitas

passar input ao executar bat

Boa tarde, tenho um .bat pra executar um arquivo python, o mesmo precisa receber uma entrada, só que não estou conseguindo rodar esse input ao rodar o .bat, alguém sabe como se faz? segue informações ...
Jonathan Igor Bockorny Pereira's user avatar
1 voto
1 resposta
150 visitas

Web Crawler com view.py do Django

estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
Bruno Lima's user avatar
1 voto
1 resposta
450 visitas

Raspar parâmetros de um método post, com scrapy em python!

Preciso coletar informações de um site, utilizando spiders dentro do ScraPy em Python, porém o site é um método post e estou aprendendo a linguagem enquanto desenvolvo o projeto. Achei um modelo de ...
Jonathan Igor Bockorny Pereira's user avatar
1 voto
0 respostas
71 visitas

Scrapy - Buscar itens em formulario

sou bem iniciante no assunto, será que conseguem me ajudar? estou testando spiders para buscar licitações. Porém não consigo retornar os itens pelo formulário. tenho o código abaixo de exemplo: ...
Daniel Custodio's user avatar
1 voto
0 respostas
180 visitas

scrapay+xpath retornando array vazio

Estou aprendendo a criar um crawler com scrapy + xpath. Porem, quando eu dou o comando scrapy shell https://br.udacity.com/courses/all/ O sitema retorna isso como se tudo estivesse normal: 2021-01-22 ...
Cesar Martins's user avatar
1 voto
2 respostas
668 visitas

Assistente Virtual [fechada]

Boa tarde companheiros, como vão? Então sou razoavelmente novo nesse ambiente de desenvolvimento e já programei em python há algum tempo atrás. Estou com uma ideia de projeto no qual envolve em ...
Marcos V. Rezende S.'s user avatar
1 voto
1 resposta
181 visitas

Scrapy diferentes paginas

Mas estou enfrentando um problema. E acabei me confundindo, resolvi voltar o código num ponto funcional. # -*- coding: utf-8 -*- # coding: utf-8 import scrapy from mbu2.items import Mbu2Item2 import ...
Luiz Brz Developer's user avatar
0 votos
2 respostas
2mil visitas

Como converter CSV para XLSX com python?

Como eu faço para converter um arquivo .csv gerado pelo python para .xlsx? Estou com dois problemas: Um deles é que eu não consegui entender como fazer esta conversão O segundo é que mesmo passando ...
Jonathan Igor Bockorny Pereira's user avatar
0 votos
1 resposta
236 visitas

Captura utilizando Xpath

Estou fazendo uma captura de um site utilizando python (scrapy) e xpath Como capturar apenas o 232.990 do código abaixo? <div class="price-advantages-container"> <div class="price-...
Jonas Cruvinel's user avatar
0 votos
2 respostas
662 visitas

Concatenação de múltiplas listas com Python

Boa tarde! Estou com um problema e preciso de ajuda, estou trabalhando com 3 listas distintas que deverão ser adicionados a um dicionário, porem para que eu possa capturar todos os valores sem que um ...
Jonathan Igor Bockorny Pereira's user avatar
0 votos
1 resposta
945 visitas

Qual o melhor jeito de raspar o site do Datasus em Python?

O link é esse: http://tabnet.datasus.gov.br/cgi/tabcgi.exe?sih/cnv/nrbr.def Estou tentando mandar um POST através do requests com um dicionário contendo as categorias que desejo, mas depois a URL ...
Victor Serra's user avatar
0 votos
1 resposta
72 visitas

O URL responde apenas com o site aberto

Eu preciso raspar a informações desta página aqui. Nas ferramentas do desenvolvedor, encontrei este link com as respostas necessárias. O problema é que o link com as respostas é aberto apenas se o ...
João Vitor Fontes's user avatar
0 votos
1 resposta
45 visitas

Dict com atributos repetidos Python

Boa tarde! Estou montando um formdata para um post, formdata = { 'data': '', 'controle': 'ADMIN', 'g-recaptcha-response': recaptcha_response } for numero in nDams: ...
Henrique Lemes Baron's user avatar
0 votos
1 resposta
659 visitas

Como criar um Array dentro do outro

Preciso criar um array que tenha indice e valores page_links recebe os links de uma pagina all_links_main = [] for link in page_links: all_links_main.append(link.get('href')) produto = [] for ...
JB_'s user avatar
  • 579
0 votos
1 resposta
491 visitas

Passar uma lista de URL para função Scrapy

Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL. Entretanto, gostaria de ...
Lucas Latorre's user avatar
0 votos
1 resposta
1mil visitas

Corrigir Problema de encoding ao exportar para csv de um arquivo scrapy

Como eu posso corrigir o problema de encoding ao salvar o arquivo em csv? este problema está acontecendo somente quando salvo em csv. from scrapy import * from projeto_iruan.items import * import csv ...
Jonathan Igor Bockorny Pereira's user avatar
0 votos
1 resposta
168 visitas

Ajustar colunas csv com Scrapy

Estou com um problema, o python por padrão quando gera o arquivo csv separa as colunas por vírgula, porém eu preciso que os itens criados se transformem nas respectivas colunas, porém não estou ...
Jonathan Igor Bockorny Pereira's user avatar
0 votos
1 resposta
920 visitas

Scrapy for login

Eu peguei esse código da internet e mudei um pouco, para fazer login no site da cpfl, mas quando eu uso o comando scrapt crawl myproject nada acontece e o comando scrapy runspider items.py da o erro ...
guilherme's user avatar
  • 113
0 votos
1 resposta
766 visitas

Salvar arquivo Excel no Python através do Scrapy

Como faço para a minha spider salvar em um único arquivo XML todos os dados do Excel dos links que eu extraio? Ou também salvar em cada arquivo único XLS na pasta do projeto? Parte da minha spider: ...
ChaarSales's user avatar
0 votos
1 resposta
458 visitas

Como faço para integrar meu projeto Django com o Scrapy? [fechada]

Estou querendo desenvolver um projeto simples usando Django onde criarei uma página web e essa página irá capturar dados de outras páginas. O problema é que não consigo integrar o Scrapy com Django.
Lucas Souto's user avatar
0 votos
0 respostas
91 visitas

Problema ao coletar informação de site

Estou tentado coletar os dados de numero de pessoas ajudas no SOPT, ou seja, o meu impacto, para colocar em uma api posteriormente, mas não está extraindo a informação. Spider: import scrapy class ...
David's user avatar
  • 4.307
0 votos
0 respostas
201 visitas

Como preencher um TextBox e fazer raspagem de dados com Python?

Estou tentando analisar alguns dados da secretário da educação. Já fiz a requisição, mas... Achei um jeito de fazer isso pela web mesmo, no entanto, são muitas escolas por esse motivo preciso ...
Andre Luiz Silva Oliveira's user avatar
0 votos
0 respostas
214 visitas

Extrair documentos pdf de sites com scrapy

É possível varrer um site inteiro passando em todos os links em busca de arquivos pdf com scrapy? seria algo parecido com o apache nutch. Eu fiz uma pesquisa mas o pessoal só usa XPath, e XPath não dá ...
mell system's user avatar
0 votos
1 resposta
581 visitas

Como consigo usar o Scrapy no Anaconda

Olá, estou tendo problemas para criar um projeto com Scrapy. Estou estudando ciência de dados na faculdade e tenho que usar o Scrapy. Estou usando pelo Anaconda. Primeiro através do Spider IDE(...
Rafael Ventura's user avatar
0 votos
0 respostas
70 visitas

Como extrair dados para os campos Models.py do Scrapy?

Pretendo retirar todos os "Municipios" da tag começando nesta página. https://www.anmp.pt/anmp/pro/mun1/mun101w3.php?cod=M2200 E em seguida retirar informações como: "nome do concelho", "presidente ...
Carlos Aboim's user avatar
0 votos
1 resposta
88 visitas

Parse Xpath from Int

Tenho um scrapy rodando o for para trazer o dia e o link de algo. Ex: t_day = div.xpath('.//a/text()').extract_first() a_day = div.xpath('.//a/@href').extract_first() day = int(t_day) if day > ...
ChaarSales's user avatar
0 votos
0 respostas
36 visitas

Variável xpath salva em Mongo

Já tentei de diversas formas, mas acredito que estou errando o caminho. Gostaria de salvar o XPATH no Mongodb e importar no item() da function parse. Existe alguma forma de realizar ?
ddemamann's user avatar
0 votos
1 resposta
54 visitas

Erro "missing scheme" utilizando Scrapy

Quando executo minha aranha o scrapy me retorna o seguinte erro: ValueError: Missing scheme in request url h import scrapy class QuotesSpider(scrapy.Spider): name = "Mineracao" def ...
Maicon Wanner's user avatar