Skip to main content

Respostas interessantes marcadas com a tag

8 votos
Aceito

Limitando quantidade de matches do regex com Python

Sempre que estiver trabalhando com iteradores, lembre-se do pacote itertools. Você pode utilizar a função itertools.islice para limitar o iterador retornado por re.finditer. Por exemplo: from ...
Woss's user avatar
  • 77,2mil
4 votos

Web Scraping - converter tabela HTML em dict python

O beautifullsoup está sendo usado de forma redundante aí - você só acha o início da tabela, e aí usa "força bruta" para separar todos os elementos por "; ", e depois trata o resultado como texto puro. ...
jsbueno's user avatar
  • 31,5mil
4 votos

Preciso de ajuda em um crawler em python

Se o problema é só o facto de no fim haver informação duplicada dentro do teu items podes verificar se já existe antes de fazeres o append: ... item["title"] = titles.select("a/text()").extract() ...
Miguel's user avatar
  • 29,5mil
3 votos

Como extrair informações de um cabeçalho HTTP com Python?

Bom dia amigo, Seu problema resumidamente é que você deseja contar quantos ocorrências desse padrão teve em suas mensagens, uma forma de você fazer essa verificação é utilizando REGEX. Suponha que ...
Killdary Aguiar de Santana's user avatar
3 votos

Captura utilizando Xpath

Você pode filtrar pelo atributo itemprop do elemento, ao invés de filtrar todas as divs que possuam priceno nome da classe. Estou usando o extract_first() para retornar apenas o primeiro match e ...
Laerte's user avatar
  • 22,8mil
3 votos

Expressão regular em python 3.6 para extração de frase inteitra

Estava à espera que alguém que percebesse mesmo de regex respondesse mas vou dar-te uma solução diferente (e em muitos casos melhor, melhor): from bs4 import BeautifulSoup as bs string = '</li>...
Miguel's user avatar
  • 29,5mil
2 votos

Expressão regular em python 3.6 para extração de frase inteitra

(1) Expressões regulares não são a ferramenta mais indicada para se extrair conteúdo de HTML - o melhor é usar um parser de HTML que faça isso -como o beautifulsoup listado na resposta do Miguel, ou o ...
jsbueno's user avatar
  • 31,5mil
2 votos

Extrair informações do lattes

Não conheço o sistema específico do Lates de captcha, mas vou tentar dar uma resposta "ampla" da solução. Em geral o ideal é fazer um scraping só do HTML com requests e BeautifulSoup como você ...
Pedro von Hertwig Batista's user avatar
2 votos

Qual o melhor jeito de raspar o site do Datasus em Python?

Não recomendo a utilização do Selenium, pois de acordo com Sasa Buklijas em "Não utilize Selenium para Web Scraping" ele afirma que o Selenium não é uma ferramenta especializada de web scraping (...
Rodrigo Eggea's user avatar
2 votos
Aceito

Scrapy não consegue selecionar um form usando xpath

Creio que este exemplo seja útil para você. Não abordei todos os casos possíveis. Há questões de certo e errado que não cheguei a testar. Mas como o seu problema era pegar as alternativas, este ...
fsola's user avatar
  • 404
2 votos

Concatenação de múltiplas listas com Python

Se o problema é só concatenar as listas, a resposta do @GustavoRPS resolve. Se o problema é que existem listas dentro de listas, como: disciplina1 = [1, [2,3]] disciplina2 = [[4,5], 6, [[7,[8,9]]]] ...
AlexCiuffa's user avatar
  • 2.459
2 votos

Como converter CSV para XLSX com python?

Outro legal também (além do Pandas) é o rows (instalável com pip install rows, mas depois vai pedir a instalação manual de alguns outros pacotes, também com pip, par funcionar). É uma biblioteca em ...
jsbueno's user avatar
  • 31,5mil
1 voto
Aceito

pip install scrapy erro 1

Boa noite, André, Tudo bem? Este erro ocorre devido à falta de um pacote chamado Build Tools, ou Ferramentas de Compilação e é muito simples de resolver, você pode obtê-lo através do link Baixar!
Dirso's user avatar
  • 62
1 voto
Aceito

O URL responde apenas com o site aberto

João, Quando você loga no site principal ele te entrega um cookie de navegação. Para fazer tal requisição você deve passar os parâmetros de header junto a requisição conforme o código abaixo. import ...
Willian Jesus Da Silva's user avatar
1 voto
Aceito

Dict com atributos repetidos Python

Provavelmente isto: formdata = { 'data': '', 'controle': 'ADMIN', 'g-recaptcha-response': 'recaptcha_response', 'nu_dam' : [ '123456', '123457', '123458', ...
Syzoth's user avatar
  • 100mil
1 voto

Como criar um Array dentro do outro

Para colocar uma lista dentro de outra lista, basta usar o método append na lista externa com a lista interna como parâmetro. a = [] for _ in range(10): a.append([1, 2, 3]) # Lista a agora ...
Leafar's user avatar
  • 173
1 voto
Aceito

Como usar scrapy em páginas asp.net

Scrapy é um módulo que combina o twisted.web para baixar as páginas e o BeautifulSoup ou o lxml para parseá-las. O seu problema é que o botão que você quer clicar, provavelmente, na verdade não ...
nosklo's user avatar
  • 5.903
1 voto
Aceito

Passar uma lista de URL para função Scrapy

Você fez duas perguntas em uma: gostaria de passar uma lista de URL. Parece que você não precisa fazer nada, só passar a lista. Talvez mudar o nome do seu parâmetro de url para urls só pra ser ...
nosklo's user avatar
  • 5.903
1 voto
Aceito

passar input ao executar bat

Considere 3 coisas: 1) Python não é minha praia 2) Se entendi a pergunta 3) Se está correto: os.environ['_data'] = 'data' 4) Nesse link se o mais correto é: import os name = ...
Io-ol's user avatar
  • 1.954
1 voto

Como converter CSV para XLSX com python?

Veja pandas, onde você pode ler um csv e usar a função ExcelWriter e to_excel para fazer as escritas. https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_excel.html Outro ...
Daniel Magalhães Bicalho's user avatar
1 voto

Corrigir Problema de encoding ao exportar para csv de um arquivo scrapy

Você está encodificando suas strings em utf-8, mas parece que está utilizando um programa de planilhas para lê-las que está não está reconhecendo este encoding. Se está usando o excel, na hora de ...
nosklo's user avatar
  • 5.903
1 voto

Ajustar colunas csv com Scrapy

Quando for criar o seu writer troque o seu delimitador pra ";" Exemplo: csv.writer(f, delimiter =';')
Lucas Miranda's user avatar
1 voto
Aceito

Concatenação de múltiplas listas com Python

Segundo a pergunta em en-us: How to merge multiple lists into one list in python? [duplicate] citaram 3 formas Forma 1: Importando o itertools import itertools iterable_disciplinas = itertools....
GustavoRPS's user avatar
1 voto

Scrapy for login

O problema é que o formulário de entrada de usuário e senha não está na página que você está carregando - a página que você está carregando só tem código javascript, e o formulário é montado por esse ...
nosklo's user avatar
  • 5.903
1 voto

Web Crawler com view.py do Django

De acordo com a documentação do Django, a forma de retornar um object HttpResponse com um template e contexto é: from django.http import HttpResponse from django.template import loader def my_view(...
JonatasCD's user avatar
  • 293
1 voto

Salvar arquivo Excel no Python através do Scrapy

O formato de exportação excel não é suportado, mas o scrapy suporta: JSON JSON lines CSV XML Você pode usar o formato CSV: scrawl nome_do_spider -t csv -o planilha.csv
Laerte's user avatar
  • 22,8mil
1 voto

Raspar parâmetros de um método post, com scrapy em python!

Realizei alguns testes, esse problema acontece porque a página que você está tentando enviar o formulário possui dois elementos form. O scrapy está enviando a requisição pro primeiro, mas deveria ser ...
Laerte's user avatar
  • 22,8mil
1 voto

Scrapy xpath href ou span dentro da div

Baseado no teu exemplo, podemos ver que existem dois padrões: Datas dentro do span (caso 1 e 2): response.xpath('//div/span/text()').extract() Output: ['01/12/2017\n ', '\n ', '\...
anapaulagomes's user avatar
1 voto

Scrapy xpath href ou span dentro da div

Pode fazer dessa forma abaixo, to preferindo usar o BeautifulSoup é bem mais simples e resolve perfeitamente. from bs4 import BeautifulSoup import scrapy class MgUberlandia(scrapy.Spider): name =...
Steferson Ferreira's user avatar
1 voto
Aceito

Como faço para integrar meu projeto Django com o Scrapy?

Existe possibilidade de usar os 'pipeline' do Scrapy para integrar diretamente com os models do Django (link). Também é possível executar o teu spider como uma script que te retorna um 'json' (link). ...
Heitor Tancredo's user avatar

Only top scored, non community-wiki answers of a minimum length are eligible