8
votos
Aceito
Limitando quantidade de matches do regex com Python
Sempre que estiver trabalhando com iteradores, lembre-se do pacote itertools.
Você pode utilizar a função itertools.islice para limitar o iterador retornado por re.finditer. Por exemplo:
from ...
4
votos
Web Scraping - converter tabela HTML em dict python
O beautifullsoup está sendo usado de forma redundante aí - você só acha o início da tabela, e aí usa "força bruta" para separar todos os elementos por "; ", e depois trata o resultado como texto puro. ...
4
votos
Preciso de ajuda em um crawler em python
Se o problema é só o facto de no fim haver informação duplicada dentro do teu items podes verificar se já existe antes de fazeres o append:
...
item["title"] = titles.select("a/text()").extract()
...
3
votos
Como extrair informações de um cabeçalho HTTP com Python?
Bom dia amigo,
Seu problema resumidamente é que você deseja contar quantos ocorrências desse padrão teve em suas mensagens, uma forma de você fazer essa verificação é utilizando REGEX.
Suponha que ...
3
votos
Captura utilizando Xpath
Você pode filtrar pelo atributo itemprop do elemento, ao invés de filtrar todas as divs que possuam priceno nome da classe. Estou usando o extract_first() para retornar apenas o primeiro match e ...
3
votos
Expressão regular em python 3.6 para extração de frase inteitra
Estava à espera que alguém que percebesse mesmo de regex respondesse mas vou dar-te uma solução diferente (e em muitos casos melhor, melhor):
from bs4 import BeautifulSoup as bs
string = '</li>...
2
votos
Expressão regular em python 3.6 para extração de frase inteitra
(1) Expressões regulares não são a ferramenta mais indicada para se extrair conteúdo de HTML - o melhor é usar um parser de HTML que faça isso -como o beautifulsoup listado na resposta do Miguel, ou o ...
2
votos
Extrair informações do lattes
Não conheço o sistema específico do Lates de captcha, mas vou tentar dar uma resposta "ampla" da solução.
Em geral o ideal é fazer um scraping só do HTML com requests e BeautifulSoup como você ...
2
votos
Qual o melhor jeito de raspar o site do Datasus em Python?
Não recomendo a utilização do Selenium, pois de acordo com Sasa Buklijas em "Não utilize Selenium para Web Scraping" ele afirma que o Selenium não é uma ferramenta especializada de web scraping (...
2
votos
Aceito
Scrapy não consegue selecionar um form usando xpath
Creio que este exemplo seja útil para você. Não abordei todos os casos possíveis. Há questões de certo e errado que não cheguei a testar. Mas como o seu problema era pegar as alternativas, este ...
2
votos
Concatenação de múltiplas listas com Python
Se o problema é só concatenar as listas, a resposta do @GustavoRPS resolve. Se o problema é que existem listas dentro de listas, como:
disciplina1 = [1, [2,3]]
disciplina2 = [[4,5], 6, [[7,[8,9]]]]
...
2
votos
Como converter CSV para XLSX com python?
Outro legal também (além do Pandas) é o rows (instalável com pip install rows, mas depois vai pedir a instalação manual de alguns outros pacotes, também com pip, par funcionar).
É uma biblioteca em ...
1
voto
Aceito
pip install scrapy erro 1
Boa noite, André, Tudo bem?
Este erro ocorre devido à falta de um pacote chamado Build Tools, ou Ferramentas de Compilação e é muito simples de resolver, você pode obtê-lo através do link Baixar!
1
voto
Aceito
O URL responde apenas com o site aberto
João, Quando você loga no site principal ele te entrega um cookie de navegação.
Para fazer tal requisição você deve passar os parâmetros de header junto a requisição conforme o código abaixo.
import ...
1
voto
Aceito
Dict com atributos repetidos Python
Provavelmente isto:
formdata = {
'data': '',
'controle': 'ADMIN',
'g-recaptcha-response': 'recaptcha_response',
'nu_dam' : [
'123456',
'123457',
'123458',
...
1
voto
Como criar um Array dentro do outro
Para colocar uma lista dentro de outra lista, basta usar o método append na lista externa com a lista interna como parâmetro.
a = []
for _ in range(10):
a.append([1, 2, 3]) # Lista a agora ...
1
voto
Aceito
Como usar scrapy em páginas asp.net
Scrapy é um módulo que combina o twisted.web para baixar as páginas e o BeautifulSoup ou o lxml para parseá-las.
O seu problema é que o botão que você quer clicar, provavelmente, na verdade não ...
1
voto
Aceito
Passar uma lista de URL para função Scrapy
Você fez duas perguntas em uma:
gostaria de passar uma lista de URL.
Parece que você não precisa fazer nada, só passar a lista.
Talvez mudar o nome do seu parâmetro de url para urls só pra ser ...
1
voto
Aceito
passar input ao executar bat
Considere 3 coisas:
1) Python não é minha praia
2) Se entendi a pergunta
3) Se está correto: os.environ['_data'] = 'data'
4) Nesse link se o mais correto é:
import os
name = ...
1
voto
Como converter CSV para XLSX com python?
Veja pandas, onde você pode ler um csv e usar a função ExcelWriter e to_excel para fazer as escritas.
https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_excel.html
Outro ...
1
voto
Corrigir Problema de encoding ao exportar para csv de um arquivo scrapy
Você está encodificando suas strings em utf-8, mas parece que está utilizando um programa de planilhas para lê-las que está não está reconhecendo este encoding.
Se está usando o excel, na hora de ...
1
voto
Ajustar colunas csv com Scrapy
Quando for criar o seu writer troque o seu delimitador pra ";"
Exemplo:
csv.writer(f, delimiter =';')
1
voto
Aceito
Concatenação de múltiplas listas com Python
Segundo a pergunta em en-us: How to merge multiple lists into one list in python? [duplicate] citaram 3 formas
Forma 1: Importando o itertools
import itertools
iterable_disciplinas = itertools....
1
voto
Scrapy for login
O problema é que o formulário de entrada de usuário e senha não está na página que você está carregando - a página que você está carregando só tem código javascript, e o formulário é montado por esse ...
1
voto
Web Crawler com view.py do Django
De acordo com a documentação do Django, a forma de retornar um object HttpResponse com um template e contexto é:
from django.http import HttpResponse
from django.template import loader
def my_view(...
1
voto
Salvar arquivo Excel no Python através do Scrapy
O formato de exportação excel não é suportado, mas o scrapy suporta:
JSON
JSON lines
CSV
XML
Você pode usar o formato CSV:
scrawl nome_do_spider -t csv -o planilha.csv
1
voto
Raspar parâmetros de um método post, com scrapy em python!
Realizei alguns testes, esse problema acontece porque a página que você está tentando enviar o formulário possui dois elementos form. O scrapy está enviando a requisição pro primeiro, mas deveria ser ...
1
voto
Scrapy xpath href ou span dentro da div
Baseado no teu exemplo, podemos ver que existem dois padrões:
Datas dentro do span (caso 1 e 2):
response.xpath('//div/span/text()').extract()
Output:
['01/12/2017\n ', '\n ', '\...
1
voto
Scrapy xpath href ou span dentro da div
Pode fazer dessa forma abaixo, to preferindo usar o BeautifulSoup é bem mais simples e resolve perfeitamente.
from bs4 import BeautifulSoup
import scrapy
class MgUberlandia(scrapy.Spider):
name =...
1
voto
Aceito
Como faço para integrar meu projeto Django com o Scrapy?
Existe possibilidade de usar os 'pipeline' do Scrapy para integrar diretamente com os models do Django (link).
Também é possível executar o teu spider como uma script que te retorna um 'json' (link). ...
Only top scored, non community-wiki answers of a minimum length are eligible
Tags relacionadas
scrapy × 57python × 44
web-scraping × 23
python-3.x × 15
web-crawler × 13
aplicação-web × 8
xpath × 6
python-2.7 × 5
scraping × 4
django × 2
selenium-webdriver × 2
json × 1
array × 1
r × 1
asp.net × 1
regex × 1
pandas × 1
mongodb × 1
login × 1
cmd × 1
debug × 1
pip × 1
python-kivy × 1
xls × 1
chatbot × 1