14
O código original é:
function challenge() {
document.cookie = 'Anti-Robot=ee2c23967cffbc6dff69153929fd8155017def99; max-age=86400; path=/';
window.location.reload()
}
Ele basicamente define o cookie Anti-Robot e depois atualiza a página.
Provavelmente o cookie é usado posteriormente verificado no servidor para evitar que um formulário seja ...
respondida 19/05/15 às 16:44
utluiz
71,3mil88 medalhas de ouro141141 medalhas de prata243243 medalhas de bronze
11
O nome deste tipo de prática é page scraping, uma variação de screen scraping. De acordo com a página da Wikipedia,
[..] uma técnica na qual um programa de computador extrai dados da
saída de vídeo de um outro programa. [...] O elemento-chave que
distingue o screen scraping do parsing habitual é que a saída que
está sendo capturada foi destinada a ...
respondida 24/09/15 às 12:50
OnoSendai
36mil33 medalhas de ouro6262 medalhas de prata116116 medalhas de bronze
9
Sempre que estiver trabalhando com iteradores, lembre-se do pacote itertools.
Você pode utilizar a função itertools.islice para limitar o iterador retornado por re.finditer. Por exemplo:
from itertools import islice
# padrão regex para encontrar links de artigo
pattern = re.compile(r'https?:\/\/meiobit\.com\/[\d]+\/[A-Za-z0-9-]+\/')
# lista para ...
respondida 21/01/19 às 22:25
Woss
72,2mil1414 medalhas de ouro104104 medalhas de prata193193 medalhas de bronze
4
O beautifullsoup está sendo usado de forma redundante aí - você só acha o início da tabela, e aí usa "força bruta" para separar todos os elementos por "; ", e depois trata o resultado como texto puro. Dessa forma vocẽ não preserva a estrutura de tabela, e fica difícil saber o que é cabeçalho da tabela e o que é conteúdo.
Nada vai criar "por mágica" os ...
respondida 1/08/17 às 21:24
jsbueno
30mil11 medalhas de ouro4040 medalhas de prata6363 medalhas de bronze
4
Bloquear acesso aos bots de mecanismos de buscas é muito diferente dos outros casos. O primeiro respeita as regras que você cria, já os outros tentam burlar quaisquer regras... é um jogo de gato e rato.
Como a restrição do acesso aos mecanismos oficiais de busca é trivial e possui documentação extensa, vou focar nos métodos que dificultam o acesso por esses ...
3
É possível sim. Por exemplo:
var parser = new DOMParser();
var tmplXML = document.getElementById("tmplXML");
var blobXML = new Blob([tmplXML.innerHTML], { type: 'text/xml' });
var urlXML = URL.createObjectURL(blobXML);
var httpRequest = new XMLHttpRequest();
httpRequest.open("GET", urlXML, true);
httpRequest.onreadystatechange = function(){
...
3
Não há nada que te impeça de fazer o download de um XML e analisar o seu conteúdo. O único problema de fazer isso em um browser seria a política de mesma origem, que te impediria de acessar endereços arbitrários via Javascript.
respondida 5/11/15 às 18:09
Pablo Almeida
5.04433 medalhas de ouro1212 medalhas de prata3535 medalhas de bronze
3
Uma outra alternativa é usar str.encode com encoding Latin 1 e str.decode para decodificar para UTF-8. Veja um exemplo:
print ("\xc3\xb3".encode('latin1').decode('utf-8')) # ó
No teu caso, faça assim:
print (texto.encode('latin1').decode('utf-8'))
Onde texto é a variável que você quer aplicar o encode/decode.
Resultado:
O órgão também divulga resultado
...
respondida 19/09/16 às 20:52
stderr
30,1mil55 medalhas de ouro4141 medalhas de prata7070 medalhas de bronze
2
Usando Python e pdfminer (pdfminer3k para o Python 3), implementei a leitura de PDF através da seguinte classe:
import pdfminer
from pdfminer.pdfinterp import PDFResourceManager, process_pdf
from pdfminer.pdfdevice import TagExtractor
from pdfminer.converter import XMLConverter, HTMLConverter, TextConverter
from pdfminer.layout import LAParams
from pdfminer....
respondida 19/09/16 às 20:25
Leonel Sanches da Silva
88mil88 medalhas de ouro116116 medalhas de prata222222 medalhas de bronze
2
Oi! Da uma olhada nessa função!
Respondi hoje sobre isso em outro questionamento, mas, acho que aplica-se ao que você está buscando.
function extractTableData() {
console.log('Extraindo dados');
var myTab = document.querySelectorAll('#idTable1 tbody tr ');
var strResult='';
Array.from(myTab).forEach(input => {
var tds = input.closest('tr')....
1
O conteúdo da página que quer extrair está estruturado com uma linguagem de markup, o HTML. Use isso a seu favor: Use um parser de html.
Recomendo o excelente lxml.html, pois ele funciona com XPATH!!:
from urllib.request import urlopen
import lxml.html
url = "https://www.panvel.com/panvel/main.do"
pagina = urlopen(url)
texto = pagina.read().decode('utf8')...
respondida 10/04/19 às 13:50
nosklo
5.75311 medalhas de ouro77 medalhas de prata1919 medalhas de bronze
1
Também não consegui nesse site, tudo o que está na <section class="currencies"></section> não aparece.. tente outro site:
var url = @"https://themoneyconverter.com/USD/BRL.aspx";
var doc = new HtmlWeb().Load(url);
var value = doc.DocumentNode.SelectSingleNode("//*[@id='cc-ratebox']");
Console.WriteLine(value.InnerText);
1
Você fez duas perguntas em uma:
gostaria de passar uma lista de URL.
Parece que você não precisa fazer nada, só passar a lista.
Talvez mudar o nome do seu parâmetro de url para urls só pra ser consistente?
args = parser.parse_args()
valid_urls = [validate_url(url) for url in args['urls'])
for valid_url in valid_urls:
...
Gostaria também de ...
respondida 28/09/18 às 19:43
nosklo
5.75311 medalhas de ouro77 medalhas de prata1919 medalhas de bronze
1
De acordo com a documentação do Django, a forma de retornar um object HttpResponse com um template e contexto é:
from django.http import HttpResponse
from django.template import loader
def my_view(request):
# View code here...
t = loader.get_template('myapp/index.html')
c = {'foo': 'bar'}
return HttpResponse(t.render(c, request), ...
1
Acesse esse site antes: https://www.jusbrasil.com.br/robots.txt lá tem as definições do que você pode ou não acessar.
Robots.txt: https://rockcontent.com/br/blog/robots-txt/
Essa resposta pode te ajudar: https://stackoverflow.com/questions/35690914/web-scraping-the-iis-based-website
1
Todas as vezes em que você está em uma página e nela há um link relativo o link corresponde a própria página mais a sua url.
Você pode usar a lib urlparse para que seja feia uma concatenação e fazer um novo request.
Porém, como você mesmo disse, as vezes a url não é relativa. Vamos tentar resolver esse caso:
import urllib
urllib.parse.urljoin('http://...
1
Começando do começo - em geral usariamos os módulos requests e beautifulsoup para ler o conteúdo de uma página web - mas também é possível fazer sim.
Temos um outro problema que essas páginas da receita usam uma autoridade certificadora para SSL que não está configurada nem nos navegadores, nem em instalaões do Python. COm Python puro, precisamos criar um ...
respondida 29/04/17 às 5:17
jsbueno
30mil11 medalhas de ouro4040 medalhas de prata6363 medalhas de bronze
1
Você pode utilizar a biblioteca BeautifulSoup junto ao comando .find_all() para extrair todas as tags td de um site, sem especificar nenhuma class, name ou id, por exemplo.
Código:
from bs4 import BeautifulSoup
import requests
url = 'https://en.wikipedia.org/wiki/Web_scraping'
html_page = requests.get(url)
html_source = html_page.text
soup = ...
1
Eu costumo usar o selenium para fazer webscrapping em sites que tem muito javascript. Normalmente, utilizo o Selenium com Java, mas em Python funciona também. Abaixo, um código com um exemplo bobo, mas funcional.
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome('/path/to/chromedriver')
driver.get("...
1
var links = document.getElementsByTagName('links');
for (let i = 0 ; i < links.length ; i++){
console.log(links[i].innerHTML);
}
<links class="canais-teste"> CANAL 1 </links>
<links class="canais-teste"> CANAL 2 </links>
<links class="canais-teste"> CANAL 3 </links>
respondida 3/03/17 às 16:48
BrTkCa
11mil33 medalhas de ouro1616 medalhas de prata3535 medalhas de bronze
1
Recomendo usar Beautiful Soup para manipular o HTML
Pode tentar usar JSON tbm
Pelo que entendi você tem que ter uma base de HTTP
pode tentar instalar um addon firebug para o firefox e analisar o comportamento
quando você clickar no botao do pdf para fazer o download pode análisar no firebug o que foi feito.
por exemplo eu click em um botao para fazer o ...
1
Acabei abandonando o Jsoup e utilizei um webdriver. Escolhi o HtmlUnit para isto e o código que resolve o problema que eu estava encontrando é este:
import java.io.IOException;
import com.gargoylesoftware.htmlunit.*;
public class Main {
public static void main(String...args) throws IOException {
final String URL = "http://site.com/o/clouflare/...
respondida 18/03/16 às 4:14
Renan Gomes
18,9mil88 medalhas de ouro4343 medalhas de prata104104 medalhas de bronze
1
Analisando o html da cloudflare, no caso da página http://lubbo-zone.nl, eu cheguei na seguinte conclusão:
O javascript que você mencionou na pergunta é um algoritmo que usa alguns dados da página para efetuar um cálculo e enviar o resultado desse cálculo para validação. Caso o cálculo esteja correto, você é redirecionado para a página real, caso contrário, ...
Apenas as respostas wiki não pertencentes à comunidade mais votadas e de um tamanho mínimo se qualificam
Tags relacionadas
scraping × 38web-scraping × 16
python × 15
javascript × 8
python-3.x × 7
c# × 4
node.js × 4
aplicação-web × 4
web-crawler × 4
scrapy × 4
java × 3
html × 3
r × 3
css × 2
xml × 2
selenium × 2
jsoup × 2
android × 1
ajax × 1
regex × 1
winforms × 1
django × 1
thread × 1
pdf × 1
javascript-eventos × 1