4
votos
Aceito
Pegar string dentro de tag <a> sem atributos
Para você recuperar o valor dos atributos / recuperar a string dentro de uma tag, faça o seguinte:
Exemplo:
//carregamento da url
$dom = new DOMDocument();
libxml_use_internal_errors(true);
$dom->...
3
votos
Aceito
CloseableHttpClient habilitar follow redirect
Você pode ter mais de um objeto definido no try with resources, só precisa chamar de nomes diferentes. Você pode usar a classe HttpClients para buildar o segundo client.
try (CloseableHttpClient ...
3
votos
Aceito
Como extrair texto de um elemento selecionado do BeautifulSoap?
Use o método get_text:
import requests, bs4,os
url = ('https://valor.globo.com/')
res = requests.get(url)
objSoup=bs4.BeautifulSoup(res.text,features="html.parser")
newsValor = objSoup....
3
votos
Descobrir qual encode foi utilizado em um form
O encode parece ser ISO-8859-1, porque está usando apenas um caractere por letr acentuada. Se fosse UTF-8 usaria duas ou mais.
A propósito, essa transformação de "á" para %E1, entre outras, não é ...
3
votos
Aceito
Em qual linguagem de programação um crawler/scrapper varre a DOM com mais rapidez?
Linguagens de programação não possuem velocidade como característica. Algumas possuem características que ajudam ter mais velocidade. Bibliotecas já podem ter velocidade, mas a padrão não precisa ser ...
2
votos
Aceito
Como coletar texto quando não tem classe HTML de referência - Crawler Python
Você pode utilizar a biblioteca BeautifulSoup junto ao comando .find_all() para extrair todas as tags td de um site, sem especificar nenhuma class, name ou id, por exemplo.
Código:
from bs4 import ...
2
votos
Aceito
Scrapy não consegue selecionar um form usando xpath
Creio que este exemplo seja útil para você. Não abordei todos os casos possíveis. Há questões de certo e errado que não cheguei a testar. Mas como o seu problema era pegar as alternativas, este ...
2
votos
Pegar string dentro de tag <a> sem atributos
Pode utilizar strip_tags:
<?php
$text = '<a href="link">
<font style="font-size: 14px;" color="black" face="arial"><b>String que eu quero pegar</b></font>
</a>...
2
votos
Aceito
Crawler de Tweets
Você está recebendo os tweets enviados pela pessoa, porque é isso que o método .user_timeline() faz...
No tweeter não existe enviar tweets para alguém. O que existe é mentions ou direct message.
...
2
votos
Aceito
Como especificar aos motores de busca atualização de um documento HTML?
Vc pode construir seu sitemap.xml usando a tag <changefreq></changefreq> para dizer aos crawlers que vc quer que seu conteúdo seja reindexado, de hora em hora, todo dia, ou semanalmente ...
2
votos
Data Crawling em Python
Você pode utilizar a biblioteca python padrão para csv, abaixo segue um exemplo de como pegar valor de uma listas e converter para csv:
import csv
with open(meuArquivo, 'wb', newline='') as arquivo:
...
2
votos
Web Crawler buscando texto específico na página
Você pode fazer mais facilmente com a biblioteca MechanicalSoup (https://github.com/MechanicalSoup/MechanicalSoup)
Para usar basta instalar no seu ambiente: pip install MechanicalSoup
Para pegar o ...
2
votos
Aceito
crawler em javascript
Conforme colocado pelo Guilherme Nascimento nos comentários, você pode desenvolver um crawler em JavaScript utilizando Node.js. Existem até bibliotecas que te ajudam, através de um headless browser (...
1
voto
Aceito
Como faço para gerar um arquivo excel com os dados obtidos de um webCrawler?
De uma olhada no exemplo, primeiro mudei as variaveis globais var para const evite usar var. Depois disso em ws.cell(), recebe o primeiro parametro é o número da linha que coloquei o index + 1 e o ...
1
voto
Aceito
IndexOutOfBoundsException No Get(0) do Crawler jsoup
Segundo a documentação do Jsoup, o método getElementsByAttribute recebe o nome do atributo a ser buscado. No caso do seu HTML, você parece estar querendo buscar este elemento:
<h3 class="...
1
voto
Requisições concorrentes usando axios sem perder a sessão
Você pode utilizar um módulo que suporte cookies no seu axios, como por exemplo o axios-cookiejar-support.
axios-cookiejar-support
const axios = require('axios').default;
const ...
1
voto
Conteúdo em Carrossel prejudica SEO? O conteúdo do Carousel que está oculto é indexado?
Estive lendo este artigo a um tempo atrás pois tive a mesma dúvida :
https://www.workhorsemkt.com/pros-and-cons-content-carousels/
Por sua natureza, os carrosséis exigem o carregamento de imagens e ...
1
voto
Aceito
Indexação de página que pode redirecionar
Vou te dar uma resposta que acho que pode te esclarecer alguns pontos. Apesar disso pode ser que não seja a resposta exata para o seu problema, no entenda pode te ajudar a eliminar algumas hipóteses.
...
1
voto
Scrapy for login
O problema é que o formulário de entrada de usuário e senha não está na página que você está carregando - a página que você está carregando só tem código javascript, e o formulário é montado por esse ...
1
voto
Web Crawler com view.py do Django
De acordo com a documentação do Django, a forma de retornar um object HttpResponse com um template e contexto é:
from django.http import HttpResponse
from django.template import loader
def my_view(...
1
voto
Pegar string dentro de tag <a> sem atributos
Use o método evaluate() da classe DOMXPath:
<?php
$html = "<a href=\"link\"><font style=\"font-size: 14px;\" color=\"black\" face=\"arial\"><b>String que eu quero pegar</b>...
1
voto
Aceito
Crawler para varredura de sites
Você pode usar os seguintes recursos:
1- Linguagem Python para o crawler usando uma dessas bibliotecas (Scrapy ou BeautifulSoup);
2- Um Banco de dados a sua escolha (MySQL, PostgreSQL, ...), se ...
1
voto
Aceito
Como faço para integrar meu projeto Django com o Scrapy?
Existe possibilidade de usar os 'pipeline' do Scrapy para integrar diretamente com os models do Django (link).
Também é possível executar o teu spider como uma script que te retorna um 'json' (link). ...
1
voto
Como fazer Scrapping de uma página que tem um javascript's usando python ?
Eu costumo usar o selenium para fazer webscrapping em sites que tem muito javascript. Normalmente, utilizo o Selenium com Java, mas em Python funciona também. Abaixo, um código com um exemplo bobo, ...
1
voto
Consulta Simples Nacional Optantes (por CNPJ)
Me parece que o site da receita foi atualizado, nem o captcha era mais carregado e após eu ter ajustado isso, não validava mais o post dando erro invalid postback or callback validation.
Tive que ...
Only top scored, non community-wiki answers of a minimum length are eligible
Tags relacionadas
web-crawler × 65python × 20
php × 13
scrapy × 13
web-scraping × 11
javascript × 10
aplicação-web × 7
node.js × 6
html × 5
java × 4
seo × 4
scraping × 4
dom × 3
crawling × 3
mysql × 2
angularjs × 2
django × 2
ruby × 2
http × 2
selenium-webdriver × 2
jsoup × 2
algoritmo-de-busca × 2
libcurl × 2
buscador-google × 2
jquery × 1