Antes de mais nada, sim, já verifiquei as APIs fornecidas pelo Google, como Google Web Search (descontinuada) e a novo Google Custom Search, que pelo que vi funciona somente para pesquisas dentro de um site especificado. O que pretendo é obter somente os primeiros links de determinada pesquisa (em toda web), de preferência se fosse possível fazer isso em Javascript . Existe um meio sem ter que utilizar APIs, algo utilizando por exemplo o link google.com/search?q=teste e obter os resultados? Grato.
2 Respostas
Tenta esse script que eu fiz (requer jQuery):
function sleep(ms) {
return new Promise(resolve => setTimeout(resolve, ms));
}
function searchGoogle(Query) {
// Seta A Variavel Final
final = {}
// Faz a Request Com o Cors-Anywhere Para Burlar A CORS-POLICY
shweb = $.ajax({url: 'https://cors-anywhere.herokuapp.com/' + "https://www.google.com/search?q=" + Query, async: false})
// Seta A Variavel Que Contem o HTML Da Pagina
shhtm = stringToHTML(shweb.responseText)
// Seta A Variavel Shres Com a Class 'LC20lb DKV0Md'
shres = shhtm.getElementsByClassName('LC20lb DKV0Md')
// Faz Um Loop Entre Os Links
for (i = 0; i < shres.length - 1; i++) {
// Seta O Final
final[i] = {href: shres[i].parentElement.href, title: shres[i].innerText, desc: shres[i].parentElement.parentElement.parentElement.children.item(1).innerText}
}
// Retorna O Valor Final
return final;
}
Fala Ablon, tudo certo?
Eu andei pesquisando aqui, aparentemente não nenhuma API mesmo pra fazer esse serviço.
Certa vez eu fiz um data scraping (técnica de ler um html e extrair informações), mas é um pouco chato de fazer sem usar nada. Você precisa encontrar o padrão de resposta da página, ou seja, a forma padrão dela montar os elementos e filtra-los através de expressões regulares.
Deixa eu te perguntar, se pretende fazer isso por onde? Pelo browser mesmo ou vai fazer em algum back-end?
-
Tudo certo. Pode se dizer que pelo back-end, quero fazer um crawling das páginas obtidas, mas quero conseguir essas página através da forma como citei na pergunta.– Ablon14/05/2017 às 12:37
-
@Ablon Eu já consegui fazer uma parte. Vou ter que estudar um pouco mais de Expressão Regular pra te ajudar nisso, que no fim foi uma excelente dúvida! Já consegui encontrar o padrão de criação do Google, agora falta extrair as URLs e o Titulo de forma coesa. Assim que tiver o código eu posto aqui. 14/05/2017 às 21:13
-
Certo, obrigado! Mas de que forma você consegue pesquisar no Google dentro do código para obter as URLs do resultado?– Ablon14/05/2017 às 23:57
-
@Ablon, o que eu faço é fazer uma requisição HTTP pra URL do google
http://google.com/search
e passar o parametroq
com o valor da pesquisa, por exemplo:http://google.com/search?q=maiores+cidades+do+mundo
Isso vai me retornar um HTML inteiro, e aí eu começo a buscar qual o elemento que fica os resultados e então, pega-los. 15/05/2017 às 9:31 -