Skip to main content

scraping google

Saudações developers

Estou escrevendo um script em python3 para realizar pesquisas de noticias e tbm imagens... e criei consultas para bing google usando apis mechanicalsoup e requests.

o caso é mais com o google, após uma pesquisa ele bloquei para verificar se é humano. Usei o the onion router (TOR) mas não deu certo.

eis meu código

 browser = mechanicalsoup.StatefulBrowser()
        browser.open("https://www.google.com/")
        browser.select_form('form[action="/search"]')
        browser["q"] = colecao # < parte da func
        browser.submit_selected(btnName="btnG") # seguindo um exemplo que diria burlar o google  :/ 
        for link in browser.links():
            pagina = link.attrs['href']
            if (pagina.startswith('/url?') and not pagina.startswith("/url?q=http://webcache.googleusercontent.com")):
                pagina = re.sub(r"^/url\?q=([^&]*)&.*", r"\1", pagina)
                if pagina[0:23] != 'https://accounts.google' and pagina[0:22] != "https://support.google" and pagina[0:18] != "https://www.google" and pagina[0:7] != '/search':
                    removendo.append(pagina)

Poderiam me dar ideias ou sugestões para melhorar meu projeto. desde ja obrigado pelo tempo :)

cardosource
  • 704
  • 1
  • 4
  • 18