Saudações developers
Estou escrevendo um script em python3 para realizar pesquisas de noticias e tbm imagens... e criei consultas para bing google usando apis mechanicalsoup e requests.
o caso é mais com o google, após uma pesquisa ele bloquei para verificar se é humano. Usei o the onion router (TOR) mas não deu certo.
eis meu código
browser = mechanicalsoup.StatefulBrowser()
browser.open("https://www.google.com/")
browser.select_form('form[action="/search"]')
browser["q"] = colecao # < parte da func
browser.submit_selected(btnName="btnG") # seguindo um exemplo que diria burlar o google :/
for link in browser.links():
pagina = link.attrs['href']
if (pagina.startswith('/url?') and not pagina.startswith("/url?q=http://webcache.googleusercontent.com")):
pagina = re.sub(r"^/url\?q=([^&]*)&.*", r"\1", pagina)
if pagina[0:23] != 'https://accounts.google' and pagina[0:22] != "https://support.google" and pagina[0:18] != "https://www.google" and pagina[0:7] != '/search':
removendo.append(pagina)
Poderiam me dar ideias ou sugestões para melhorar meu projeto. desde ja obrigado pelo tempo :)