Estou tentando fazer um scraping de uma página que usa aspx. A questão é que quando vou em inspecionar elemento os dados que preciso estão lá, porém quando dou o requests na página vem tudo do html, menos a parte dos dados que preciso. Esses dados ficam no meio do html entre um "Grid de OC", e só essa parte é cortada. Acredito que deva ser algo nos parâmetros do POST, mas estou iniciando no scraping e travei nisso. Qualquer ajuda vai ser muito bem vida. Desde já agradeço!
import os
import io
import re
import sys
import json
import boto3
import os.path
import requests
import zipfile
import urllib3
urllib3.disable_warnings()
from bs4 import BeautifulSoup
from python3_anticaptcha import ImageToTextTask
with requests.Session() as session:
url = 'https://www.bec.sp.gov.br/bec_pregao_UI/_Imagens/imagem_aleatoria.aspx'
url_acesso = f'https://www.bec.sp.gov.br/bec_pregao_UI/OC/pregao_oc_pesquisa.aspx?chave='
response = session.get(url_acesso, allow_redirects=True)
cookie_1 = response.cookies.get_dict()
response_1 = session.get(url)
imagem = open('img.jpg', 'wb')
imagem.write(response_1.content)
ANTICAPTCHA_KEY = "xxxxxxxxxxxxxxxxxxxxxxxxx" # KEY DA API QUEBRA DE CAPTCHA
user_answer = ImageToTextTask.ImageToTextTask(anticaptcha_key = ANTICAPTCHA_KEY).captcha_handler(captcha_file='img.jpg')
texto = user_answer['solution']['text']
payload = {
"__EVENTTARGET": "",
"__EVENTARGUMENT": "",
"__LASTFOCUS": "",
"__VIEWSTATE": "viewstate",
"__VIEWSTATEGENERATOR": "A4827007",
"__EVENTVALIDATION": "",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$c_ddlListaAtividadeGrupo": "1","ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$c_ddlListaGrupoSituacao": "0",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cSecretaria": "",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cUgeCodigo": "",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cUgeDenominacao": "",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cMunicipio": "",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cTipoEdital": "0",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cEnteFederativo": "0",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cPartExclusiva": "0",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cAgrupamento": "0",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cNumeroOc": "",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cItemCodigo": "",
"ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cItemDescricao": "",
"ctl00$conteudo$Wuc_OC1$noRobot": texto,
"ctl00$conteudo$Wuc_OC1$c_btnPesquisa": "Pesquisar"
response_2 = session.post(url_acesso, data=payload, cookies=cookie_1, headers={'Content-type': 'application/json'}, allow_redirects=True)
'''
requests
do lado do Python para mandar umpost
copiando os dados que o javascript da página envia, ou usar o selenium, em vez do requests - o selenium é executado em um browser, e ai todo o javascript dá página é executado e você tem acesso a página completa.get
. Ou salvar esses dados em um arquivo, e ler do arquivo para preencher os dados do post no Python.