0

Estou tentando fazer um scraping de uma página que usa aspx. A questão é que quando vou em inspecionar elemento os dados que preciso estão lá, porém quando dou o requests na página vem tudo do html, menos a parte dos dados que preciso. Esses dados ficam no meio do html entre um "Grid de OC", e só essa parte é cortada. Acredito que deva ser algo nos parâmetros do POST, mas estou iniciando no scraping e travei nisso. Qualquer ajuda vai ser muito bem vida. Desde já agradeço!

import os
import io
import re
import sys
import json
import boto3
import os.path
import requests
import zipfile
import urllib3
urllib3.disable_warnings()
from bs4 import BeautifulSoup
from python3_anticaptcha import ImageToTextTask


with requests.Session() as session:

    url = 'https://www.bec.sp.gov.br/bec_pregao_UI/_Imagens/imagem_aleatoria.aspx'
    url_acesso = f'https://www.bec.sp.gov.br/bec_pregao_UI/OC/pregao_oc_pesquisa.aspx?chave='

    response = session.get(url_acesso, allow_redirects=True)
    cookie_1 = response.cookies.get_dict()
    response_1 = session.get(url)

    imagem = open('img.jpg', 'wb')
    imagem.write(response_1.content)

    ANTICAPTCHA_KEY = "xxxxxxxxxxxxxxxxxxxxxxxxx" # KEY DA API QUEBRA DE CAPTCHA
    user_answer = ImageToTextTask.ImageToTextTask(anticaptcha_key = ANTICAPTCHA_KEY).captcha_handler(captcha_file='img.jpg')
    texto = user_answer['solution']['text']

    payload = {
        "__EVENTTARGET": "",
        "__EVENTARGUMENT": "",
        "__LASTFOCUS": "",
        "__VIEWSTATE": "viewstate",
        "__VIEWSTATEGENERATOR": "A4827007",
        "__EVENTVALIDATION": "",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$c_ddlListaAtividadeGrupo": "1","ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$c_ddlListaGrupoSituacao": "0",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cSecretaria": "",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cUgeCodigo": "",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cUgeDenominacao": "",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cMunicipio": "",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cTipoEdital": "0",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cEnteFederativo": "0",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cPartExclusiva": "0",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cAgrupamento": "0",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cNumeroOc": "",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cItemCodigo": "",
        "ctl00$conteudo$Wuc_OC1$Wuc_filtroPesquisaOc1$cItemDescricao": "",
        "ctl00$conteudo$Wuc_OC1$noRobot": texto,
        "ctl00$conteudo$Wuc_OC1$c_btnPesquisa": "Pesquisar"


response_2 = session.post(url_acesso, data=payload, cookies=cookie_1, headers={'Content-type': 'application/json'}, allow_redirects=True)

'''

3
  • A tecnologia usada no backend não importa muito (bom, importa no caso da resposta aceita, nessa que marquei como duplicada - mas veja a minha resposta lá) - como você notou, os dados são carregados dinamicamente depois do HTM estático ser carregado - então você vai ter que usar o requests do lado do Python para mandar um post copiando os dados que o javascript da página envia, ou usar o selenium, em vez do requests - o selenium é executado em um browser, e ai todo o javascript dá página é executado e você tem acesso a página completa.
    – jsbueno
    29/01/2020 às 14:24
  • Entendi cara, agradeço. O problema que estou tendo com o requests é não estou conseguindo trabalhar com os parâmetros "__EVENTVALIDATION" e "__VIEWSTATE" para enviar esse post, eles são extremamente grandes. Tens ideia se consigo por outro caminho além do selenium?
    – Samp
    29/01/2020 às 14:36
  • para o backend responder, você precisa envir os dados que ele espera. em vez de tentar copiar e colar esses dados no seu programa, você pode lê-los direto da página, depois de fazer um primeiro get. Ou salvar esses dados em um arquivo, e ler do arquivo para preencher os dados do post no Python.
    – jsbueno
    29/01/2020 às 14:41

0

Pesquise outras perguntas com a tag .