0

Olá, estou tendo dificuldades em fazer um web scraping de um formulário feito pelo forms da microsoft. (OBS: O formulário foi feito por mim).

Tenho o seguinte código:

from bs4 import BeautifulSoup
import requests

linkForms01 = 'https://forms.office.com/Pages/AnalysisPage.aspx?id=vNBJ8bUOmk-egiSnbqz43tJCnHAzn91Lq2qUycLdTl5UOFFCQ0lXME85UlFKT1dBTFJPSllFUkkzVy4u&AnalyzerToken=qTmVTXSAWoyMXQcd56doC9W6W20G51UR'

page03 = requests.get(linkForms01) 
page03.encoding = page03.apparent_encoding

soup03 = BeautifulSoup(page03.text, 'html.parser')
texto03 = soup03.get_text('\n')
xxxx = soup03.find(class_="analyze-view-detail-text-lines")
print(xxxx)

De modo geral, consigo extrair várias informações deste forms, mas as respostas do questionário não consigo. Pensei em retirar as informações que estão no arquivo GetAggregateSurveyData, este arquivo pode ser visto em Inspecionar - Network - XHR, mas não tenho certeza se isto é possível.

Quem puder dar um help, ficarei agradecido :)

2 Respostas 2

0

O microsoft Forms possui um serviço REST(API) não documentado. É dessa requisição JSON que as informações são digeridas.

Primeiro vamos descobrir de onde vem o GET que irá pegar as informações.

https://forms.office.com/formapi/api/f149d0bc-0eb5-4f9a-9e82-24a76eacf8de/users/709c42d2-9f33-4bdd-ab6a-94c9c2dd4e5e/light/analysisForms('vNBJ8bUOmk-egiSnbqz43tJCnHAzn91Lq2qUycLdTl5UOFFCQ0lXME85UlFKT1dBTFJPSllFUkkzVy4u')?$expand=questions($expand=choices)

Ok, Agora precisamos ver quais informações são envviadas para conseguir essa requisição. Se perceber no link que você enviou, ele tem um token para o acesso do formulário:

AnalyzerToken=qTmVTXSAWoyMXQcd56doC9W6W20G51UR

Esse token é a permissão que o site irá requisitar para extração das informações do servidor.

Com isso agora você irá poder fazer seu bot. Lembrete que é bom sempre ter 'user-agent' para você fazer um bypass na página, pois é comum o site ter algum bloqueio para scrappers e crawlers.

import requests

url = "https://forms.office.com/formapi/api/f149d0bc-0eb5-4f9a-9e82-24a76eacf8de/users/709c42d2-9f33-4bdd-ab6a-94c9c2dd4e5e/light/analysisForms('vNBJ8bUOmk-egiSnbqz43tJCnHAzn91Lq2qUycLdTl5UOFFCQ0lXME85UlFKT1dBTFJPSllFUkkzVy4u')?$expand=questions($expand=choices)"
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
           'AnalyzerToken': 'qTmVTXSAWoyMXQcd56doC9W6W20G51UR'}
print(requests.get(url, headers=headers).text)

Recomendo estudar sobre protocolos HTTP para entender melhor como fazer fazer web crawling/scrapping, pois a maioria dos sites hoje em dia utilizam API, e em boa parte dos casos é mais documentar como funciona o API do site, do que ficar fazendo força bruta que é bem menos performático, e bem mais chato.(No caso, fazer scrapping a partir do HTML...)

1
  • Olá, muito obrigado pela ajuda! Achei muito interessante sua solução, o que está faltando em meus scrapping é saber utilizar requisições com headers. Vou seguir seu conselho e estudar mais sobre protocolos HTTP. Commented 22/01/2020 às 12:23
0

Não é possível recuperar as informações da forma como está sendo feito.

Ao fazer requests.get você recupera o html do servidor para aquela URL - mas só isso - quaisquer recursos externos da página não são recuperados - sejam imagens, ou, dados que são obtidos pela página quando ela executa algum código em Javascript no navegador.

É fácil verificar que as informações nao estão presentes na página - vocẽ abre a URL acima, e usa a opção de view page source do navegador - é fácil ver que a parte do <body> da página é mínima, apesar de dezenas de kbytes de javascript no <head>. Ainda poderia ser que os dados do formulário estivessem embutidos no javascript, sem depender de requests em javascript ao servidor - mas buscar, por exemplo, pelo nome "Ademir" que aparece preenchido no formulário, não encontra nenhuma ocorrência no texto bruto da página.

A partir daqui você tem duas opções: Fazer uma engenhraria reversa do código client-side e ver quais requisições são feitas ao servidor usando javascript - e você pode replicar essaas requisições usando o requests do Python. Isso pode variar de dificuldade entre médio e praticamente impossível (se o autor da página, ou dos programas rodados na página estiverem dispostos a esconder esses dados - não é o caso, deve ficar mais próximo de "dificuldade média")

O outro caminho é usar em vez de requests o selenium - Selenium é uma ferramenta que integra um navegador "de verdade" com uma biblioteca Python - quando a página é aberta via selenium, o código javascript dentro da mesma é executado - e os dados são recuperados no servidor e preenchidos no navegador associado (que pode ou não ser visível na tela, dependendo de como você confiugrar o selenium) - e aí sim, você acessa o DOM da página depois de preenchida com os dados do servidor.

1
  • Olá, obrigado pela ajuda! Vou estudar um pouco sobre como fazer a engenharia reversa das requisições, talvez ajude. Sobre o selenium, ajudou bastante, porém não ficou muito performático. Commented 22/01/2020 às 12:06

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .