import requests
from bs4 import BeautifulSoup as bs
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'}
url = "http://quizdomilhao.com.br/category/g1"
question_page = requests.get(url, headers = headers )
question_page.encoding = 'utf-8'
soup = BeautifulSoupbs(question_page.text, 'html.parser')
ul = soup.findfind_all('ul', {'class':'square'})
lilis = ul[item.find_all('li') for item in ul]
alis = ul[item for sublista in lis for item in sublista]
aas = [item.find_all('a') for item in ul]
aas = [item for sublista in aas for item in sublista]
text_link = [[item.text, item2['href']] for item, item2 in zip(lilis,aaas)]
- Importando as bibliotecas
- Criando um header para o site aceitar a requisição
- Fazendo a requisição utilizando o requests
- Utilizando o bs para conseguirmos extrair as tags html
- Buscando aas ul com a classe square
- Utilizando o retorna da consulta anterior para extrair somente o conteúdo das li
- Buscando 'a' dentro de ul
- Criando uma lista com o conteúdo
Update para acessar as páginas de respostas
for item in text_link:
question, link = item
print(question)
print(link)
answer_page = requests.get(link, headers=headers)
answer_page.encoding = 'utf-8'
soup = bs(answer_page.text, 'html.parser')
ul = soup.find('ul', {'class':'square'})
li = ul.find_all('li')
answer = [item.find('strong').text for item in li if item.find('strong')]
print(''.join(answer))