import requests from bs4 import BeautifulSoup as bs headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'} url = "http://quizdomilhao.com.br/category/g1" question_page = requests.get(url, headers = headers ) question_page.encoding = 'utf-8' soup = bs(question_page.text, 'html.parser') ul = soup.find_all('ul', {'class':'square'}) lis = [item.find_all('li') for item in ul] lis = [item for sublista in lis for item in sublista] aas = [item.find_all('a') for item in ul] aas = [item for sublista in aas for item in sublista] text_link = [[item.text, item2['href']] for item, item2 in zip(lis,aas)] 1. Importando as bibliotecas 2. Criando um header para o site aceitar a requisição 3. Fazendo a requisição utilizando o requests 4. Utilizando o bs para conseguirmos extrair as tags html 5. Buscando as ul com a classe square 6. Utilizando o retorna da consulta anterior para extrair somente o conteúdo das li 7. Buscando 'a' dentro de ul 8. Criando uma lista com o conteúdo ---------- **Update** para acessar as páginas de respostas for item in text_link: question, link = item print(question) print(link) answer_page = requests.get(link, headers=headers) answer_page.encoding = 'utf-8' soup = bs(answer_page.text, 'html.parser') ul = soup.find('ul', {'class':'square'}) li = ul.find_all('li') answer = [item.find('strong').text for item in li if item.find('strong')] print(''.join(answer))