1

Boa tarde a todos.

Estou estudando python e aprendendo a fazer extração de dados em sites e para dá início a esse aprendizado estou criando um programa que irá extrair os dados da lotofacil do site da caixa econômica e me retornar os valores sorteados em determinado concurso. Pelos exemplos que vi na internet, é possível fazer a busca pela e pelo ou <parâmetro>, no entanto, verifiquei que a página, da caixa, que possui todos os resultados por concurso não possui um , ou seja, só possuem o e dentro de uma tabela .

Já consegui extrair os dados de toda a linha de determinado concurso, no entanto, não estou conseguindo tratar os dados da linha e pegar somente: número do concurso e números sorteados. O meu código ele está mostrando todo os valores da linha.

Alguém poderia me dá uma luz?

import requests
from bs4 import BeautifulSoup

req = requests.get( "http://loterias.caixa.gov.br/wps/portal/loterias/landing/lotofacil/!ut/p/a1/04_Sj9CPykssy0xPLMnMz0vMAfGjzOLNDH0MPAzcDbz8vTxNDRy9_Y2NQ13CDA0sTIEKIoEKnN0dPUzMfQwMDEwsjAw8XZw8XMwtfQ0MPM2I02-AAzgaENIfrh-FqsQ9wBmoxN_FydLAGAgNTKEK8DkRrACPGwpyQyMMMj0VAcySpRM!/dl5/d5/L2dBISEvZ0FBIS9nQSEh/pw/Z7_HGK818G0K85260Q5OIRSC42046/res/id=historicoHTML/c=cacheLevelPage/=/" )
soup = BeautifulSoup( req.content, "html.parser" )

todas_linhas = soup.findAll("tr")

## LOCALIZA EM TODAS AS LINHAS 'td' O texto '2208', GUARDA DA VARIÁVEL temp ##
# A CONDIÇÃO if VERFICA NA VARIÁRIL temp E SÓ RETORNA OS VALORES QUE SÃO DIFERENTES DE None #

for tr in todas_linhas:
    temp = tr.find('td', text='2208')
    if temp != None:
        print (tr.text)

Espero que tenham entendido a minha dúvida e obrigado pela atenção.

2
  • Não seria print(temp.text)? Commented 18/04/2021 às 5:40
  • se eu printar essa variável temp.text.. ele só vai me retornar o valor: 2208 Commented 21/04/2021 às 0:36

2 Respostas 2

0

Cara, essa deu trabalho hein. kkkkkk.

Seu código está no caminho correto, o problema está na página que em algumas linhas foi adicionado uma nova tabela, por exemplo, coluna cidade além de algumas sujeirinhas na transformação de tag html para texto.

Segue a solução abaixo, transformando o retorno num dataframe, será perfeito para analises, filtros e gráficos se desejar.

Mais abaixo, um código exibindo linha por linha, veja que ele zera a contagem e trás sujeira de uma linha para outra.

import time
import requests
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np

url = "http://loterias.caixa.gov.br/wps/portal/loterias/landing/lotofacil/!ut/p/a1/04_Sj9CPykssy0xPLMnMz0vMAfGjzOLNDH0MPAzcDbz8vTxNDRy9_Y2NQ13CDA0sTIEKIoEKnN0dPUzMfQwMDEwsjAw8XZw8XMwtfQ0MPM2I02-AAzgaENIfrh-FqsQ9wBmoxN_FydLAGAgNTKEK8DkRrACPGwpyQyMMMj0VAcySpRM!/dl5/d5/L2dBISEvZ0FBIS9nQSEh/pw/Z7_HGK818G0K85260Q5OIRSC42046/res/id=historicoHTML/c=cacheLevelPage/=/"
req = requests.get(url)
soup = BeautifulSoup(req.content, "html.parser" )

todas_linhas = soup.findAll("tr")

lista = []
lista_aux = []
for x in todas_linhas:
    z = x.text
    i = 0
    linhas_validas = 'N'
    lista_aux = []

    #Transforma o texto em lista
    for xx in z.split('\n'):

        if i == 1 and xx != "":
            linhas_validas = 'S'

        if linhas_validas == 'S' and i >=1 and i<=17:
            lista_aux.append(xx)

        i += 1

    if linhas_validas == "S" and len(lista_aux) ==17:
        lista.append(lista_aux)

#Transformar lista em dataframe
df = pd.DataFrame(lista)

#Pega primeira linha
headers = df.iloc[0]

#Transforma linha em cabeçalho
df.columns = [headers]

#Apaga a primeira linha porque virou cabeçalho
df = df.iloc[1:]

#imprime os 10 primeiros registros
print(df.head(5).to_string())

#Imprime todo o dataframe
#print(df.to_string())

#Imprime a quantidade de linhas e colunas
print()
print('Linhas e Colunas Total:')
print(df.shape)

inserir a descrição da imagem aqui

import time
import requests
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np

url = "http://loterias.caixa.gov.br/wps/portal/loterias/landing/lotofacil/!ut/p/a1/04_Sj9CPykssy0xPLMnMz0vMAfGjzOLNDH0MPAzcDbz8vTxNDRy9_Y2NQ13CDA0sTIEKIoEKnN0dPUzMfQwMDEwsjAw8XZw8XMwtfQ0MPM2I02-AAzgaENIfrh-FqsQ9wBmoxN_FydLAGAgNTKEK8DkRrACPGwpyQyMMMj0VAcySpRM!/dl5/d5/L2dBISEvZ0FBIS9nQSEh/pw/Z7_HGK818G0K85260Q5OIRSC42046/res/id=historicoHTML/c=cacheLevelPage/=/"
req = requests.get(url)
soup = BeautifulSoup(req.content, "html.parser" )

todas_linhas = soup.findAll("tr")

for x in todas_linhas:
    z = x.text
    i = 0
    for xx in z.split('\n'):
        print(str(i)+" - "+str(xx))
        i += 1

inserir a descrição da imagem aqui

inserir a descrição da imagem aqui

Pesquisar o concurso

print()
print('Digite o Código do Concurso: ')
codigoConcurso = input()


df_desejado = df.iloc[[int(codigoConcurso)-1]]

print(df_desejado)

data = str(df_desejado.iloc[0][1])
bola1 = str(df_desejado.iloc[0][2])
bola2 = str(df_desejado.iloc[0][3])
#outras variaveis
bola15 = str(df_desejado.iloc[0][16])

print()
print('data: '+str(data))
print('bola 1: '+str(bola1))
print('bola 3: '+str(bola2))
print('bola 15: '+str(bola15))

inserir a descrição da imagem aqui

3
  • Valeu Gilmar, Eu estava tendo problemas para adicionar os resultado em listas, pois os '\n' estava indo junto e isso estava me aborrecendo.. Vou dá uma estudada no código para ver o que eu faço... Obrigado! Commented 21/04/2021 às 0:57
  • Agora tenho que ver como faço pra entrar com o valor do concurso ele ele me mostrar somente as bolas sorteadas. Commented 21/04/2021 às 1:00
  • De nada. Tá na mão, coloquei no final da postagem como consultar um concurso, só atualizar essa página que vc já deve vê
    – Gilmar Vaz
    Commented 21/04/2021 às 2:04
0

Obrigado por ajudar Gilmar Vaz. Agora vou estudar Interface gráfica para integrar ao código.

import time
import requests
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np

url ="http://loterias.caixa.gov.br/wps/portal/loterias/landing/lotofacil/!ut/p/a1/04_Sj9CPykssy0xPLMnMz0vMAfGjzOLNDH0MPAzcDbz8vTxNDRy9_Y2NQ13CDA0sTIEKIoEKnN0dPUzMfQwMDEwsjAw8XZw8XMwtfQ0MPM2I02-AAzgaENIfrh-FqsQ9wBmoxN_FydLAGAgNTKEK8DkRrACPGwpyQyMMMj0VAcySpRM!/dl5/d5/L2dBISEvZ0FBIS9nQSEh/pw/Z7_HGK818G0K85260Q5OIRSC42046/res/id=historicoHTML/c=cacheLevelPage/=/"
req = requests.get(url)
soup = BeautifulSoup(req.content, "html.parser" )

todas_linhas = soup.findAll("tr")

lista = []
lista_aux = []
resultado = []
for x in todas_linhas:
    z = x.text
    i = 0
    linhas_validas = 'N'
    lista_aux = []

    #Transforma o texto em lista
    for xx in z.split('\n'):

        if i == 1 and xx != "":
            linhas_validas = 'S'

        if linhas_validas == 'S' and i >=1 and i<=17:
            lista_aux.append(xx)

        i += 1

    if linhas_validas == "S" and len(lista_aux) ==17:
        lista.append(lista_aux)

#Transformar lista em dataframe
df = pd.DataFrame(lista)

#Pega primeira linha
headers = df.iloc[0]

#Transforma linha em cabeçalho
df.columns = [headers]

#Apaga a primeira linha porque virou cabeçalho
df = df.iloc[1:]

#imprime, por default, os 5 primeiros registros
#print(df.head().to_string())

#imprime, por default, os 5 últimos registros
print (df.tail().to_string())

#Imprime todo o dataframe
#print(df.to_string())

#Imprime a quantidade de linhas e colunas
print()
print('Linhas e Colunas Total:')
print(df.shape)

print()
print('Digite o Código do Concurso: ')
codigoConcurso = input()

df_desejado = df.iloc[[int(codigoConcurso)-1]]

print(df_desejado)

data = str(df_desejado.iloc[0][1])

print ('-')
resultadoString = (df_desejado.iloc[0][2:17].tolist())
# converter os valores String para int dentro da lista (resultado)
resultadoFinal = []
for i in resultadoString:
    resultadoFinal.append(int(i))
#print (resultadoFinal)
        
print()
print('data: '+str(data))

## Jogos feitos pelo usuário.
jogos = ([2,3,4,5,6,7,8,12,13,15,17,20,21,22,23], [5,6,7,8,9,10,11,12,16,17,19,20,22,23,24])
        
#---variáveis globoais-----#
contador = 0
pontos = 0

## Laço para conferir os 8 jogos feitos.
while (contador <= len(jogos)):
    for i in jogos[contador]:
        for j in resultadoFinal:
            if i == j:
                pontos += 1
    #totais.append(pontos)
    
    print("O jogo ", jogos[contador], " conseguiu ", pontos, " pontos!")
    pontos = 0
contador += 1

inserir a descrição da imagem aqui

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .