0

Olá,

Estou tentando retornar a lista de link encontrados no HTML com o script python abaixo. Quando executo na IDE do Python, o resultado retorna todas as ocorrências encontradas. Quando executo no Power Bi Desktop, o resultado retorna apenas 1 linha.

Script:

import requests
from bs4 import BeautifulSoup
import pandas as pd

req = requests.get("https://python.org")
html = req.text
soup = BeautifulSoup(html, 'html.parser')
for lnk in soup.select('link'):
    l = lnk.get('href')
    if len(l) > 0:
        base = pd.DataFrame({'link':[l]}, index=['link'])

Resultado no Power BI

Resultado no Power Bi

Resultado na IDE do Python

Resultado na IDE do Python

Minha pergunta é: o script tem que ser modificado para trazer os resultados pela Power Bi? No Power Bi, o loop "for" não funciona como na IDE ?

1 Resposta 1

1

Oi, Carine

O erro nesse caso é que você está confundindo print com return.

O Power BI só consegue ver os dados se você envia pra ele o DataFrame, e no seu caso você está criando um df dentro do loop, isso significa que cada vez que o loop roda ele zera o df e cria um novo com uma linha, por isso seu resultado.

Pra corrigir você pode criar um dataframe fora do loop e dar um append dentro do loop

import requests
from bs4 import BeautifulSoup
import pandas as pd
base_total = pd.DataFrame()
req = requests.get("https://python.org")
html = req.text
soup = BeautifulSoup(html, 'html.parser')

for lnk in soup.select('link'):
    l = lnk.get('href')
    if len(l) > 0:
        base = pd.DataFrame({'link':[l]}, index=['link'])
        base_total = base_total.append(base)

Se você quiser dá pra resolver até de outros jeitos mais simples

import requests
from bs4 import BeautifulSoup
import pandas as pd
req   = requests.get("https://python.org")
html  = req.text
soup  = BeautifulSoup(html, 'html.parser')
links = [l.get('href') for l in soup.select('link')]
base  = pd.DataFrame({"links":links})
1
  • 1
    Muito obrigado @Bruno Rodrigues Silva. Funcionou corretamente com a sua dica para colocar o dataframe fora do loop. Estou iniciado no power BI e python. 23/06/2020 às 17:18

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .