2

Dentro desta URL, tem vários links , tenho que pegar os links referentes ao mês de junho de 2017, fazer download deles e criar um dataframe com todos os arquivos em um só. Porém travei aqui nesta parte, como posso fazer isso? Estou tentando usar a biblioteca urllib, porém sem sucesso.

import urllib
from bs4 import BeautifulSoup
from urllib.request import urlopen, urlretrieve

url = 'https://s3.amazonaws.com/video.udacity-data.com/topher/2018/November/5bf32290_turnstile/turnstile.html'

#Criação da variável page com URL no método request.get
page = requests.get(url)

#coleta,analisa e configura como um objeto BeautifulSoup
soup = BeautifulSoup(page.text,'html.parser')
links = soup.find_all('a')

#retorna os todos os links do Junho de 2017 da página

totalArquivos = 0
for link in links:
    href= link.get('href')
    if href != None and '1706' in href:
        totalArquivos += 1

print(totalArquivos)

2 Respostas 2

2

Resposta atualizada:21/05/19

url = 'https://s3.amazonaws.com/video.udacity-data.com/topher/2018/November/5bf32290_turnstile/turnstile.html'

#Este método retorna um objeto Response  
page = requests.get(url)
if req.status_code == 200:
    print('Requisição bem sucedida!!!')
    content = page.content
else:
    print("ATENÇÃO ERRO DO TIPO:",page)

#aqui usamos o método soup 
soup = BeautifulSoup(page.content,'html.parser')

links = soup.find_all('a')
totalArquivos = 0
for link in links:
    href= link.get('href')
    if href != None and '1706' in href:
        totalArquivos += 1


#Realizando o download dos arquivo

    insira o código aqui
        filename = href.rsplit('/', 1)[-1]
        print("Iniciando o download do arquivo %s" %(filename))   
        print("Foi baixados o %s" %(totalArquivos),"arquivo")
        urlretrieve(url, filename) 
2
  • Muito obrigado pelo Feedback! Caso a minha resposta tenha lhe ajudado com a sua pergunta, marque-a como correta. Recomendo dar uma lida na nossa Central de Ajuda, sobre Como fazer uma boa pergunta. Após isso, por favor, faça uma nova pergunta com essa dúvida e delete esta resposta. Nossa filosofia é limitar uma pergunta à um só escopo.
    – Breno
    Commented 16/05/2019 às 11:16
  • No caso, você deveria imprimir a variável href, ou adicionar os links (hrefs) numa lista.
    – Breno
    Commented 16/05/2019 às 11:18
1

Você não está utilizando urllib, pelo menos não na prática. Você apenas o importou e não vi utilização dele em código algum do programa. Pelo contrário, vi um código escrito

requests.get(url)

Que significa que você está tentando usar o módulo requests. No caso, modificando levemente o código consegui executá-lo sem problemas.

Eu apenas apaguei os imports do urllib e importei o módulo requests:

from bs4 import BeautifulSoup
import requests

url = 'https://s3.amazonaws.com/video.udacity-data.com/topher/2018/November/5bf32290_turnstile/turnstile.html'

#Criação da variável page com URL no método request.get
page = requests.get(url)

#coleta,analisa e configura como um objeto BeautifulSoup
soup = BeautifulSoup(page.text,'html.parser')
links = soup.find_all('a')

#retorna os todos os links do Junho de 2017 da página

totalArquivos = 0
for link in links:
    href= link.get('href')
    if href != None and '1706' in href:
        totalArquivos += 1

print(totalArquivos)


Com o urllib:

Para utilizar o módulo que você já está tentando usar, você pode usar apenas a função open() (a qual você já está importando) e ler a resposta com o método .read(). Para isso, do seu código original, modifiquemos apenas algumas linhas:

Isto

page = requests.get(url)

se torna isto

page = urlopen(url)

E no no lugar no page.text (que é do requests também) você deve utilizar page.read(). Ou seja:

soup = BeautifulSoup(page.read(),'html.parser')
1
  • Você copiou de algum lugar?
    – Breno
    Commented 16/05/2019 às 1:29

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .