0

Estou escrevendo um código em Python para raspar informações do Facebook. Gostaria de salvar essas informações em um arquivo no Google Drive, já que estou trabalhando com outras pessoas e usamos o Colaboratory.

Problema

O código não escreve o arquivo no Google Colab.

Código

import facebook_scraper
import pandas as pd
import csv
from facebook_scraper import get_posts

listaBibliotecas = ["bibliotecafoa"]

for biblioteca in listaBibliotecas:
  print("Biblioteca: " + biblioteca) 
for post in get_posts(biblioteca, pages=300):
  post['title'] = biblioteca
  print(post['title'])    
  print(post['post_id'])
  print(post['time'])
  print(post['text'])
  print(post['image'])
  print(post['video'])
  print(post['likes'])
  print(post['comments'])
  print(post['shares'])
  print(post['link'])

  data = [post['title'],post['post_id'], post['time'], post['text'], post['image'], post['video'], post['likes'], post['comments'], post['shares'], post['link']]
  df=pd.DataFrame(data)    
  
  with open("RedesBibliotecas.csv", "a", newline="", encoding="utf-8") as f:
    writer = csv.writer(f)
    writer.writerow(data)
 
from google.colab import drive
drive.mount ('/drive')
df.to.csv('/drive/My Drive/Colab Notebooks');

O que eu tentei

Segui o tutorial do Colab mas não funcionou. Já montei o drive com o código:

from google.colab import drive
drive.mount ('/drive')
df.to.csv('/drive/My Drive/Colab Notebooks');

Alguém sabe como resolver isso?

7
  • O que diz a mensagem de erro?
    – Lucas
    Commented 7/12/2020 às 12:31
  • esse Colab Notebooks está escrito assim mesmo. Com espaço? Se sim, tente salvar após a remoção do espaço
    – Lucas
    Commented 7/12/2020 às 13:04
  • @Lucas oi!! Não tem mensagem de erro, apenas não escreve o arquivo em csv. O programinha roda normal. Commented 7/12/2020 às 13:54
  • @Lucas Hey, obrigada por responder. É com espaço sim, tanto o My Drive quanto to Google Colab. Ao menos é assim que tá no próprio tutorial do Colab. Commented 7/12/2020 às 13:56
  • Você tem acesso ao terminal do google colab? Se sim, verifique se é possível transferir os arquivos da sua sessão para o Drive usando o comando gsutil. Leai sobre aquui: cloud.google.com/storage/docs/gsutil Em último caso, salve o arquivo no Google Storage e de lá envie para o Drive
    – Lucas
    Commented 7/12/2020 às 14:03

1 Resposta 1

1

A chamada ao "mount" faz o google drive ficar disponível para o programa em Python como se estivesse na pasta "/drive" (em Unix, ao contrário de Windows, diretórios não tem uma letra de drive antes - o "/" indica a raiz do sistema de arquivos, como se fosse "C:" em um Windows com uma única partição).

Aí, o conteúdo do seu google-drive está na pasta /drive/MyDrive (sem espaço entre "My" e "Drive").

O que significa que qualquer arquivo que você criar a partir da pasta /drive/MyDrive/ com o Python fica persistido no seu google-drive, e funciona como um arquivo normal em Python. O terceiro componente do caminho "Colab Notebooks" já seria uma pasta dentro do seu drive.

Então, se você colocou " " entre "My" e "Drive" e não deu erro, pode ser que o arquivo tenha ido parar em algum "limbo" no seu google-drive, que não pode ser acessado normalmente por que não está dentro do "MyDrive".

E, do jeito que você escreveu, de qualquer forma, o arquivo "csv" em si vai ficar com o nome "Colab Notebooks" (sem a extensão ".csv" - quando você cria um arquivo por meio de um programa de computador tem sempre que incluir a extensão> programas específicos como "word" ou "excel" sabem completar a extensão deles (docx, xlsx), mas justamente por que isso está programado neles).

Ainda há um outro erro no seu programa, que faria com que ele não pudesse rodar, mesmo que o resto funcione - o método do DataFrame para criar um arquivo CSV é to_csv, e não to.csv. Isso sozinho daria um erro, então estou estranhando então a sua informação de que "O programinha roda normal" como você escreveu no comentário - você esta realemente executando a célula com esse código apertando "shift + enter" (ou pelos menus Runtime/runall ?)

Resumindo, isso aqui deve funcionar:


...

from google.colab import drive
drive.mount ('/drive')
df.to_csv('/drive/MyDrive/meu_arquivo_csv.csv')

A primeira parte do programa também está errada - mesmo que a parte de coletar os dados do facbok esteja correta, e as impressões aparecendo, você está mandando o pyhton gravar dados direto, sem passar pelo Pandas, no arquivo "RedeBibliotecas.csv" - até aí tudo bem (esse arquivo deve ser visível pelo próprio script Python, dentro do ambiente do colab) - mas você cria um novo dataframe data para cada registro processado - o que vai chegar na hra de gravar o dataframe na última parte do programa é só o último registro.

2
  • Olá, @jsbueno! Primeiro, obrigada pela aula, isso já valeu a coragem de escrever aqui. Foi muto esclarecedor. Sim, o programa roda sem erros, ao menos a parte do scraping, mas na gravação, eu não consegui avançar. Consigo escrever o CSV usando o Visual Code e modificando o código para with open("20201202fbcode.csv", "a", newline="", encoding="utf-8") as f: writer = csv.writer(f) writer.writerow(data) Commented 7/12/2020 às 22:24
  • Eu estou recebendo um erro de falta de atribuição do dataframe df na última linha do código. Da sua resposta, não entendi o seguinte comentário "A primeira parte do programa também está errada - mesmo que a parte de coletar os dados do facbok esteja correta, e as impressões aparecendo, você está mandando o pyhton gravar dados direto, sem passar pelo Pandas, no arquivo "RedeBibliotecas.csv" - até aí tudo bem - mas você cria um novo dataframe data para cada registro processado - o que vai chegar na hra de gravar o dataframe na última parte do programa é só o último registro." Commented 7/12/2020 às 22:42

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .