-1

Tenho uma imagem do Minio docker rodando na minha maquina e estou tentando acessar o arquivo csv pelo jupyter mas nao estou conseguindo. Estou usando o boto3

s3 = boto3.client('s3'
    ,endpoint_url = endpoint_url
    ,aws_access_key_id = ACCESS_KEY
    ,aws_secret_access_key = SECRET_KEY
   )

O que estou tentando fazer seria algo como df = spark.read.csv(s3+'/landing/olist_products_dataset.csv', header = True, encoding='UTF-8')

landing eh o nome do bucket e s3 é onde estao salvos os dados de acesso. O que estou fazendo errado?

Não sei se é possivel fazer dessa maneira ou se eu teria que fazer o download do arquivo que eu quero manipular para uma pasta fazer o que preciso fazer e subir o arquivo modificado/alterado para o minio novamente.

A razao que eu quero ler o arquivo do minio é para criar um dataframe e dele converter para parquet.

1 Resposta 1

0

Não sei se é o meio correto, mas acabei resolvendo meu problema assim.

criei uma pasta temp onde eu faco o download do arquivo para que eu quero manipular para essa pasta.

client.fget_object(
   obj.bucket_name,
   obj.object_name,
   'temp/'+obj.object_name,
)

Depois que eu tenho esse arquivo na pasta, dai faco as modificacoes que vejo neessarias, converto em parquet e faco upload para outra pasta.

client.fput_object("bucket",filenamemod.parquet,"parquet_saved/filenamemod.parquet")

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .