Tenho uma imagem do Minio docker rodando na minha maquina e estou tentando acessar o arquivo csv pelo jupyter mas nao estou conseguindo. Estou usando o boto3
s3 = boto3.client('s3'
,endpoint_url = endpoint_url
,aws_access_key_id = ACCESS_KEY
,aws_secret_access_key = SECRET_KEY
)
O que estou tentando fazer seria algo como df = spark.read.csv(s3+'/landing/olist_products_dataset.csv', header = True, encoding='UTF-8')
landing eh o nome do bucket e s3 é onde estao salvos os dados de acesso. O que estou fazendo errado?
Não sei se é possivel fazer dessa maneira ou se eu teria que fazer o download do arquivo que eu quero manipular para uma pasta fazer o que preciso fazer e subir o arquivo modificado/alterado para o minio novamente.
A razao que eu quero ler o arquivo do minio é para criar um dataframe e dele converter para parquet.