Prazados,
Estou atuando em um projeto particular no qual quero fazer um ETL com Python e PostgreSQL. Idealizei consumir uma API GET usando request, persistir esses dados em um Dataframe e após isso, persistir os dados (sem tratar) em uma tabela existente no PostgreSQL. Estou usandod python 3.7.4
Segue script usado:
import requests
import pandas as pd
import urllib, json
from sqlalchemy import create_engine
engine = create_engine('postgresql://sa:123@localhost:5432/db')
with urllib.request.urlopen("URL QUE VOU CONSUMIR") as url:
data = json.loads(url.read().decode())
df = pd.DataFrame(data)
newdf = pd.DataFrame(df, columns = ['<column_name1>,<column_name2>, ...'])
newdf.to_sql('<table_name>', con=engine, if_exists='append')
O problema atual é persistir os dados em uma tabela no PostgreSQL, tendo em vista que possuo os dados no DataFrame.
Alguém pode me ajudar?