Preciso subir os dados de um arquivo csv em uma tabela no databricks mas estou tomando um erro. Segue meu código:
spark = SparkSession.builder.appName("LeituraCSV").getOrCreate()
caminho_arquivo_csv = "/FileStore/Contas_Accrual/categorias_diferimento_csv.csv"
dados_df = spark.read.csv(caminho_arquivo_csv, header=True, inferSchema=True)
dados_df.show()
nome_tabela = "Categorias de diferimento (teste)"
caminho_banco_de_dados = "dbfs:/user/hive/warehouse/sand_planejamento_dev.db/{sand_planejamento_dev}/{Categorias de diferimento (teste)}"
dados_df.write.format("delta").option("path",caminho_banco_de_dados).saveAsTable(nome_tabela)
spark.stop()
Esses são os dados mostrados:
+----------+
| Categoria|
+----------+
| 0LITIGATN|
| AGAUTIDED|
| AGAUTINVE|
| ALUGIMOV|
| ASSESTEC|
| ASSESTEC2|
| AUDITEXT|
| CAMPUBL|
| CONSFIN|
| CRDFINRA|
| CUSTBIOMA|
| CUSTTRANS|
| DEBENCUST|
| DESENVMAN|
|DESMANSERV|
| DESPBLOOM|
| DESPFINRA|
|DESPTECNOL|
| DESPUBL|
|DESPUBLPRO|
+----------+
only showing top 20 rows
E o erro é o seguinte:
[PARSE_SYNTAX_ERROR] Syntax error at or near 'de'.(line 1, pos 11)
== SQL ==
Categorias de diferimento (teste)
-----------^^^
Alguém sabe o que pode ser?