Olá, pessoal. Estou tentando desenvolver um código que possibilite fazer um processamento paralelo de tratamento (parser) de arquivos HTML usando a Linguagem R e, consecutivamente, grave os dados extraídos do HTML no Banco de Dados do SQLite de forma serializada.
Para realizar o processamento paralelo, estou usando o pacote furrr
(esse pacote é similar ao purrr
, com foco em programação funcional, contudo, a sua vantagem é que ele permite a execução em paralelo (multi-thread) do script.
Já para fazer a conexão com o SQLite e enviar as querys, estou utilizando, respectivamente, o RSQLite
e o DBI
.
No código abaixo, a execução ocorre perfeitamente se coloco a função plan(sequential)
que estabelece uma execução serializada (no meu caso real, promoveria o tratamento dos arquivos HTML e a gravação no SQLite de forma serializada). Mas quando habilito o plan(multiprocess)
o script só executa cerca de 25% das gravações e retorna um erro:
Error in result_bind(res@ptr, params) : database is locked In addition: Warning message:
. Aparentemente, isso indica, ao meu ver, que algum processo (thread) deu erro após encontrar o SQLite bloqueado por outro processo (thread) em execução.
Na documentação do furrr
os "plan" podem ser configurados da seguinte forma:
# You set a "plan" for how the code should run. The easiest is 'multiprocess' # On Mac this picks plan(multicore) and on Windows this picks plan(multisession)
(link)
O DESAFIO: A minha ideia é que o tratamento dos arquivos HTML fosse realizado em paralelo e as gravações fossem feitas serializadas no SQLite, já que ele não permite gravações simultâneas. Creio que isso gerará ganhos de performance, sobretudo quando houver a necessidade de realizar tratamento (parser) de dados em HTML mais complexos que demoram de ser concluídas.
Alguns caminhos possíveis a ser pensado:
1) É preciso realizar alguma configuração nos parâmetros do RSQLite::SQLite()
, para solucionar o problema?
2) É necessário utilizar alguma função para tratamento de erro como a purrr::safely
durante a execução da função DBI::dbExecute
para que ela fique tentando executar a query no SQLite até conseguir? Ou purrr::safely
teria que ser usado durante a conexão do SQLite na função drive_sqlite()
?
3) Há alguma função do pacote DBI
que ajude a resolver esse problema?
4) Alguma tipo de cache no SQLite para que ele armazene as query recedidas do R e as execute de forma serializada? (link)
Já fiz várias tentativas e percorri caminhos diferentes... mas sem sucesso até agora. Alguns dos artigos que já consultei na internet (link1 , link2, link3, link4) .
library(furrr)
library(RSQLite)
library(DBI)
drive_sqlite <- function(){ DBI::dbConnect(RSQLite::SQLite(), dbname = "bd_teste.db") }
DBI::dbExecute(drive_sqlite(),"CREATE TABLE tabela_teste (coluna1 TEXT NOT NULL,
coluna2 TEXT NOT NULL,
coluna3 TEXT NOT NULL,
coluna4 TEXT NOT NULL);")
tabela_dados <- tibble::tibble(coluna1 = c(1:3000),
coluna2 = c(1:3000),
coluna3 = c(1:3000),
coluna4 = c(1:3000))
funcao <- function(coluna1, coluna2, coluna3, coluna4) {
DBI::dbExecute(drive_sqlite(), "INSERT INTO tabela_teste VALUES(:coluna1,
:coluna2,
:coluna3,
:coluna4);",
params = list(coluna1 = as.character(coluna1),
coluna2 = as.character(coluna2),
coluna3 = as.character(coluna3),
coluna4 = as.character(coluna4)))
DBI::dbDisconnect(drive_sqlite())
}
#plan(sequential)
plan(multiprocess)
#plan(multisession)
furrr::future_pmap(tabela_dados, funcao, .progress = TRUE)