1

Olá, pessoal. Estou tentando desenvolver um código que possibilite fazer um processamento paralelo de tratamento (parser) de arquivos HTML usando a Linguagem R e, consecutivamente, grave os dados extraídos do HTML no Banco de Dados do SQLite de forma serializada.

Para realizar o processamento paralelo, estou usando o pacote furrr (esse pacote é similar ao purrr, com foco em programação funcional, contudo, a sua vantagem é que ele permite a execução em paralelo (multi-thread) do script. Já para fazer a conexão com o SQLite e enviar as querys, estou utilizando, respectivamente, o RSQLitee o DBI.

No código abaixo, a execução ocorre perfeitamente se coloco a função plan(sequential) que estabelece uma execução serializada (no meu caso real, promoveria o tratamento dos arquivos HTML e a gravação no SQLite de forma serializada). Mas quando habilito o plan(multiprocess)o script só executa cerca de 25% das gravações e retorna um erro: Error in result_bind(res@ptr, params) : database is locked In addition: Warning message: . Aparentemente, isso indica, ao meu ver, que algum processo (thread) deu erro após encontrar o SQLite bloqueado por outro processo (thread) em execução.

Na documentação do furrros "plan" podem ser configurados da seguinte forma: # You set a "plan" for how the code should run. The easiest is 'multiprocess' # On Mac this picks plan(multicore) and on Windows this picks plan(multisession) (link)

O DESAFIO: A minha ideia é que o tratamento dos arquivos HTML fosse realizado em paralelo e as gravações fossem feitas serializadas no SQLite, já que ele não permite gravações simultâneas. Creio que isso gerará ganhos de performance, sobretudo quando houver a necessidade de realizar tratamento (parser) de dados em HTML mais complexos que demoram de ser concluídas.

Alguns caminhos possíveis a ser pensado:

1) É preciso realizar alguma configuração nos parâmetros do RSQLite::SQLite(), para solucionar o problema?

2) É necessário utilizar alguma função para tratamento de erro como a purrr::safely durante a execução da função DBI::dbExecute para que ela fique tentando executar a query no SQLite até conseguir? Ou purrr::safely teria que ser usado durante a conexão do SQLite na função drive_sqlite()?

3) Há alguma função do pacote DBIque ajude a resolver esse problema?

4) Alguma tipo de cache no SQLite para que ele armazene as query recedidas do R e as execute de forma serializada? (link)

Já fiz várias tentativas e percorri caminhos diferentes... mas sem sucesso até agora. Alguns dos artigos que já consultei na internet (link1 , link2, link3, link4) .

library(furrr)
library(RSQLite)
library(DBI)

drive_sqlite <- function(){ DBI::dbConnect(RSQLite::SQLite(), dbname = "bd_teste.db") }

DBI::dbExecute(drive_sqlite(),"CREATE TABLE tabela_teste (coluna1  TEXT NOT NULL,
                                                          coluna2  TEXT NOT NULL,
                                                          coluna3  TEXT NOT NULL,
                                                          coluna4  TEXT NOT NULL);")

tabela_dados <- tibble::tibble(coluna1 = c(1:3000),
                               coluna2 = c(1:3000),
                               coluna3 = c(1:3000),
                               coluna4 = c(1:3000))

funcao <- function(coluna1, coluna2, coluna3, coluna4) { 

            DBI::dbExecute(drive_sqlite(), "INSERT INTO tabela_teste VALUES(:coluna1,
                                                                            :coluna2,
                                                                            :coluna3,
                                                                            :coluna4);",
                                         params = list(coluna1 = as.character(coluna1),
                                                       coluna2 = as.character(coluna2),
                                                       coluna3 = as.character(coluna3),
                                                       coluna4 = as.character(coluna4)))

            DBI::dbDisconnect(drive_sqlite())

}

#plan(sequential)

plan(multiprocess)

#plan(multisession)

furrr::future_pmap(tabela_dados, funcao, .progress = TRUE)

1 Resposta 1

0

Meu caro @GeorgeSantiago seu problema é insolúvel, infelizmente. Isso se deve a implementação do SQLite. O SQLite não é um sistema de gerenciamento de banco de dados que permita que os múltiplos processos escrevam ao mesmo tempo. Veja que o seu erro

Error in result_bind(res@ptr, params) : database is locked In

diz exatamente isso, isto é, database is locked. Só para te confirmar o que eu estou falando veja uma das perguntas da FAQ do SQLite:

(5) Can multiple applications or multiple instances of the same application access a single database file at the same time?

Multiple processes can have the same database open at the same time. Multiple processes can be doing a SELECT at the same time. But only one process can be making changes to the database at any moment in time

ou traduzindo: somente um processo por vez consegue alterar a base de dados.

QUAL É A SOLUÇÃO ENTÃO?

Eu não testei o seu script mas com certeza se você utilizar um sistema de gerenciamento de banco de dados mais robusto, feito para ser usado em produção com múltiplos processos, você vai conseguir fácil fazer o que você quer sem bugs. Você pode usar o MySQL, o MariaDB, o PostgreSQL e etc. O meu preferido é o Postgres disparado, o que sugiro para você utilizar.

3
  • Olá, Flavio. Obrigado por responder. Contudo, cheguei a uma solução razoável. Coloquei um loop While e usei a função purrr::safely . Com isso, consegui fazer o que pretendia. No caso, quando um nó em paralelo tenta escrever no SQLite enquanto outro nó está escrevendo... o loop While junto com a função purrr::safely fica tentando até que o SQLite seja liberado... Foi um arranjo que fiz para não interromper o processo de execução dos nós com erros. Commented 11/04/2019 às 12:40
  • Legal, mas veja que de fato você continua com o mesmo problema. No fim das contas o que você fez foi evitar as "colisões" fazendo o script repetir a tentativa de escrita com o safely. Eu sugeriria você aceitar a resposta pois essa é uma confusão comum no uso do SQLite. Veja que o problema não é do seu script, mas o fato de você tentar utilizar um recurso que não existe no SQLite e que é amplamente disponível nos outros programas similares. Commented 11/04/2019 às 12:45
  • Outro ponto que eu queria salientar é que o remendo com o safely reduz bastante o desempenho da gravação. Apesar de seu processamento ser paralelo a gravação acaba sendo um gargalo tal que nem adianta os processos trabalharem em paralelo pois não conseguem finalizar o processo pois tem de esperar o outro terminar de gravar. E a solução na verdade é bem simples: basta usar um Postgres da vida que tem esse recurso ;-) Commented 11/04/2019 às 12:48

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .