3

Tenho um loop fazendo o insert sequencial de milhões de linhas em uma única tabela MySql.

Gostaria de saber se é possível paralelizar o insert ou utilizar algum recurso que aumente o desempenho da inserção.

Código:

 public static java.sql.Connection getConexaoMySQL() {       
    //atributo do tipo Connection 
    try { 
        String driverName = "com.mysql.jdbc.Driver"; 
        Class.forName(driverName);  
        String serverName = "localhost";  
        String mydatabase ="tweets"; 
        String url = "jdbc:mysql://" + serverName + "/" + mydatabase; String username = "root";  
        String password = "admin";  
        connection = DriverManager.getConnection(url, username, password); 
        if (connection != null) { 
            status = ("Banco de Dados--->Conectado com sucesso!"); 
        } 
        else { 
            status = ("Banco de Dados--->Não foi possivel realizar conexão"); 
        } 
        return connection; 
    } 
    catch (ClassNotFoundException e) 
    { 
        System.out.println("O driver expecificado nao foi encontrado."); 
        return null; 
    } catch (SQLException e) {  
        System.out.println("Nao foi possivel conectar ao Banco de Dados."); 
        return null; 
    } 
} 

public static void insert(List<TweetsDB> list){
    for (TweetsDB x : list) { 

        preparedStmt.setString (1, x.getCandidate);
        preparedStmt.setString (2, x.getIDTweet);
        preparedStmt.setString (3, x.getIDUser);
        preparedStmt.setString (4, x.getUserScreenName);
        preparedStmt.setString (5, x.getUserName);
        preparedStmt.setString (6, x.getRetweets);
        preparedStmt.setTimestamp(7, x.getDate);
        preparedStmt.setString (8, x.getText);
        preparedStmt.setString (9, x.getHashtags);

        // execute the preparedstatement
        preparedStmt.execute();
    }   
}
3
  • Estou sem MySQL aqui para testar e gerar uma resposta detalhada para você, mas algumas alternativas são: usar INSERT... ON DUPLICATE KEY UPDATE; LOAD DATA INFILE(dados de um arquivo, por exemplo. É o bulk copy); e addBatch, executando-o depois. Necessariamente precisa ser usando JDBC/JPA ou tu pode chamar na linha de comando, por exemplo? 15/09/2015 às 23:18
  • Como o Bruno comentou, costumo resolver esses problemas (principalmente quando a questão é levar dados através de planilhas/flat file, por exemplo) usando LOCAL DATA INFILE. 15/09/2015 às 23:58
  • Estou justamente lendo de um arquivo .csv e gravando na tabela. Também estou tentando importar usando o LOCAL DATA INFILE ou pelo Workbench. Mas não estou conseguindo importar certinho os dados em cada coluna. Exemplo do .csv: goo.gl/Fa3Fij 16/09/2015 às 0:19

2 Respostas 2

2

Se você tem um looping e está utilizando java pode separar a tarefa em threads de acordo com a quantidade do pool de conexões que voce pode utilizar no banco de dados.

Se você precisa armazenar o status de cada insert essa e a melhor opção.

Mas se garante que não existem erros além do uso de threads você pode criar uma espécie de buffer que envia de cada vez 10k inserts...


Primeiro rode a query SHOW VARIABLES;

Procure a variavel de limite de conexões, deve ser max_connections

Esse é o limite de conexões que o banco de dados pode lidar ao mesmo tempo.


Após isso implemente as threads no seu código java

final int maxPool = 150;


public void executa(){
    final List<List<String>> listaTodosInserts = divideInserts(maxPool, "arquivoCSV");

    for (List<String> listaInserts : listaTodosInserts ){
        insert(listaInserts);
    }
}


public void insert(final List<String> listaInserts){
    new Thread() {
       public void run() {

           for (String insert : listaInserts){
               // preparedStmt.execute(insert);
           }
       }
    }.start();      
}
7
  • Editei minha pergunta com o código. Você sabe como eu poderia implementar essas threads? 16/09/2015 às 0:25
  • Entendi, no caso em cada rotina eu tenho que fazer uma conexão diferente que corresponderá à thread. Certo? São possíveis 151 conexões. 16/09/2015 às 0:48
  • Exatamente. você pode criar um método que crie uma nova thread. e passar por parâmetro os registros que você quer executar. vou tentar bolar um exemplo. 16/09/2015 às 0:54
  • Será se tem como acompanhar o processamento de cada thread em um console diferente no Eclipse? 16/09/2015 às 1:06
  • Se você utilizar o Log4j poderá salvar o processo em arquivos diferentes; 16/09/2015 às 1:14
0

Por meio de Batch e mais rápido pois vc não fica chamando execute dentro do for em cada iteração, e sim o preparedStatement.addBatch(); e apos o for:

  preparedStatement = conn.prepareStatement(comandoSQL);
    for(ProdutoPrecoVenda produtoPrecoVenda: produto.getProdutosPrecoVenda()) {

        preparedStatement.setQueryTimeout(30);
        preparedStatement.setLong(1, produtoPrecoVenda.getTabelaPreco().getId()); 
//id tabela de preco
        preparedStatement.setLong(2, produto.getId()); //id produto

        preparedStatement.addBatch();

    }
   try {
        preparedStatement.executeBatch();
        preparedStatement.clearBatch();
    } catch (Exception e) {
        System.out.println("ERRO INCLUIR PRODUTO PRECO VENDA:" + produto.getCodigoPrincipal());
        throw e;
    }finally {
        preparedStatement.close();
    }

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .