1

Então, estou em um projeto que preciso guardar uma grande massa de dados vindo de uma api json no SQLite do android, algo em torno de 20 mil registros, para poder trabalhar offline sem problemas.

Só que a sincronização dessa massa de dados está demorando muito tempo no aplicativo, cerca de uns 10 a 15 min. E fica totalmente inviavel de o usuário ficar esperando esse tempo todo para download dos dados.

Cheguei a dar uma olhada também no couchbase lite.

Minha pergunta é, O sqlite trabalha bem com uma grande quantidade de registros? Se sim, teria uma forma diminuir o tempo de sincronia dos dados para poder usar o sqlite? Como salvar o json inteiro dentro do couchbase.


Editado

Fonte do parsejson e insert no banco

final DBController sett = new DBController(getBaseContext());
Calendar c = Calendar.getInstance();
SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

final String formattedDate = df.format(c.getTime());

RequestQueue queue = Volley.newRequestQueue(this);
JsonObjectRequest jsonObjReq = new JsonObjectRequest(Request.Method.GET, url, null, new Response.Listener<JSONObject>() {
    @Override
    public void onResponse(JSONObject response) {
        try {
            JSONObject json = response.getJSONObject("DATA");
            Iterator keys = json.keys();

            while(keys.hasNext()) {
                String currentDynamicKey = (String)keys.next();
                if (!currentDynamicKey.equals("SYSTEM") && !currentDynamicKey.equals("SA3")) {
                    JSONObject currentDynamicValue = json.getJSONObject(currentDynamicKey);

                    JSONArray records = currentDynamicValue.getJSONArray("RECORD");
                    JSONArray dbo = (JSONArray) currentDynamicValue.getJSONObject("SETTINGS").get("DBO");
                    String createTable = dbo.getString(0).toString();

                    createTable = createTable.replace("\u0000", "");
                    createTable = createTable.replace("\\u0000", "");

                    sett.dropTable(currentDynamicKey);
                    sett.createTable(createTable);

                    for(int i=0; i < records.length(); i++) {
                        JSONObject jsonOBject = records.getJSONObject(i);
                        Map<String, String> dataArray = new HashMap<String, String>(jsonOBject.length());

                        for (int x=0; x < jsonOBject.length(); x++) {
                            String key = jsonOBject.names().getString(x).toString();
                            String value = jsonOBject.getString(key).toString();

                            dataArray.put(key, value);
                        }

                        sett.insertDataHash(currentDynamicKey, dataArray);
                    }
                }
            }
        } catch (JSONException e) {
            e.printStackTrace();
            Log.e("---[Erro no sync]---", e.getMessage());
        }
    }
}, new Response.ErrorListener() {
    @Override
    public void onErrorResponse(VolleyError error) {
        Log.d("---[Volley]---", "Error: " + error.getMessage());
        hidepDialog();
    }
}){
    @Override
    public Map<String, String> getHeaders() throws AuthFailureError {
        HashMap<String, String> headers = new HashMap<String, String>();
        headers.put("Accept", "application/json");
        headers.put("Content-type", "application/json");
        headers.put("Token", appToken);
        headers.put("DateTime", formattedDate);
        headers.put("Mac", deviceMac);
        headers.put("user", user);
        return headers;
    }
};
queue.add(jsonObjReq);

Json

{
  "RET": true,
  "DATA": {
    "SYSTEM": {
      "SYNC": true
    },
    "TABELA1": {
      "RECORD": [
        {
          "CAMPO1": "AAAAA",
          "CAMPO2": "00000",
          "CAMPO3": "AAA00"
        },
        {
          "CAMPO1": "BBBBBB",
          "CAMPO2": "111111",
          "CAMPO3": "BBB111"
        },
      ]
    },
    "TABELA2": {
      "RECORD": [
        {
          "CAMPO1": "CCCCCC",
          "CAMPO2": "000000",
          "CAMPO3": "CCCC00"
        },
        {
          "CAMPO1": "DDDDDD",
          "CAMPO2": "222222",
          "CAMPO3": "DDD222"
        },
      ]
    }    
  }
}
10
  • O que afeta também é como tu transforma o JSON para o SQL... uso SQL lite.. faço a importação de 8 mil registros e não demora 1 minuto.. Commented 11/10/2016 às 15:12
  • cara, 20000 registros é fichinha pro sqlite, agora uma pergunta, se você já tem os dados em formato json, pra que que voce vai passar pro sqlite se voce pode muito bem trabalhar com o proprio json da mesma forma? Commented 11/10/2016 às 15:14
  • O que demora é salvar no banco SQLite ou baixar os dados?
    – LeoSantana
    Commented 11/10/2016 às 15:16
  • 1
    A demora é na hora de salvar no banco, baixar é rapido Commented 11/10/2016 às 15:28
  • Como é uma quantidade muito grande de dados, daria também para você criar um arquivo .db usando o json e salvar esse arquivo dentro do app. Desta forma, você pode salvar no sqlite por demanda.
    – viana
    Commented 11/10/2016 às 15:47

2 Respostas 2

2

Atualmente trabalho em um projeto onde temos duas tabelas com nada mais nada menos que 200mil registros em uma e 2,5 milhões em outra. Isso mesmo, milhões. No meu caso, o usuário faz uma "carga inicial" antes de sair para os trabalhos em campo. Esta carga é feita via Wi-Fi da seguinte forma: efetuo as consultas ao banco de dados oracle, salvo o resultado em arquivos csv, em seguida utilizo o comando "import" do sqlite para importar o csv para o banco sqlite (https://www.sqlite.org/cvstrac/wiki?p=ImportingFiles). Após a importação dos dados, efetuo o upload do banco para o Android (processo normal de serialização e upload). Já no Android a performance mesmo com esta massa de dados não é prejudicada de forma alguma.

2
  • Certo, gostei da ideia, fiz uma alteração na rotina, que eu baixo todo o json da api para um arquivo tmp e depois trabalho em cima deste arquivo, será que consigo fazer algo parecido com isso? Commented 13/10/2016 às 11:37
  • E pra complementar, o meu caso é o mesmo, o usuário vai dar uma carga inicial dos dados para poder trabalhar offline. Commented 13/10/2016 às 11:38
2

Consegui resolver o problema da lentidão alterando a api, agora ao invés de trazer os campos e montar o insert no device, já trago da api o insert pronto para executar no SQLite do device. A sincronização caiu para 30 seg.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .