10

Vou dar um exemplo para conseguir explicar minha duvida:

Preciso recuperar informação de imagens vindas de uma API, esse banco de imagens me retorna JSON's com informações das imagens que eu preciso, ao todo são 33 milhões de imagens e eu vou requisitar de 100 em 100 mil.

A estrutura de um JSON se eu requisitasse 2 imagens seria:

{
  "meta":{
  "limit":2,
  "offset":0,
  "total_count":33640457
},
"objects":[
  {
     "artist":"sunyyasyed",
     "grid_thumb_url":"http://grid.unlistedimages.com/64830460.jpg",
     "id":64830460,
     "image_name":"k13762459",
     "preview_url":"http://comps.unlistedimages.com/ulcomp/CSP/CSP992/k13762459.jpg",
     "ratio":0.8895689,
     "resource_uri":"/api/v1.0/image/64830460/",
     "subscription_allowed":true,
     "thumbnail_url":"http://photos.unlistedimages.com/thumbs/CSP/CSP992/k13762459.jpg",
     "title":"100 Business, Web, and Office Icons",
     "type":"PHOTO"
  },
  {
     "artist":"kevron2001",
     "grid_thumb_url":"http://grid.unlistedimages.com/62322357.jpg",
     "id":62322357,
     "image_name":"k10882629",
     "preview_url":"http://comps.unlistedimages.com/ulcomp/CSP/CSP990/k10882629.jpg",
     "ratio":1.25,
     "resource_uri":"/api/v1.0/image/62322357/",
     "subscription_allowed":true,
     "thumbnail_url":"http://photos.unlistedimages.com/thumbs/CSP/CSP990/k10882629.jpg",
     "title":"Sunset with open Bible",
     "type":"PHOTO"
  }
]
}

Cada bloco de imagem tem 13 linhas ou seja ao final o JSON terá ~1.300.000 linhas, existe um limite para gerar um arquivo JSON? pode ser que esse arquivo (com 43MB de texto) possa acarretar em problemas caso eu precise lê-lo

5
  • Dizer uma coisa, "paginação" é algo que vai além de páginas web, mesmo que o termo dê a entender isto, se você desenvolveu a API logo pode pensar em uma especie de controle de LIMIT via GET. Afinal não é só porque WebApis da vida usam urls bonitinhas que invalida o uso de querystring, algo como isto: /api/foo/bar e /api/foo/bar?pag=2 me parece uma ótima saída, e o resto você resolve na aplicação, criando um controle "sob demanda". Note que o LIMIT fica do lado do servidor da API.
    – Syzoth
    4/12/2017 às 16:06
  • @GuilhermeNascimento Existe o parâmetro de limite, tanto que no próprio JSON consta os valores, é que nesse caso como são 33milhões de imagens, iria demorar muito para retornar lotes pequenos por isso decidi 100mil por lote. Acabou durando 8 horas, foram 337 lotes com 100mil imagens cada, num total de 14GB de puro texto :D. 4/12/2017 às 16:27
  • Por isso que citei um sobre criar um controle sob demanda, o controle teria um timeout que iria somando a página atual, assim evitaria desgaste do servidor e desgaste da sua rede propria, claro que isso a nivel de produção. Mas é só sugestão mesmo.
    – Syzoth
    4/12/2017 às 16:29
  • Ahhhh, entendi o objetivo do comentário :D,essa API quem fez não fui eu, é de um distribuidor de imagens por isso não tenho esse controle, mas realmente eles não tem controle , fiquei 8 horas direto requisitando MUITA informação, e eu nem fui notificado 4/12/2017 às 16:45
  • Olá, o json teria um limite de 4mb, caso ultrapasse esse valor pode ser que você não consiga fazer o processo de serialização ou desserialização. ibm.com/docs/en/datapower-gateway/… 2/05/2022 às 19:58

1 Resposta 1

12

De forma geral não tem limite além do físico.

Os problemas que podem acarretar é não saber carregá-lo na memória por ser grande, se bem que 43MB para os dias de hoje é trocadinho e não costuma nem ter que tomar cuidados especiais. Se estiver usando um stream então ele deve controlar o acesso da melhor forma para não "engasopar"* a memória.

O que vai fazer com essas informações pode trazer algum problema específico. por exemplo, tentar ler todas as imagens constantes nele e deixar na memória.

Claro que se usar alguma ferramenta que tem algum limite, alguma dificuldade específica aí o problema é dela e não do JSON.


*Em época de injeção eletrônica e muitos jovens aqui, tem quem não saberá o que é isto, pesquise no contexto de motor :) (não é engazopar) O termo não é bem esse, mas fica mais engraçado assim)

Coloquei no GitHub para referência futura.

8
  • Meu receio é por isso tudo num StreamReader e por algum motivo crashar meu back-end sabe ? Mas pelo que você disse 43MB é trocadinho 30/11/2017 às 16:39
  • 1
    Por stream mesmo q vc tenha16MB de memória ñ vai dar problema na carga, aí só depende do seu algoritmo tratar os dados de forma certa.
    – Maniero
    30/11/2017 às 16:43
  • Ok, obrigado pela orientação +1 30/11/2017 às 16:47
  • 2
    Queria dar um +1 extra pela nostalgia. 1/12/2017 às 11:41
  • 1
    @LeonardoBonetti você é jovem, pesquise :)
    – Maniero
    1/12/2017 às 13:05

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .