4

Requisito funcional

Eu possuo dispositivos. Cada dispositivo, a grosso modo, possui seu identificador único, um endereço IP, e um tipo.

Eu tenho uma rotina de pings para todo dispositivo que possui um endereço ip. Essa rotina nada mais é que um executável C#, que roda de 3 em 3 minutos e que tenta pingar o tal endereço IP do dispositivo.

O resultado do ping eu preciso guardar no banco de dados, bem como a data da verificação (independente do resultado do ping).

Parte Técnica:

Supondo que meu processo de ping e estruturação de banco esteja pronta a partir do dia 01/06/2016, eu preciso fazer duas coisas:

  • Extração diária (que seja uma tabela alimentada)
  • Extração em tempo real (ultimas 24 horas)

Ambas devem me retornar a mesma coisa:

  • Dispositivos que estão indisponíveis há mais de 24 horas.
  • Dispositivos que estão indisponíveis há mais de 7 dias.

Entende-se por indisponível o dispositivo que ao ser pingado, não respondeu o ping.

Entende-se por disponível o dispositivo que ao ser pingado, respondeu o ping com sucesso.

O que eu tenho hoje e funciona muito mal:

Uma tabela historico_disponibilidade, com a seguinte estrutura:

create table historico_disponibilidade (id_dispositivo number, respondeu number, data date);

Essa tabela possui grande quantidade de dados (hoje conta com 60 milhões, porém a tendência é crescer sempre exponencialmente)

As perguntas:

  • Como atingir tais objetivos sem esbarrar em problemas de lentidão em queries?
  • Como criar uma estrutura de tabela(s) que esteja preparada para receber milhões/bilhões de registros dentro do meu universo corporativo?
3
  • Eu trabalhei em um sistema onde uma unica tabela tinha 40gigas de dados (BD Oracle), os SELECTs nela era tão rápidos quanto uma tabela menor, isso porque usava os índices corretos. A estrutura dessa sua tabela está boa, você não colocou os indices, mas se o id_dispositivo é a chave e você quiser pegar um range de datas ali então terá problemas de performance. Se no seu ambiente você puder simular um tabela grande dessas em homologação vale a pena para você ter a experiencia de como funcionara.
    – Ricardo
    Commented 24/05/2016 às 15:03
  • @Ricardo, onde você acredita que o index deveria existir? Sim, eu preciso pegar por um range de datas e um por id_dispositivo também. Commented 24/05/2016 às 15:16
  • Então, nas tabelas de log que eu usava a gente só tinha um index na data do registro, mais nada, o index é uma nova tabela com aquela coluna, gasta espaço, e existem muitas, mas muitas tabelas. Os selects no log sempre era rodados com data para ele usar o index. Na manutenção era rodados uns 10 logs por dia, não era muita coisa, acho que vai depender de quanto espaço vc pode ter e quantas consultas você via querer, acho que um index na data resolveria no seu caso. Esses dados serão exibidos em tela para usuário?
    – Ricardo
    Commented 24/05/2016 às 15:57

1 Resposta 1

2

O problema não parece ser exponencial ou polinomial. Há alguns que são, aí não teria muito o que fazer. Se há uma implementação exponencial ou polinomial, tem que resolver isso, mas a pergunta não deixa claro como está sendo feito, me parece que nem é o caso.

O volume de linhas em uma tabela deve afetar muito pouco a performance de queries, desde que tenha os índices necessários e as próprias consultas não façam coisas muito esquisitas.

Mesmo que afete, a solução seria apagar os dados que não precisa mais. Se necessitar manter os dados apenas para efeitos históricos e não precisar mais manter consultas nos dados antigos (pelo menos não com frequência) a solução é ter uma tabela auxiliar que funcionaria como arquivo morto. Haveria uma transferência da tabela normal para essa de arquivo morto. Aparentemente só precisa manter os últimos 7 dias. Acho que nem preciso dizer que esta transferência pode ser automatizada. É possível usar ranges de dados para particionar as tabelas, mas não sei como isto funciona no Oracle.

Todos os bons bancos de dados do mercado, principalmente o Oracle, estão preparados para trabalhar com bilhões de linhas sem problemas. Se tiver um problema específico em uma query e não estiver achando uma solução (provavelmente com índice) aí vale postar em uma pergunta específica.

Note que a tabela é tão simples que não tem mais o que simplificar. A não ser que tenha coisas ocultas na pergunta.

Fico pensando se a rotina toda está errada. Me parece esquisito fazer o que está sendo feito, acho que é a solução certa para o problema errado, mas não vou entrar no mérito.

Coloquei no GitHub para referência futura.

5
  • Também pensei em expurgar esses dados, big... mas assim, supondo que a mesma estrutura seja mantida, você acha que com uma indexação correta o problema seja "resolvido"? Commented 24/05/2016 às 15:17
  • Você não diz que tem algum problema, pelo menos não especifica ele. Se tem, a indexação correta (adequada à query que também deve ser correta) deve resolver. Sem indexação é possível que tenha que pesquisar bilhões de linhas, com o índice, a busca se limitará a 1 ou 2 dezenas de linhas. É brutal assim. Experimenta buscar uma palavra em dicionário uma por uma, ou considerando sua inexação natural. pt.stackoverflow.com/q/35088/101, pt.stackoverflow.com/q/55118/101, pt.stackoverflow.com/q/32052/101
    – Maniero
    Commented 24/05/2016 às 15:53
  • 1
    Pensou em algo do tipo , so gravar se o ping anterior for diferente , se foi ok e o anterior foi erro ou vice-versa, assim não preciso ter 20 x 24 pings por dia se o ip fiou no ar , poderia ter uma checagem também do primeiro ping do dia ser registrado apenas para verificar se o programa automática está sendo executado, Não vejo sentido na redundância de informação.
    – Motta
    Commented 24/05/2016 às 18:38
  • @Motta de fato se ele não precisar nunca da informação do dia todo poderia fazer isto pra economizar espaço. Não sei se não precisaria de algum relatório mais analítico, se precisar e não tiver a informação, lascou. Aí depende dele decidir se pode contar com isto ou não.
    – Maniero
    Commented 24/05/2016 às 19:31
  • @bigown , o problema parece saber o tempo que o ip "ficou fora", o único perigo é o programa de ping para por algum motivo é passar em branco , por isto talvez gravar uma primeira operaçao do dia (se situação do ping ou data diferem da ultima gravada >> grava senão >> nao grava) , troca-se 480 marcações dia por uma na situação normal , ip no ar.
    – Motta
    Commented 24/05/2016 às 20:55

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .