1

Olás! Estou com uma situação... Tenho uma tabela que terá cerca de 3*10^12 linhas (3 trilhões), porém, com apenas 3 atributos. Nessa tabela terá os IDs de 2 indivíduos e a semelhança entre eles (é um número entre 0 e 1 que multipliquei por 100 e coloquei como um smallint para diminuir o espaço). Acontece que preciso realizar, para determinado indivíduo que quero fazer a pesquisa, a sumarização dessas colunas e retornando quantos indivíduos tem até 10% de semelhança, 20%, 30%... Esses valores são fixos (de 10 em 10), até chegar em indivíduos idênticos. Porém, como devem saber, a consulta será muito lenta, então, pensei em: - Criar uma nova tabela para guardar os valores sumarizados - Criar uma view para guardar esses valores. Como os indivíduos são cerca de 1.7 milhões, a busca não seria tão demorada (se indexada, retorna bem rápido). Então, o que posso fazer? Saliento que essa minha população será praticamente fixa (após o BD ser totalmente populado, espera-se que seja feito quase nenhum acréscimo).

7
  • essa tabela que tem 3 trilhoes sofre algum tipo de update ou insert? é um valor estatıco?
    – HudsonPH
    6/03/2018 às 11:31
  • Hudson: "Saliento que essa minha população será praticamente fixa (após o BD ser totalmente populado, espera-se que seja feito quase nenhum acréscimo)". Só trabalharia com View se a query a ser executada for sempre a mesma, sem a necessidade de aplicar condições, caso contrário fica muito ruim. Acho que poderia ter uma nova tabela, que, com uma trigger faça a relação de semelhança para cada sujeito 6/03/2018 às 12:23
  • Já pensou em criar índices baseados em expressões ? Parece ser o caso o o Postgreesql parece suportar postgresql.org/docs/9.1/static/indexes-expressional.html
    – Motta
    6/03/2018 às 13:23
  • @HudsonPH, essa tabela não sofrerá updates, porém, terá inserts sempre que um novo indivíduo for inserido na lista de indivíduos (depois da tabela criada e totalmente populada, pode ser necessária a inserção de um ou outro hit, mas raramente). 6/03/2018 às 19:50
  • @Motta, vou estudar essa possibilidade. Por enquanto eu criei 2 índices: um para cada coluna de indivíduo (para achá-los em meio à lista imensa). 6/03/2018 às 19:52

2 Respostas 2

1

No seu caso um índice poderia resolver perfeitamente o seu problema, sem a necessidade de criação de uma VIEW.

Assumindo que sua estrutura de dados seja algo como:

-- INDIVIDUO
CREATE TABLE tb_individuo
(
    id BIGINT NOT NULL,
    nome TEXT NOT NULL,
    PRIMARY KEY( id )
);

-- SEMELHANCA
CREATE TABLE tb_semelhanca
(
    id_a BIGINT NOT NULL,
    id_b BIGINT NOT NULL,
    valor SMALLINT NOT NULL,
    PRIMARY KEY( id_a, id_b ),
    FOREIGN KEY ( id_a ) REFERENCES tb_individuo ( id ),
    FOREIGN KEY ( id_b ) REFERENCES tb_individuo ( id )
);

Contendo os seguintes dados de exemplo:

-- INSERE 5 INDIVIDUOS
INSERT INTO tb_individuo ( id, nome ) VALUES ( 1, 'JOSE' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 2, 'JOAO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 3, 'ANTONIO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 4, 'MARIO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 5, 'PEDRO' );

-- INSERE SEMELHANCAS ENTRE OS INDIVIDUOS 
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 2, 5 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 3, 13 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 4, 27 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 5, 98 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 3, 54 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 4, 63 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 5, 77 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 3, 4, 85 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 3, 5, 42 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 4, 5, 33 );

Sugiro a criação de um índice no campo valor da tabela tb_semelhanca:

-- CRIACAO DE INDICE NO GRAU DE SEMELHANCA
CREATE INDEX ON tb_semelhanca ( valor );

O que possibilitaria consultas usando um BETWEEN para se recuper o intevalo desejado com bastante agilidade:

-- CONSULTA USANDO O INDICE
SELECT
    a.id,
    a.nome,
    b.id,
    b.nome,
    s.valor
FROM
    tb_semelhanca AS s
JOIN
    tb_individuo AS a ON ( a.id = s.id_a )
JOIN
    tb_individuo AS b ON ( b.id = s.id_b )
WHERE
    s.valor BETWEEN 20 AND 50;

Saída:

| id |    nome | id |  nome | valor |
|----|---------|----|-------|-------|
|  1 |    JOSE |  4 | MARIO |    27 |
|  4 |   MARIO |  5 | PEDRO |    33 |
|  3 | ANTONIO |  5 | PEDRO |    42 |

SQLFiddle: http://sqlfiddle.com/#!17/da827/1

EDIT

Se a necessidade de criação de um "sumário" for algo mandatório, ainda sim não vejo a necessidade de criação de uma VIEW ou tabela auxiliar.

Como a cardinalidade do sumário com a semelhanca seria de 1-para-1, a simples criação de um campo na tb_semelhanca poderia resolver o problema, vejamos:

-- INDIVIDUO
CREATE TABLE tb_individuo
(
    id BIGINT NOT NULL,
    nome TEXT NOT NULL,
    PRIMARY KEY( id )
);

-- SEMELHANCA
CREATE TABLE tb_semelhanca
(
    id_a BIGINT NOT NULL,
    id_b BIGINT NOT NULL,
    valor SMALLINT NOT NULL,
    sumario SMALLINT NOT NULL,
    PRIMARY KEY( id_a, id_b ),
    FOREIGN KEY ( id_a ) REFERENCES tb_individuo ( id ),
    FOREIGN KEY ( id_b ) REFERENCES tb_individuo ( id )
);

O índice seria criado no campo sumario da tb_semelhanca:

-- CRIACAO DE INDICE NO sumario
CREATE INDEX ON tb_semelhanca ( sumario );

Uma TRIGGER FUNCTION seria responsavel pelo cálculo do sumário:

CREATE OR REPLACE FUNCTION calcular_sumario() RETURNS TRIGGER AS
$BODY$
BEGIN 
    NEW.sumario = (NEW.valor / 10)::int * 10; 
    RETURN NEW;
END;
$BODY$
LANGUAGE plpgsql;

Uma TRIGGER seria criada para disparar a função calcular_sumario() toda vez que acontencer uma modificação da tb_semelhança:

-- CRIANDO TRIGGER
CREATE TRIGGER trigger_sumario BEFORE INSERT OR UPDATE ON tb_semelhanca FOR EACH ROW EXECUTE PROCEDURE  calcular_sumario();

Populando tabelas:

-- INSERE 10 INDIVIDUOS
INSERT INTO tb_individuo ( id, nome ) VALUES ( 1, 'JOSE' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 2, 'JOAO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 3, 'ANTONIO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 4, 'MARIO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 5, 'PEDRO' );

-- INSERE SEMELHANCAS ENTRE OS INDIVIDUOS 
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 2, 5 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 3, 13 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 4, 27 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 5, 98 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 3, 54 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 4, 63 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 5, 77 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 3, 4, 85 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 3, 5, 42 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 4, 5, 33 );

Verificando tb_semelhanca:

| id_a | id_b | valor | sumario |
|------|------|-------|---------|
|    1 |    2 |     5 |       0 |
|    1 |    3 |    13 |      10 |
|    1 |    4 |    27 |      20 |
|    1 |    5 |    98 |      90 |
|    2 |    3 |    54 |      50 |
|    2 |    4 |    63 |      60 |
|    2 |    5 |    77 |      70 |
|    3 |    4 |    85 |      80 |
|    3 |    5 |    42 |      40 |
|    4 |    5 |    33 |      30 |

Consulta por meio do sumário:

-- CONSULTA USANDO O SUMARIO
SELECT
    a.id,
    a.nome,
    b.id,
    b.nome,
    s.valor
FROM
    tb_semelhanca AS s
JOIN
    tb_individuo AS a ON ( a.id = s.id_a )
JOIN
    tb_individuo AS b ON ( b.id = s.id_b )
WHERE
    s.sumario = 20;

Saída:

| id | nome | id |  nome | valor |
|----|------|----|-------|-------|
|  1 | JOSE |  4 | MARIO |    27 |

SQLFiddle: http://sqlfiddle.com/#!17/7e62f/5

3
  • acho que a questão seria calcular a 'sumarizacao' das semelhancas em uma view, ou armazena-las, em uma terceira tabela. Sugeri que fizesse a tabela de semelhança e uma trigger na tabela de indivíduos, para que, ao inserir ou alterar um individuo, sua semelhança seja recalculada. WandreVeloso, entendeu a proposta ? @Lacobus sempre com ótimas respostas sobre postgres =] 6/03/2018 às 20:10
  • 1
    @RovannLinhalis Segue edição.
    – Lacobus
    7/03/2018 às 13:14
  • @Lacobus e RovannLinhalis, gostei muito da opção de acrescentar um novo campo indexado para agilizar a busca. Creio que vou implementar dessa forma com criação de índices na primeira coluna (porque sempre quero saber a sumarização por determinado indivíduo) e na coluna sumarização. 13/03/2018 às 11:48
0

Tive o quase o mesmo problema, mas o meu banco chega ser bem maior que o seu e sofre updates e insert a cada minuto, a tabelas que passaram de 1gb eu usei partition baseado numa coluna relacionada a grupo.

A melhor solucao apos sua resposta nos comentarios, usar Table partition

porque?
1 - vai dividir sua tabela em subtabelas e nao vai interfirir no seu select(vai continuar o mesmo porem muito mas rapido).

2 - ja que voce nao faz o uso de update seu trigger nao vai ter problem com "on conflit", Trigger vai ser usado apenas na tabela pai para redirecionar os insert.

3- Table partition nao divide tabela apenas por data!!! voce pode usar alguma codicao mas elaborada, ou seja "semelhança entre eles".

Como vai ficar seu db, exemplo:

TabelaMaster (Tabela original)
TabelaMaster-10 (Tabela gerada apartir do INHERITS )
TabelaMaster-20
...

os selects podem ser feitos diretamento na particao ou na tabela "pai" o resultado e quase a mesma coisa, porem usar o pai evitar extra codigo.

2
  • Olá @HudsonPH, não acho que Table Partition seria interessante já que, no meu caso, tenho uma lista imensa de indivíduos com similaridades bem concentradas entre 40 e 80%, o que dividiria a tabela em partes não tão interessantes (ainda estou pensando em usar a técnica mencionada no comentário anterior em junção com partition). Obrigado! 13/03/2018 às 11:52
  • Voce pode ate testar, mas o refresh view no seu caso vai ter um custo muito alto afinal de contas sao 3 trilhoes que vao ser lidos e substituidos todos os dias na view
    – HudsonPH
    13/03/2018 às 12:00

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .