Olás! Estou com uma situação... Tenho uma tabela que terá cerca de 3*10^12 linhas (3 trilhões), porém, com apenas 3 atributos. Nessa tabela terá os IDs de 2 indivíduos e a semelhança entre eles (é um número entre 0 e 1 que multipliquei por 100 e coloquei como um smallint para diminuir o espaço). Acontece que preciso realizar, para determinado indivíduo que quero fazer a pesquisa, a sumarização dessas colunas e retornando quantos indivíduos tem até 10% de semelhança, 20%, 30%... Esses valores são fixos (de 10 em 10), até chegar em indivíduos idênticos. Porém, como devem saber, a consulta será muito lenta, então, pensei em: - Criar uma nova tabela para guardar os valores sumarizados - Criar uma view para guardar esses valores. Como os indivíduos são cerca de 1.7 milhões, a busca não seria tão demorada (se indexada, retorna bem rápido). Então, o que posso fazer? Saliento que essa minha população será praticamente fixa (após o BD ser totalmente populado, espera-se que seja feito quase nenhum acréscimo).
2 Respostas
No seu caso um índice poderia resolver perfeitamente o seu problema, sem a necessidade de criação de uma VIEW
.
Assumindo que sua estrutura de dados seja algo como:
-- INDIVIDUO
CREATE TABLE tb_individuo
(
id BIGINT NOT NULL,
nome TEXT NOT NULL,
PRIMARY KEY( id )
);
-- SEMELHANCA
CREATE TABLE tb_semelhanca
(
id_a BIGINT NOT NULL,
id_b BIGINT NOT NULL,
valor SMALLINT NOT NULL,
PRIMARY KEY( id_a, id_b ),
FOREIGN KEY ( id_a ) REFERENCES tb_individuo ( id ),
FOREIGN KEY ( id_b ) REFERENCES tb_individuo ( id )
);
Contendo os seguintes dados de exemplo:
-- INSERE 5 INDIVIDUOS
INSERT INTO tb_individuo ( id, nome ) VALUES ( 1, 'JOSE' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 2, 'JOAO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 3, 'ANTONIO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 4, 'MARIO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 5, 'PEDRO' );
-- INSERE SEMELHANCAS ENTRE OS INDIVIDUOS
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 2, 5 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 3, 13 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 4, 27 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 5, 98 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 3, 54 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 4, 63 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 5, 77 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 3, 4, 85 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 3, 5, 42 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 4, 5, 33 );
Sugiro a criação de um índice no campo valor
da tabela tb_semelhanca
:
-- CRIACAO DE INDICE NO GRAU DE SEMELHANCA
CREATE INDEX ON tb_semelhanca ( valor );
O que possibilitaria consultas usando um BETWEEN
para se recuper o intevalo desejado com bastante agilidade:
-- CONSULTA USANDO O INDICE
SELECT
a.id,
a.nome,
b.id,
b.nome,
s.valor
FROM
tb_semelhanca AS s
JOIN
tb_individuo AS a ON ( a.id = s.id_a )
JOIN
tb_individuo AS b ON ( b.id = s.id_b )
WHERE
s.valor BETWEEN 20 AND 50;
Saída:
| id | nome | id | nome | valor |
|----|---------|----|-------|-------|
| 1 | JOSE | 4 | MARIO | 27 |
| 4 | MARIO | 5 | PEDRO | 33 |
| 3 | ANTONIO | 5 | PEDRO | 42 |
SQLFiddle: http://sqlfiddle.com/#!17/da827/1
EDIT
Se a necessidade de criação de um "sumário" for algo mandatório, ainda sim não vejo a necessidade de criação de uma VIEW
ou tabela auxiliar.
Como a cardinalidade do sumário
com a semelhanca
seria de 1-para-1
, a simples criação de um campo na tb_semelhanca
poderia resolver o problema, vejamos:
-- INDIVIDUO
CREATE TABLE tb_individuo
(
id BIGINT NOT NULL,
nome TEXT NOT NULL,
PRIMARY KEY( id )
);
-- SEMELHANCA
CREATE TABLE tb_semelhanca
(
id_a BIGINT NOT NULL,
id_b BIGINT NOT NULL,
valor SMALLINT NOT NULL,
sumario SMALLINT NOT NULL,
PRIMARY KEY( id_a, id_b ),
FOREIGN KEY ( id_a ) REFERENCES tb_individuo ( id ),
FOREIGN KEY ( id_b ) REFERENCES tb_individuo ( id )
);
O índice seria criado no campo sumario
da tb_semelhanca
:
-- CRIACAO DE INDICE NO sumario
CREATE INDEX ON tb_semelhanca ( sumario );
Uma TRIGGER FUNCTION
seria responsavel pelo cálculo do sumário:
CREATE OR REPLACE FUNCTION calcular_sumario() RETURNS TRIGGER AS
$BODY$
BEGIN
NEW.sumario = (NEW.valor / 10)::int * 10;
RETURN NEW;
END;
$BODY$
LANGUAGE plpgsql;
Uma TRIGGER
seria criada para disparar a função calcular_sumario()
toda vez que acontencer uma modificação da tb_semelhança
:
-- CRIANDO TRIGGER
CREATE TRIGGER trigger_sumario BEFORE INSERT OR UPDATE ON tb_semelhanca FOR EACH ROW EXECUTE PROCEDURE calcular_sumario();
Populando tabelas:
-- INSERE 10 INDIVIDUOS
INSERT INTO tb_individuo ( id, nome ) VALUES ( 1, 'JOSE' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 2, 'JOAO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 3, 'ANTONIO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 4, 'MARIO' );
INSERT INTO tb_individuo ( id, nome ) VALUES ( 5, 'PEDRO' );
-- INSERE SEMELHANCAS ENTRE OS INDIVIDUOS
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 2, 5 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 3, 13 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 4, 27 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 1, 5, 98 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 3, 54 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 4, 63 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 2, 5, 77 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 3, 4, 85 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 3, 5, 42 );
INSERT INTO tb_semelhanca ( id_a, id_b, valor ) VALUES ( 4, 5, 33 );
Verificando tb_semelhanca
:
| id_a | id_b | valor | sumario |
|------|------|-------|---------|
| 1 | 2 | 5 | 0 |
| 1 | 3 | 13 | 10 |
| 1 | 4 | 27 | 20 |
| 1 | 5 | 98 | 90 |
| 2 | 3 | 54 | 50 |
| 2 | 4 | 63 | 60 |
| 2 | 5 | 77 | 70 |
| 3 | 4 | 85 | 80 |
| 3 | 5 | 42 | 40 |
| 4 | 5 | 33 | 30 |
Consulta por meio do sumário:
-- CONSULTA USANDO O SUMARIO
SELECT
a.id,
a.nome,
b.id,
b.nome,
s.valor
FROM
tb_semelhanca AS s
JOIN
tb_individuo AS a ON ( a.id = s.id_a )
JOIN
tb_individuo AS b ON ( b.id = s.id_b )
WHERE
s.sumario = 20;
Saída:
| id | nome | id | nome | valor |
|----|------|----|-------|-------|
| 1 | JOSE | 4 | MARIO | 27 |
SQLFiddle: http://sqlfiddle.com/#!17/7e62f/5
-
acho que a questão seria calcular a 'sumarizacao' das semelhancas em uma view, ou armazena-las, em uma terceira tabela. Sugeri que fizesse a tabela de semelhança e uma trigger na tabela de indivíduos, para que, ao inserir ou alterar um individuo, sua semelhança seja recalculada. WandreVeloso, entendeu a proposta ? @Lacobus sempre com ótimas respostas sobre postgres =] Commented 6/03/2018 às 20:10
-
1
-
@Lacobus e RovannLinhalis, gostei muito da opção de acrescentar um novo campo indexado para agilizar a busca. Creio que vou implementar dessa forma com criação de índices na primeira coluna (porque sempre quero saber a sumarização por determinado indivíduo) e na coluna sumarização. Commented 13/03/2018 às 11:48
Tive o quase o mesmo problema, mas o meu banco chega ser bem maior que o seu e sofre updates e insert a cada minuto, a tabelas que passaram de 1gb eu usei partition baseado numa coluna relacionada a grupo.
A melhor solucao apos sua resposta nos comentarios, usar Table partition
porque?
1 - vai dividir sua tabela em subtabelas e nao vai interfirir no
seu select(vai continuar o mesmo porem muito mas rapido).
2 - ja que voce nao faz o uso de update seu trigger nao vai ter problem com "on conflit", Trigger vai ser usado apenas na tabela pai para redirecionar os insert.
3- Table partition nao divide tabela apenas por data!!! voce pode usar alguma codicao mas elaborada, ou seja "semelhança entre eles".
Como vai ficar seu db, exemplo:
TabelaMaster (Tabela original)
TabelaMaster-10 (Tabela gerada apartir do INHERITS )
TabelaMaster-20
...
os selects podem ser feitos diretamento na particao ou na tabela "pai" o resultado e quase a mesma coisa, porem usar o pai evitar extra codigo.
-
Olá @HudsonPH, não acho que Table Partition seria interessante já que, no meu caso, tenho uma lista imensa de indivíduos com similaridades bem concentradas entre 40 e 80%, o que dividiria a tabela em partes não tão interessantes (ainda estou pensando em usar a técnica mencionada no comentário anterior em junção com partition). Obrigado! Commented 13/03/2018 às 11:52
-
Voce pode ate testar, mas o refresh view no seu caso vai ter um custo muito alto afinal de contas sao 3 trilhoes que vao ser lidos e substituidos todos os dias na view– HudsonPHCommented 13/03/2018 às 12:00
"Saliento que essa minha população será praticamente fixa (após o BD ser totalmente populado, espera-se que seja feito quase nenhum acréscimo)"
. Só trabalharia com View se a query a ser executada for sempre a mesma, sem a necessidade de aplicar condições, caso contrário fica muito ruim. Acho que poderia ter uma nova tabela, que, com uma trigger faça a relação de semelhança para cada sujeito