A geração da sequência é/precisa ser independente da transação. A ideia é que ela mantenha, sempre, um valor único, crescente: estão em sequência mas não é garantido que sejam contíguos.
Imagine um cenário onde você abra uma transação, insira 1000 registros, ao mesmo tempo outro usuário do banco insere 100 registros sem qualquer transação. Os ids gerados dentro da transação e fora dela não podem ser iguais, é preciso que sejam únicos. Seria impossível para o banco de dados resolver essa questão sem travar as inserções em outras transações e isso seria desastroso para qualquer tipo de banco de dados: detonaria com a performance.
Caso você tente implementar esse sequencial por si mesmo, leve em consideração esse mesmo problema de acessos paralelos, pois uma implementação ingênua vai parecer funcionar para cenários de acesso em série e único, mas falhará tragicamente para cenários de acesso paralelo, que são os cenários mais comuns de uso de um banco de dados.
O sequencial é também determinado antes de se aplicar a integridade referencial, pois os dados completos da linha sendo inserida precisam estar disponíveis para realizar essa verificação, e a primary key da mesma é necessária. Pelos mesmos motivos da independência da transação, não é possível parar as demais rotinas de inserção até que se determine uma falha de integridade referencial (no caso nem é integridade referencial, mas sim uma falha de índice com restrição única). Lembre-se que índices e "constraints" não são dados intrínsecos de uma tabela, e podem ser removidos e adicionados sem mudar a estrutura. Por uma questão de performance, escalonamento e simplicidade de implementação o valor dos identities são gerados antes de se inserir de fato a linha, e isso ocorre antes da validação da mesma, portanto não é possível "retornar" o valor do sequencial a posteriori. Por esse motivo, após o erro, um ou outro identity será "pulado".
Você não precisa se preocupar com isso em 99,999999% dos cenários. Exigir que sejam contíguos é, via de regra, desnecessário. Também não é boa prática de desenvolvimento se fiar na lógica de geração dos identities de um banco de dados, pois a mesma pode mudar com a versão do banco. Use os identities tão somente como o identificador único do registro que são. Eles podem também servir para ordenar os dados pela ordem de inserção no banco (lembre-se que essa ordem pode ser misturada entre várias inserções e transações paralelas).
Se você está preocupado com o desperdício dos identities pulados pode deixar de se preocupar, isso nunca (ou praticamente nunca) virá a prejudicá-lo.
bigserial
. Isso não diminuirá o desempenho do software, apenas usará alguns bytes a mais por registro e no índice. Esse impacto é totalmente negligível hoje em dia. Lembre-se: espaço em disco (e na nuvem) é barato, hora de programação e manutenção é bem mais caro :-)