Bom, é sempre preferível utilizar um SGDB que trate dados em árvore de forma natural, melhor ainda quando ele for especialmente desenhado para tal fim, como por exemplo, o Neo4j.
Porém existem algumas formas de se trabalhar em SGDB's relacionais, vou enumerar 4 delas:
1. Lista Adjacente
Solução mais comumente utilizada, cada entrada (registro) conhece somente seu nó superior, veja um exemplo de estrutura comumente utilizado:
Exemplo: Comentários em um Blog
Nesse exemplo, existe uma tabela que armazena comentários de um blog, existem os comentários principais, que não tem nós superiores (são a "raiz"), e existem os comentários que são respostas a outro comentário, e assim sucessivamente, em uma tabela do SGBD, teríamos a seguinte situação:
Tabela: comentarios
id parent_id usuario_id comentario
----------------------------------------------------------------
1 NULL 33 Gostei do seu...
2 1 34 seu comentario foi exc...
3 1 99 Gostei Também...
4 3 34 Que bom que gostou...
5 NULL 80 Que Post Bacana ...
Renderizando, teríamos algo como:
Usuario 33 Comentou: Gostei do seu ...
Usuário 34 Comentou: Seu comentario foi exc...
Usuario 99 Comentou: Gostei Também...
Usuário 34 Comentou: Que bom que gostou...
Usuario 80 Comentou: Que Post Bacana ...
Os comentários tem a mesma estrutura de dados, porem são aninhados dessa forma, é necessário percorrer recursivamente todos os dados a partir de um determinado ID.
Pontos POSITIVOS: Fácil de implementar
Pontos NEGATIVOS: Difícil de manusear em arvores
profundas, funciona bem quando são poucos níveis
2. Caminho Enumerado
Basicamente a mesma estrutura do exemplo acima, porem a tabela contem o caminho desde o nó raiz até ele próprio, veja o exemplo:
Tabela comentarios
id path_to_comment usuario_id comentario
----------------------------------------------------------------
1 / 33 Gostei do seu...
2 /1/2 34 seu comentario foi exc...
3 /1/3 99 Gostei Também...
4 /1/3/4 34 Que bom que gostou...
5 / 80 Que Post Bacana ...
dessa forma poderíamos pegar os comentários abaixo do comentário de ID 3
fazendo algo como
SELECT * from comentarios WHERE path_to_comment LIKE '/1/3/%';
Pontos POSITIVOS: Fácil de implementar, consulta mais rápida e eficiente que o método de Lista Adjacente
Pontos NEGATIVOS: É relativamente difícil refazer o caminho quando realocamos um elemento
3. Conjuntos Aninhados
É um método um pouco mais complexo, vou dar uma visão geral, pois uma resposta completa iria prolongar muito um resposta que é um visão geral sobre os métodos, então vamos lá:
Consistem em armazenar com cada nó, dois números (um para a esquerda e outro para a direita): o da esquerda armazena um número menor que o menor ID dos seus descendentes, e o número da direita armazena um número maior, que o maior ID dos seus descendentes; então, ao fazer uma query, teríamos um escopo de busca que em termos de performance seria bem mais eficiente que os outros métodos, veja uma imagem que ilustra isso:
Pontos POSITIVOS: Performance muito maior, facilidade de atravessar
.
Pontos NEGATIVOS: Bem mais difícil para implementar do que os outros métodos; performance não é tão maior em SGDB que não tem suporte a queries recursivas (exemplo: MySQL)
Te recomendo fazer um pergunta aqui no StackOverflow sobre essa técnica, daí eu ou outro usuário podemos te demonstrar melhorar tal técnica
4. Tabela de Relacionamento
Basicamente uma tabela "Muitos-para-muitos" que armazena todas as ligações de um nó com seus descendentes, semelhante à técnica do caminho enumerado, porém um pouco mais flexível e com mais performance que tal.
P.S. Irei melhorar essa resposta assim que possível citando mais exemplos, mas esse é um assunto gigante, e cada uma das técnicas renderia pelo menos uma questão aqui no SO