Fala Peter.
Como você mesmo citou, a imagem da documentação já dá uma boa ajuda. Vou fazer um possível caminho e você responde com dúvidas se tiver. Então, basicamente é só criar os arquivos na pasta que o Wordpress faz a seleção.
A imagem

Regra geral
Basicamente, o Wordpress irá seguir da esquerda para a direita, tentando achar o template adequado, de acordo com as alternativas.
Vamos supor que você tenha uma tag criada "livros que li". Então, quando você digitar no endereço:
sitecombr/livrosqueli
- O Wordpress irá verificar se o que você está buscando é um autor, categoria, custom post, taxonomia, data ou tag. No nosso caso é uma tag.
- Próximo passo é descobrir se você tem um arquivo no seu diretório raiz do tema chamado "tag-livrosqueli.php" ou "tag-id_da_tag".
- Caso não exista, tentar achar o arquivo "tag.php".
- Caso não encontre, o Wordpress irá tentar usar o arquivo "archive.php", se tiver paginação, irá usar o "paged.php".
- Se tudo falhar, o Wordpress usa o padrão "index.php".
Uso dos templates básicos
archive.php
Usado para exibir grupos de post. Exemplo: Últimos posts do blog.
single.php
Usado para exibir o conteúdo de um post. Exemplo: Quando o visitante clica em um post dentro de uma lista de posts.
page.php
Usado para exibir páginas estáticas. Exemplo: Exibir páginas institucionais como "Quem Somos", "Sobre", "Contato"...
home.php
Usado para exibir os posts da home. Caso você tenha definido uma página estática como página inicial, o template usado será o front-page.php.
comments-popup.php
Usado para exibir os comentários de um post, quando abertos via popup (Acho que nunca usei este template, rs).
404.php
Usado para exibir um conteúdo específico quando um post não é encontrado.
search.php
Usado para exibir os resultados de uma busca no site.
Absss!