Este procedimento encontra as tags que tem posts associados à elas, e monta uma lista baseada na primeira letra:
$list = '';
$tags = get_terms( 'post_tag' );
$groups = array();
if( $tags && is_array( $tags ) ) {
foreach( $tags as $tag ) {
$first_letter = strtoupper( $tag->name[0] );
$groups[ $first_letter ][] = $tag;
}
if( !empty( $groups ) ) {
foreach( $groups as $letter => $tags ) {
$list .= "\n\t" . '<h2>' . apply_filters( 'the_title', $letter ) . '</h2>';
$list .= "\n\t" . '<ul>';
foreach( $tags as $tag ) {
$url = attribute_escape( get_tag_link( $tag->term_id ) );
$count = intval( $tag->count );
$name = apply_filters( 'the_title', $tag->name );
$list .= "\n\t\t" . '<li><a href="' . $url . '">' . $name . '</a> (' . $count . ')</li>';
}
$list .= "\n\t" . '</li>';
}
}
}else $list .= "\n\t" . '<p>Nenhuma Tag foi encontrada</p>';
A partir daí, fica a seu critério como chamar o método, ou mesmo se quer usar este processo dessa maneira. No meio do código tem bastante coisas que podem ser reduzidas, mas a ideia é basicamente essa. Basta você dar um print ($list)
que você tem acesso à tudo.