Em geral esse peso extra não é significativo e no fundo se não usar o peso pode até ser maior em alguns casos.
A principal vantagem você já percebeu, é a legibilidade do código. Isto tem a ver com melhor abstração. Também ajuda estar encapsulado e ficar fácil mudar algum detalhe do código final HTML sem precisar mexer em todas as páginas. Ótimo para evoluir o HTML dentro de novos padrões e práticas. Lembre-se que o tag helper é um método, ele possui todos os benefícios deste elemento de construção de códigos.
A principal desvantagem é que se perde o controle do código a ser usado. Se o helper for muito específico ou muito geral, ele torna inútil pra maioria dos casos, então é difícil achar um equilíbrio do que por no código dele. Pra coisas simples é tranquilo usar. Algumas configurações são possíveis, ainda que limitadas, se o helper específico for construído pensando nisto. Apesar que isto pode começar complicar o código e mandar a legibilidade pro espaço.
Eles podem não interagir bem com todas as construções da view. Isto depende da qualidade do helper, mas não dá para fazer milagres.
Como todo recurso, se não souber usar adequadamente, saber usar a criatividade para que ele realmente seja útil, é melhor não usar. Claro que usar os já existentes não deve ser um problema, mas criar seus próprios helpers exige uma pouco de experiência para não cometer erros e diminuir a sua utilidade.
Lembra um pouco os web components.
Coloquei no GitHub para referência futura.