(para um enfoque mais cultural ver essa outra pergunta)
Pergunta-1. "(...) por que ainda existem aplicações que adotam padrões como ANSI, dentre outras codificações?"
Resposta. Eu diria "existem pouquíssimas". Algumas aplicações dessas se justificam tecnicamente por não usarem um alfabeto acentuado; e outras, que impõe aos falantes da língua portuguesa a ausência de acentos e/ou intercambiabilidade, estão fadadas ao sucateamento.
Pergunta-2. "Não seria mais fácil abandonar (...)?"
Resposta. Sim, quando digo "fadadas ao sucateamento" é mais ou menos isso.
O problema talvez, é que você não pode esperar anos por isso, precisa de fato aplicações que respeitem o UTF-8 hoje, agora...
Muita gente, mesmo não expressando por escrito, diz abertamente que é a pressão das empresas internacionais, que fazem corpo mole no Brasil obrigando você a usar Windows-1252, ou das empresas governamentais, que interromperam a atualização dos softwares em 1980... Eu não concordo, se for só para justificar... Acho que não podemos colocar a culpa neles isoladamente (!), somos nós mesmos, profissionais da área, que fizemos corpo mole durante anos, ao não exigir o UTF-8 em nosso ambiente de trabalho, em nosso relacionamento com clientes e fornecedores.
Conclusão. Devemos concordar com o @utluiz, que lembra que em parte devemos nos esforçar todos os dias para manter todo o ambiente em UTF-8, e em parte devemos nos conformar, com fatos e fatores... e esquecer o assunto, até que mundo mude 100%.
PS: páginas na Web e armazenamento de textos em banco de dados, são casos emblemáticos. Por que tantos webdesigners demoraram tanto (e alguns ainda hoje) a se preocupar em preparar suas páginas e templates HTML com UTF-8? Quantos programadores participam da "localização" e melhora de open-source, como MySQL ou PostgreSQL? A distribuição brasileira do PostgreSQL não oferece como template padrão (DATABASE
default) algo com ENCODING = 'UTF8' LC_COLLATE = 'pt_BR.UTF-8' LC_CTYPE = 'pt_BR.UTF-8'
... E, como não é default, quantas empresas de hospedagem se deram ao trabalho de mudar o default para o padrão brasileiro? Quantos programadores, quando podiam, se preocuparam em configurar suas bases de dados desse modo? Eu mesmo já fui a minha vítima... Até mudar de postura.
Que tal se mudássemos um detalhe mínimo da pergunta, trocando ela para "Por que ainda eu permito usarem outras codificações além da UTF-8?"
Um posicionamento oposto, ao nos assumirmos como parte do ambiente
Em geral nos posicionamos como "vítimas" do nosso ambiente: o ambiente como fato, e como algo dirigido por decisões das quais não tomamos parte.
Mas o "ambiente" nesse caso, é algo onde, por exemplo a comunidade do Stackoverflow-Português, pode atuar, pode ter algum efeito, mesmo que pequeno. Se optarmos por nos conformar com essa "pequena mudança", as perguntas que devemos nos fazer mudam totalmente (!).
Por que nós, analista e programadores, não podemos exigir de nosso ambiente de trabalho, que se adote o padrão UTF-8? Por que as empresas de software e informática não podem exigir de seus clientes e fornecedores o intercambiar de dados em UTF-8?
Naturalmente, não se pode exigir de quem não tem, mas sabemos que 90% dos casos de configuração default de um produto nacional, nacionalizado ou "localizado", podem adotar UTF-8. Mais ainda, quando se fala de intercâmbio de dados, ou seja, formatos tais como XML e HTML, totalmente abertos e sob ambiente totalmente padronizado (ex. recomendações IETF e W3C), podemos chutar que 99% podem ser UTF-8.
Naturalmente, a segunda exigência, nos contextos extraordinários, quando não se pode oferecer UTF-8, é por ISO 8859-1. Há ainda uma série de contextos, sabiamente expressos pela resposta do @utluiz, onde a dificuldade de uso do UTF-8 "se explica" um pouco melhor, e se justifica pela nossa fraca cultura de uso de boas práticas, bem como cultura e histórico de não exigir os seus direitos de público ou consumidor falante da língua portuguesa.
A presente resposta é em parte um lembrete, de que padrões são úteis e necessários, de que, principalmente no Brasil, perdemos muito tempo de nossas vidas fazendo conversões, ajustando dados, ajustando configurações, e adaptando bibliotecas. Analistas e programadores perdem tempo, usuários se sujeitam a produtos e "servicos" sem cedilha.
Contextualizando
Quando se fala de informática, computação e mídias digitais, até mesmo Portugal se entende por "país colonizado". Aos falantes da língua portuguesa sempre foi imposta a condição estrangeira (ex. conformar-se com um texto sem acentos).
Aos poucos os padrões europeus foram sendo adotados, e as exigências mínimas para se expressar o alfabeto do português de forma padronizada, sendo aceitas por fabricantes de máquinas, de softwares e de outros recursos. Foi de grande importância a consolidação da norma ISO 8859-1 (conhecida como ISO-Latin-1).
No Brasil, todavia, ainda prevalecia um pouporry de encodings... E com o surgimento do Unicode, e o surgimento das "recomendações por uso de UTF-8", a diversidade (desse pouporry) só aumentou.
Relembrando fatos
Como já colocado nesta e em outras respostas, UTF-8 é, há anos, um padrão de facto e de jure.
O W3C vem sugerindo uso de UTF-8 (ver RFC-3629) em todas as suas recomendações. Da mesma forma, o governo brasileiro, com a recomendação e-PING.
Todos os sistemas operacionais em uso, em computação fixa ou móvel, dão suporte a UTF-8. Até mesmo QR-Code oferece UTF-8...
Na Web, o UTF-8 já é a codificação mais usada (padrão de facto) desde 2007:
artigo "Moving to Unicode 5.1", de 2008, mostra em gráficos e com dados do Google, que em dezembro de 2007 a codificação UTF-8 tornou-se a codificação mais frequênte nas páginas da Web, passando ASCII e ISO 8859-1.
artigo sobre blogosphere, de 2012, reavalia e demonstra que UTF-8 continua predominante, mesmo em páginas "tecnologicamente descompromissados" como, blogs, onde detectou-se apenas 6% de páginas explicitamente codificadas com algo que não era UTF-8.
Exemplos de perguntas relacionadas a problemas com UTF-8:
É claramente, ainda hoje, uma "dor de cabeça" para os analistas e programadores brasileiros, nas instalações, configurações, e principalmente na troca de dados.
EDIT (ref. comentários @Bacco)
Sobre a questão da "liberdade de escolha". Dois exemplos:
Temos liberdade de escolher entre Java, PHP ou Python, etc. São todas elas "linguagens padrão" É questão de gosto, de contexto, etc. e o programador "adota o seu padrão". Não há necessidade de "uma só linguagem para todos", pois não existem problemas de coordenação relevantes. Os benefícios de "uma só para todos" não excedem os benefícios da diversidade. A existência de um certo número de grandes comunidades é suficiente para reduzir o excesso de diversidade.
Não temos liberdade de escolher o número (predial) de nossa casa, ele deveria cumprir um padrão que é a metragem da rua ou da sua quadra. Se inventamos por numerologia ou gosto, criamos confusão na rua, e dificultamos a entrega de cartas na própria casa. Nesta caso o benefício geral de "adotar o padrão" excede os benefícios pessoais da diversidade.
No caso da codificação não temos liberdade de escolher: o W3C, o governo brasileiro, etc. já escolheram para nós. É o UTF-8. Os benefícios de se adotar o padrão (ao invés da diversidade) são muito maiores, emerge interoperabilidade, simplicidade... como programadores perdemos muito menos tempo de nossas vidas (nos livrando das checagens, conversões e riscos de erro de conversão).
NOTA: essa coisa de "benefícios" (globais vs individuais) pode ser medida; o jogo das possibilidades, de ter cenários com mais ou com menos diversidade, é conhecido como jogo de coordenação. O padrão é a única coisa que resolve um dilema de coordenação.