Esta outra pergunta lembra que no PHP não basta usar a função correta, que, bem sugerida pelo @bfavaretto, é a mb_substr()
no lugar da substr()
: precisamos também configurar o PHP corretamente para as funções multibyte não causarem surpresas.
O que sugiro como configuração, a usar sempre no Português, é
setlocale(LC_ALL,'pt_BR.UTF8');
mb_internal_encoding('UTF8');
mb_regex_encoding('UTF8');
Usar UTF-8 e funções compativeis para tudo!
O ISO Latim I (formalmente ISO-8859-1) foi aposentado anos atrás, o W3C vem sugerindo uso de UTF-8 (ver RFC-3629) em todas as recomendações.
Da mesma forma, para sites brasileiros, a recomendação e-PING é o padrão charset UTF-8...
O "padrão de fato", mais popular pelos sites minimamente sérios e "antenados" da língua portuguesa: idem, é UTF-8. Se conferir grandes portais brasileiros ou mesmo protugueses, vai ver logo no header HTML que o padrão adotado é UTF8 (ex. <meta http-equiv="Content-Type"../>
do código-fonte da UOL).
Legados históricos
Quem trabalha com PHP lida com dois legados históricos que causam ainda hoje certa confusão, e por isso acho importante relembra-los:
O charset ISO-Latin-1 foi durante muito tempo no Brasil e em Portugual o "padrão oficial" para páginas HTML, arquivos TXT, XML, SGML, etc. É natural, porque o UTF-8 veio depois do ISO-Latin, e justamente ele abriga na sua estrutura, sem alterações, como Bloco Unicode de Suplemento Latin-1.
PS: A Microsoft desde o Windows 3.x, para isolar seus usuários de qualquer iniciativa de padronisação, sempre forçou o "ISO Latin Microsoft" (conhecido como "código Windows-1252"), e ainda hoje alguns programadores e web-designers brasileiros publicam HTML com esse charset. É um insulto às normas internacionais e ao usuário.
O PHP tentou superar essa coisa chata de funções string duplicadas — uma biblioteca mb_*
para charsets tipo UTF-8 de tamanho variável (multibyte) e outra charsets ISO 8 bits fixos — com a proposta do PHP6, mas nunca conseguiu (apesar de linguagens como o Python terem feito isso muito tempo antes). Isso causa transtorno (estamos aqui perdendo tempo com essa pergunta!) até os dias de hoje para os programadores da língua portuguesa.
Onde mais tem "pegadinha" para UTF8?
Regular expressions
Mais uma vez a multiplicidade de opções para fazer a mesma coisa no PHP, causa certa confusão. Eu já trabalhei bastante com regular expressions e tenho plena convicção de que a melhor (mais potente aceita como padrão nas demais linguagens) biblioteca é a PCRE (Perl Compatible Regular Expressions). Nunca precisei usar as funções multibyte "mb_ereg_*". A família preg_*
dá conta do recado. Basta ficarmos atentos a dois detalhes,
- Usar o modificador
/u
quando for usar acento ou caracter especial na própria regular expression.
- (ver abaixo discussão) Seu script PHP precisa estar em UTF8 para entender sua regular expression em UTF8.
Contagem de palavras
A função str_word_count(), como outras tantas do PHP, tem algumas falhas para o "caso geral" de UTF8... Veja discussão aqui.
Seus scripts PHP... São UTF8?
Outro problema comum é o seu próprio script de PHP, que precisa estar também em UTF8(!). Confira com algum editor sério e confiável (jamais o NotePad do Windows!), como por exemplo SublimeText ou Textpad.
Idem bases de dados, arquivos XML, etc. Precisa estar tudo no mesmo charset, e, fácil: basta sempre configurar tudo com o "padrão universal", que é o UTF8.