Queria criar uma função que salvasse os dados no banco sempre no encoding correto (meu banco é UTF-8) de acordo com o encoding detectado.
Existe alguma função nativa do PHP pra fazer isso? Há alguma outra forma?
Assumindo que seu servidor está servindo páginas codificadas como UTF-8
, o comportamento padrão da maioria dos agentes de usuário (browsers etc) será utilizar essa mesma codificação ao enviar dados de volta ao servidor (através de formulários/POST, por exemplo). Também é possível aceitar outras codificações através do parâmetro accept-charset
. Dessa forma não será necessário "detectar" nada, você próprio está instruindo o lado cliente a enviar dados já na codificação desejada.
Veja também essa resposta no SO em inglês. Um dos pontos importantes é que um browser que segue os padrões vai respeitar essa exigência de encoding, mas sempre é possível que um cliente (acidentalmente ou maliciosamente) envie dados com codificação diferente. Nesse caso, cabe a você determinar se é necessário tentar corrigir o problema que o cliente criou, ou deixar o ônus para ele... Usuários comuns utilizando navegadores modernos certamente não passarão por esse tipo de problema (mas não custa nada realizar alguns testes, de acordo com seu público alvo).
Atualização: baseado nas respostas sua e do @Guerra, creio que não é necessário detectar coisa alguma, simplesmente usar utf8_decode
deveria ser o suficiente (pois seus usuários enviarão sempre em UTF-8, e sua conexão ao banco sempre espera ISO 8859-1, independentemente da codificação que o seu banco usa).
Mas se você quer uma solução robusta, eis o que sugiro:
function fixEncoding($in_str)
{
$cur_encoding = mb_detect_encoding($in_str) ;
if($cur_encoding == "UTF-8" && mb_check_encoding($in_str,"UTF-8"))
{
return utf8_decode($in_str);
}
elseif($cur_encoding == "ISO 8859-1" && mb_check_encoding($in_str,"ISO 8859-1"))
{
return $in_str;
}
else
{
// Não testado:
// return iconv($cur_encoding, "ISO 8859-1", $in_str);
throw new Exception('Codificação não suportada.');
}
}
A tua pergunta é um pouco vaga em relação ao problema especifico que estás a encontrar, pelo que, deixo aqui algumas considerações a ter para uma correta iteração com dados do utilizador, dados de e para o servidor e iteração com a base de dados, partindo da base indicada de que a tua base de dados está a funcionar com Charset UTF-8.
Notas: Isto pode não responder à tua pergunta, mas parece-me relevante o suficiente para ajudar quando lidamos com problemas de codificação. Pode ser adicionada muito mais informação. Basta indicar em comentário o pretendido.
Páginas HTML
As páginas HTML precisam sempre de uma indicação no cabeçalho através de uma META tag, do charset que o navegador deve utilizar para apresentar e receber dados:
Exemplo em HTML 5
<!doctype html>
<html>
<head>
<meta charset="UTF-8">
</head>
...
Exemplo em HTML 4
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
"http://www.w3.org/TR/html4/strict.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
</head>
...
Ficheiros PHP
O ficheiro principal responsável por apresentar o HTML e realizar as funções de interação com o utilizador (normalmente o index.php), deve conter uma indicação logo no início do mesmo, antes de qualquer envio de cabeçalhos para o browser, indicando o charset a utilizar:
/* Setting charset for proper language
* support, DB interaction, etc.
*/
header('Content-Type: text/html; charset=UTF-8');
Isto vai garantir que a informação enviada para o navegador e a informação recolhida do mesmo vão estar em UTF-8.
Posts ao servidor via HTML > PHP
Se o PHP e o cabeçalho da página HTML estiverem a indicar o mesmo Charset, como visto em cima, um post normal a partir de um formulário na página vai enviar a informação do navegador para o servidor em UTF-8.
Contudo, existe uma forma de indicar que o formulário deverá enviar os dados para o servidor num Charset especifico:
<form action="mytargetfile.php" accept-charset="UTF-8">
Isto não é necessário pois o procedimento "normal" é aplicar o mencionado nos pontos em cima. Mas pode ser utilizado sem problemas.
Posts ao servidor via Ajax > PHP
Os posts realizados via Ajax enviam a informação respeitando as indicações da página HTML. Essa mesma informação deve chegar a um ficheiro de destino que tenha a indicação do charset a utilizar.
Contudo, também aqui é possível indicar o Charset a utilizar para o envio de dados:
$.ajax({
data: parameters,
type: "POST",
url: ajax_url,
contentType: "application/x-javascript; charset:UTF-8",
success: callback
});
A indicação do tipo de conteúdo varia, naturalmente, de acordo com o conteúdo a enviar, mas a mesma é sucedida pela indicação do Charset a utilizar.
Ao editarmos ou criarmos um ficheiro, devemos ter sempre em conta que o mesmo deve ficar codificado com o Charset igual à informação que vai passar por ele.
Isto é um pequeno detalhe, mas que garante que a informação esteja a ser bem gerida em relação à codificação da mesma.
Aqui é importante ter em atenção que a ligação que abrimos à base de dados para guardar ou ler dados deve estar a utilizar o mesmo Charset que os dados e o código responsável por esta operação estão a utilizar:
Exemplo de ligação à base de dados via PDO indicando o Charset:
<?php
/**
* Instances a new database connection
* @return PDO instance of PDO connection
*/
protected function InitConnetion() {
$dbh = new PDO(
'mysql:host="meuServidor";dbname="minhaBD";',
"utilizador",
"password",
array(
PDO::ATTR_PERSISTENT => false,
PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => true,
PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES utf8"
)
);
return $dbh;
}
?>
Repara que estou a aplicar "utf8" ao invés de "utf-8" pois o ficheiro que a base de dados tem com as instruções deste Charset chama-se utf8. Dependendo a configuração do servidor o ficheiro pode chamar-se "utf-8", "utf8" ou "bananas". Quando indicas um nome que não existe, recebes um erro, e sabes que vais ter que alterar.
A melhor forma de converter ISO 8859-1 caracter para UTF8 que encontrei foi essa:
function fixEncoding($in_str)
{
$cur_encoding = mb_detect_encoding($in_str) ;
if($cur_encoding == "UTF-8" && mb_check_encoding($in_str,"UTF-8"))
return $in_str;
else
return utf8_encode($in_str);
}
Mas no caso de arquivos HTML basta usar esse cabeçalho:
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
Recomendo fortemente a leitura desse artigo(inglês) achei muito útil para entender os encoding da vida que no PHP as vezes dão no saco.
Para outros formatos o mais indicado seria o metodo iconv
mas teria que fazer alguns testes para tentar faze-lo de forma dinâmica em relação a codificação atual ver iconv php
Fonte: Aqui
utf8_encode($in_str)
você tem certeza que isso funciona? A documentação que você indicou diz que o parâmetro data
deve ser uma string ISO-8859-1. O que acontece se o encoding detectado estiver em outro formato (digamos, UTF-16) e você passar essa string para utf8_encode
?
Commented
19/12/2013 às 12:25
Baseado na resposta do @Guerra consegui achar a solução. Minha página html esta com Charset UTF-8 setado e meu Banco MySQL também. O que é estranho pois quando a função detecta o caractere como UTF-8 preciso usar o ut8_decode para que entre corretamente a acentuação no banco.
Pelo que entendo utf8_decode transformaria em ISO-8859-1, alguem pode dar uma explanação melhor nos comentários?
function fixEncoding($in_str)
{
$cur_encoding = mb_detect_encoding($in_str) ;
if($cur_encoding == "UTF-8" && mb_check_encoding($in_str,"UTF-8"))
{
return utf8_decode($in_str);
}
else
{
return $in_str;
}
}
UTF-8
, mas a biblioteca que faz interface com ele pede parâmetros em que formato?
Commented
19/12/2013 às 12:27
ISO-8859-1
. É preciso entender a diferença entre o encoding usado pelo banco e o encoding que você usa pra fazer a conexão a ele. Se uma mesma biblioteca se conecta a 10 bancos diferentes, cada um com um encoding diferente, ainda assim o SQL que você vai passar pra ela vai sempre usar o mesmo encoding. É função do BD usar o encoding certo, a sua função é interagir com a biblioteca que faz a conexão.
Commented
19/12/2013 às 12:32
Resumidamente, esse fato, para programadores PHP, acarreta dois cuidados:
Páginas, dados, scripts PHP, tudo deve ser codificado em UTF8. Desconfie da arquitetura, da biblioteca, do ambiente, do que for que não estiver representando o português em em UTF-8.
Fique atento ao PHP, ele não é "nativamente UTF8", isso pode causar transtornos. Para superar esse problema, confira as dicas e detalhes nesta resposta.
Edit (depois comentário Bacco)
Não é uma questão de "preferência pessoal", é uma questão de respeito, assim como são respeitadas as placas de trânsito, independente de gostarmos delas ou não.
Respeito às seguintes convenções, "de jure" e "de fato":
ePING, principal recomendação brasileira para interoperabilidade-BR
RFC3629, IETF (Internet), assim como XML, HTM5, etc. no W3C
... Padrão "de fato" (que um dia, quando se dava a liberdade do "cada um por si", foi da Microsoft) ver histórico da aderência na Wikipedia ou direto uma das fontes aqui. Ou seja, há uma grande aderência pelo mundo, de quase 90%.
No Style CSS: html:lang(pt-br) { @charset "UTF-8"; }
No HTML: html lang="pt-br"
No HEAD: meta charset="UTF-8"
Eu uso o HTML5 com PHP versão 7.3 e funciona.
meta http-equiv="Content-Type"
), podendo ser extraída do mesmo. Em outros, o que resta é "adivinhar" (usando omb_detect_encoding
). Veja a resposta do @Guerra. Só que, pessoalmente, considero má prática trabalhar com encodings desconhecidos, por isso quero entender melhor seu problema para sugerir uma solução mais apropriada.