9

Queria criar uma função que salvasse os dados no banco sempre no encoding correto (meu banco é UTF-8) de acordo com o encoding detectado.

Existe alguma função nativa do PHP pra fazer isso? Há alguma outra forma?

4
  • O que você está tentando salvar? Dados fornecidos pelo usuário? Arquivos no próprio servidor? E qual o formato desses dados? (o título da pergunta sugere páginas html, é isso mesmo?)
    – mgibsonbr
    Commented 19/12/2013 às 12:04
  • Sim dados fornecidos por um usuário. Os arquivos são .php utilizado com html. Como assim o formato dos dados?
    – Joao Paulo
    Commented 19/12/2013 às 12:06
  • 1
    Perguntei do formato porque em alguns casos (ex.: HTML/XML) essa informação pode estar contida no próprio documento (ex.: meta http-equiv="Content-Type"), podendo ser extraída do mesmo. Em outros, o que resta é "adivinhar" (usando o mb_detect_encoding). Veja a resposta do @Guerra. Só que, pessoalmente, considero má prática trabalhar com encodings desconhecidos, por isso quero entender melhor seu problema para sugerir uma solução mais apropriada.
    – mgibsonbr
    Commented 19/12/2013 às 12:09
  • Novamente o problema de conscientizar programadores a usarem UTF8 e de conseguirmos fazer isso a contento no PHP: ver essa resposta para mais detalhes Commented 9/03/2014 às 14:06

6 Respostas 6

11

Assumindo que seu servidor está servindo páginas codificadas como UTF-8, o comportamento padrão da maioria dos agentes de usuário (browsers etc) será utilizar essa mesma codificação ao enviar dados de volta ao servidor (através de formulários/POST, por exemplo). Também é possível aceitar outras codificações através do parâmetro accept-charset. Dessa forma não será necessário "detectar" nada, você próprio está instruindo o lado cliente a enviar dados já na codificação desejada.

Veja também essa resposta no SO em inglês. Um dos pontos importantes é que um browser que segue os padrões vai respeitar essa exigência de encoding, mas sempre é possível que um cliente (acidentalmente ou maliciosamente) envie dados com codificação diferente. Nesse caso, cabe a você determinar se é necessário tentar corrigir o problema que o cliente criou, ou deixar o ônus para ele... Usuários comuns utilizando navegadores modernos certamente não passarão por esse tipo de problema (mas não custa nada realizar alguns testes, de acordo com seu público alvo).


Atualização: baseado nas respostas sua e do @Guerra, creio que não é necessário detectar coisa alguma, simplesmente usar utf8_decode deveria ser o suficiente (pois seus usuários enviarão sempre em UTF-8, e sua conexão ao banco sempre espera ISO 8859-1, independentemente da codificação que o seu banco usa).

Mas se você quer uma solução robusta, eis o que sugiro:

function fixEncoding($in_str)
{
   $cur_encoding = mb_detect_encoding($in_str) ;

   if($cur_encoding == "UTF-8" && mb_check_encoding($in_str,"UTF-8"))
   {
       return utf8_decode($in_str);
   }
   elseif($cur_encoding == "ISO 8859-1" && mb_check_encoding($in_str,"ISO 8859-1"))
   {
       return $in_str;
   }
   else
   {
       // Não testado:
       // return iconv($cur_encoding, "ISO 8859-1", $in_str);
       throw new Exception('Codificação não suportada.');
   }
}
1
  • Só um comentário. Essa função do PHP mb_detec_encoding detecta se a string possui caracteres ASCII ou UTF-8 e não sobre a página que foi a pergunta original. De qualquer forma já ajuda.
    – Joao Paulo
    Commented 19/12/2013 às 13:05
9

A tua pergunta é um pouco vaga em relação ao problema especifico que estás a encontrar, pelo que, deixo aqui algumas considerações a ter para uma correta iteração com dados do utilizador, dados de e para o servidor e iteração com a base de dados, partindo da base indicada de que a tua base de dados está a funcionar com Charset UTF-8.

Notas: Isto pode não responder à tua pergunta, mas parece-me relevante o suficiente para ajudar quando lidamos com problemas de codificação. Pode ser adicionada muito mais informação. Basta indicar em comentário o pretendido.


Declarações ao navegador

  • Páginas HTML

    As páginas HTML precisam sempre de uma indicação no cabeçalho através de uma META tag, do charset que o navegador deve utilizar para apresentar e receber dados:

    Exemplo em HTML 5

    <!doctype html>
    <html>
      <head>
        <meta charset="UTF-8">
      </head>
      ...
    

    Exemplo em HTML 4

    <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" 
    "http://www.w3.org/TR/html4/strict.dtd">
    
    <html>
      <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
      </head>
      ...
    
  • Ficheiros PHP

    O ficheiro principal responsável por apresentar o HTML e realizar as funções de interação com o utilizador (normalmente o index.php), deve conter uma indicação logo no início do mesmo, antes de qualquer envio de cabeçalhos para o browser, indicando o charset a utilizar:

    /* Setting charset for proper language
     * support, DB interaction, etc.
     */
    header('Content-Type: text/html; charset=UTF-8');
    

    Isto vai garantir que a informação enviada para o navegador e a informação recolhida do mesmo vão estar em UTF-8.

  • Posts ao servidor via HTML > PHP

    Se o PHP e o cabeçalho da página HTML estiverem a indicar o mesmo Charset, como visto em cima, um post normal a partir de um formulário na página vai enviar a informação do navegador para o servidor em UTF-8.

    Contudo, existe uma forma de indicar que o formulário deverá enviar os dados para o servidor num Charset especifico:

    <form action="mytargetfile.php" accept-charset="UTF-8">
    

    Isto não é necessário pois o procedimento "normal" é aplicar o mencionado nos pontos em cima. Mas pode ser utilizado sem problemas.

  • Posts ao servidor via Ajax > PHP

    Os posts realizados via Ajax enviam a informação respeitando as indicações da página HTML. Essa mesma informação deve chegar a um ficheiro de destino que tenha a indicação do charset a utilizar.

    Contudo, também aqui é possível indicar o Charset a utilizar para o envio de dados:

    $.ajax({
      data: parameters,
      type: "POST",
      url: ajax_url,
      contentType: "application/x-javascript; charset:UTF-8",
      success: callback
    });
    

    A indicação do tipo de conteúdo varia, naturalmente, de acordo com o conteúdo a enviar, mas a mesma é sucedida pela indicação do Charset a utilizar.


Cuidados a ter com os ficheiros

Ao editarmos ou criarmos um ficheiro, devemos ter sempre em conta que o mesmo deve ficar codificado com o Charset igual à informação que vai passar por ele.

Codificação do Ficheiro

Isto é um pequeno detalhe, mas que garante que a informação esteja a ser bem gerida em relação à codificação da mesma.


Iteração com a Base de Dados

Aqui é importante ter em atenção que a ligação que abrimos à base de dados para guardar ou ler dados deve estar a utilizar o mesmo Charset que os dados e o código responsável por esta operação estão a utilizar:

Exemplo de ligação à base de dados via PDO indicando o Charset:

<?php

/**
 * Instances a new database connection
 * @return PDO instance of PDO connection
 */
protected function InitConnetion() {

  $dbh = new PDO(
    'mysql:host="meuServidor";dbname="minhaBD";',
    "utilizador",
    "password",
    array(
      PDO::ATTR_PERSISTENT               => false,
      PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => true,
      PDO::ATTR_ERRMODE                  => PDO::ERRMODE_EXCEPTION,
      PDO::MYSQL_ATTR_INIT_COMMAND       => "SET NAMES utf8"
    )
  );

  return $dbh;
}

?>

Repara que estou a aplicar "utf8" ao invés de "utf-8" pois o ficheiro que a base de dados tem com as instruções deste Charset chama-se utf8. Dependendo a configuração do servidor o ficheiro pode chamar-se "utf-8", "utf8" ou "bananas". Quando indicas um nome que não existe, recebes um erro, e sabes que vais ter que alterar.

1
  • 2
    +1 Excelente resposta, em particular a parte que fala "Cuidados a ter com os ficheiros". Um erro em potencial - e com consequências bastante danosas, às vezes irreversíveis - é especificar um encoding nos meta-dados, mas ter o seu conteúdo num encoding diferente. Já corrompi muitos arquivos/ficheiros por conta desse erro... (felizmente apenas com arquivos pessoais, nada do trabalho ou pior: de clientes)
    – mgibsonbr
    Commented 19/12/2013 às 14:14
3

A melhor forma de converter ISO 8859-1 caracter para UTF8 que encontrei foi essa:

function fixEncoding($in_str)
{
  $cur_encoding = mb_detect_encoding($in_str) ;
  if($cur_encoding == "UTF-8" && mb_check_encoding($in_str,"UTF-8"))
    return $in_str;
  else
    return utf8_encode($in_str);
}

Mas no caso de arquivos HTML basta usar esse cabeçalho:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 

Recomendo fortemente a leitura desse artigo(inglês) achei muito útil para entender os encoding da vida que no PHP as vezes dão no saco.

Para outros formatos o mais indicado seria o metodo iconv mas teria que fazer alguns testes para tentar faze-lo de forma dinâmica em relação a codificação atual ver iconv php

Fonte: Aqui

2
  • utf8_encode($in_str) você tem certeza que isso funciona? A documentação que você indicou diz que o parâmetro data deve ser uma string ISO-8859-1. O que acontece se o encoding detectado estiver em outro formato (digamos, UTF-16) e você passar essa string para utf8_encode?
    – mgibsonbr
    Commented 19/12/2013 às 12:25
  • 1
    @mgibsonbr realmente tens razão, falha minha. Editei a resposta para futuras pesquisas.
    – Guerra
    Commented 19/12/2013 às 12:34
1

Baseado na resposta do @Guerra consegui achar a solução. Minha página html esta com Charset UTF-8 setado e meu Banco MySQL também. O que é estranho pois quando a função detecta o caractere como UTF-8 preciso usar o ut8_decode para que entre corretamente a acentuação no banco.

Pelo que entendo utf8_decode transformaria em ISO-8859-1, alguem pode dar uma explanação melhor nos comentários?

  function fixEncoding($in_str)
  {
       $cur_encoding = mb_detect_encoding($in_str) ;

       if($cur_encoding == "UTF-8" && mb_check_encoding($in_str,"UTF-8"))
       {
           return utf8_decode($in_str);
       }
       else
       {
           return $in_str;
       }
  }
6
  • O seu banco pode estar em UTF-8, mas a biblioteca que faz interface com ele pede parâmetros em que formato?
    – mgibsonbr
    Commented 19/12/2013 às 12:27
  • Como eu vejo isso?
    – Joao Paulo
    Commented 19/12/2013 às 12:29
  • 1
    Não sei como você descobre, mas se você citar aqui a gente pode dar uma ajuda... Mas segundo o que você relatou, suspeito fortemente que seja ISO-8859-1. É preciso entender a diferença entre o encoding usado pelo banco e o encoding que você usa pra fazer a conexão a ele. Se uma mesma biblioteca se conecta a 10 bancos diferentes, cada um com um encoding diferente, ainda assim o SQL que você vai passar pra ela vai sempre usar o mesmo encoding. É função do BD usar o encoding certo, a sua função é interagir com a biblioteca que faz a conexão.
    – mgibsonbr
    Commented 19/12/2013 às 12:32
  • Eu não sei o que você chama de 'biblioteca que faz interface' para poder te falar. A collation do banco e das tabelas eu vi pelo HeidiSQL. Não entendo muito sobre encoding e está sendo muito produtivo saber mais. Obrigado pelas explicações.
    – Joao Paulo
    Commented 19/12/2013 às 12:38
  • 1
    Cara, eu entendo muito de encoding mas pouco de PHP... Talvez alguém mais experiente pode te ajudar mais, mas a curto prazo, se você está passando ISO-8859-1 pro seu banco e ele está aceitando, é porque é isso mesmo que ele está pedindo, então não precisa esquentar demais a cabeça com isso... :)
    – mgibsonbr
    Commented 19/12/2013 às 12:46
0

Programadores da língua portuguesa: o nosso charset é o UTF8!

Resumidamente, esse fato, para programadores PHP, acarreta dois cuidados:

  1. Páginas, dados, scripts PHP, tudo deve ser codificado em UTF8. Desconfie da arquitetura, da biblioteca, do ambiente, do que for que não estiver representando o português em em UTF-8.

  2. Fique atento ao PHP, ele não é "nativamente UTF8", isso pode causar transtornos. Para superar esse problema, confira as dicas e detalhes nesta resposta.


Edit (depois comentário Bacco)

Não é uma questão de "preferência pessoal", é uma questão de respeito, assim como são respeitadas as placas de trânsito, independente de gostarmos delas ou não.

Respeito às seguintes convenções, "de jure" e "de fato":

3
  • Nosso charset é o ISO-8859-1, que tem todos os caracteres Latinos e acentuação que usamos. É mais performático, pois usa armazenamento 1 caracter x 1 byte. UTF-8 serve basicamente para internacionalização. Com todo respeito ao Peter Krauss e suas outras idéias que eu até gosto, esta não é o caso. UTF-8 pode ter suas vantagens, mas esta não é uma delas. Aliás, se não fosse por causa de emoticons, caracteres árabes, chineses, etc, o UTF-8 só teria desvantagens. Respeito como uma opção pessoal (independente de ruim ou boa), mas não sendo apresentado como fato absoluto.
    – Largato
    Commented 9/04/2016 às 0:43
  • Oi @Bacco, fiz um edit e abri para Wiki caso queira voce mesmo editar alguma incorreção... É uma confusão comum, e você está errado quando diz que ISO-9959-1 "É mais performático, pois usa armazenamento 1 caracter x 1 byte". O UTF8 é justamente um grande sucesso e um grande consenso pois, justamente nas línguas ocidentais, que são as mais usadas na Internet, preserva 1 byte (!!). Esse 1 byte tem justamente "todos os caracteres Latinos e acentuação que usamos" (o à por exemplo é o 195<255)... enfim, dupla confusão: ver link Wikipedia-Ingles que passei (Wikipedia português é confuso). Commented 9/04/2016 às 19:41
  • Não vou entrar em debate, pq ja comentei disso antes. Não sei o quanto você entende de como os encodings mencionados funcionam, mas posso dizer sem medo que UTF-8 é mais lento e complexo de se trabalhar do que o ISO-8859-1. Essa coisa de 1 byte ja é perdida na acentuação em português. Quanto aos links, são recomendações para troca de dados entre sistemas, e não uso geral. Se em algum momento quiser e coincidir seu tempo com o meu, podemos levantar essas questões num chat, ou coisa do tipo. Não se trata de eleger o "melhor", mas de entender que nenhum formato é absolutamente superior ao outro.
    – Largato
    Commented 9/04/2016 às 22:18
-3

No Style CSS: html:lang(pt-br) { @charset "UTF-8"; }

No HTML: html lang="pt-br"

No HEAD: meta charset="UTF-8"

Eu uso o HTML5 com PHP versão 7.3 e funciona.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .