3

Estou fazendo a otimização do meu banco de dados e aplicação em PHP. Gostaria da opinião de vocês em relação aos dados referente as cidades e estados. Atualmente utilizo o MySQL para fazer a exibição das cidades conforme o estado selecionado pelo usuário.

Pensei então na possibilidade em não utilizar o banco de dados para este caso, e sim apenas um arquivo XML com todos esses dados, de forma a poupar os recursos do meu servidor. O que vocês acham? A busca pelas cidades em um arquivo XML é mais leve em comparação com uma busca feita no MySQL?

6
  • 3
    Muito mais complexa. XML é uma das piores coisas que inventaram, pq é ruim pra tudo. O formato só vingou pq o mercado é regulado por teóricos com bons cargos em empresas, e acadêmicos, que não lidam com os problemas na prática. Tem até seu nicho de uso, mas quase sempre quem usa apenas usa por desconhecimento.
    – Largato
    14/08/2016 às 2:23
  • 2
    Outros exemplos de coisas muito usadas por "moda": Base64 (de cada 10 usos que eu vejo, 9 são absurdos), RegEx, OO em linguagem que não precisa, REST, SOAP, MVC, design patterns em geral.
    – Largato
    14/08/2016 às 2:27
  • Se quiser simplificar sem instalar o MySQL, melhor usar um SQLite, que ocupa cerca de 300k ou mesmo um include com um array. Se o MySQL ja estiver instalado na maquina, não tem vantagem não usar.
    – Largato
    14/08/2016 às 2:28
  • Obgd pelos esclarecimentos.
    – Luis
    14/08/2016 às 2:31
  • Só quis adiantar o assunto, e aproveitar pra contrariar a moda :) Mas vamos ver se alguém posta uma resposta "oficial" com orientações legais e interessantes. Como o formato do site permite várias respostas, pode ser que pessoas diferentes apresentem alternativas diferentes.
    – Largato
    14/08/2016 às 2:32

2 Respostas 2

5

Três abordagens diferentes para localizar os dados

A ideia do arquivo até que é boa pois o cadastro de cidades muda de forma muito lenta, então as atualizações ocorreriam de maneira bem esporádica e casual.

O motivo disso é que com o banco de dados, o servidor tem que:

  1. Receber a requisição.
  2. Conectar no banco de dados.
  3. Fazer uma consulta SQL.
  4. Obter os resultados da consulta.
  5. Montar uma resposta em formato HTML, XML, JSON ou no formato que você preferir e que vai ter um tamanho X.
  6. Enviar essa resposta de tamanho X ao navegador.

Sem o banco de dados, fica mais rápido, pois o servidor vai:

  1. Receber a requisição.
  2. Procurar o arquivo já pronto.
  3. Abrir o arquivo e ler ele por inteiro.
  4. Enviar o conteúdo do arquivo (de tamanho X) ao navegador.

Fica mais rápido ainda se você manter ele em memória assim:

  1. Receber a requisição.
  2. Enviar o conteúdo de uma variável global, constante do tipo string, ou texto fixo da memória ao navegador.

Uma forma de fazer isso é com um <?php include, uma vez que o PHP vai fazer manter na memória o conteúdo de todos os arquivos PHP acessados (ele não vai manter a saída que eles geram, e sim o código-fonte PHP). Colocando nesse código PHP um conteúdo fixo, o código-fonte será a própria saída, o que induzirá o PHP a no final das contas simplesmente copiar o conteúdo dessa memória diretamente para a resposta da requisição sem nenhum ou quase nenhum processamento adicional.

Para evitar ter que editar manualmente o XML (ou o formato que for) contendo os dados das cidades, você pode escrever algum procedimento que lê as informações necessárias do banco de dados e no final gera o conteúdo necessário e salva tudo em um arquivo PHP já no formato desejado. Dessa forma, se/quando a sua base de dados mudar, bastará você executar o procedimento novamente. Você não precisará executar esse procedimento nenhuma vez que não seja quando alguma coisa mudar ou na base de dados, ou no formato de dados a ser servido, ou no algoritmo que o gera.

Fazendo cache

Além de manter tudo em memória, você pode se aproveitar das habilidades do navegador em fazer cache do conteúdo, considerando que ele vai mudar muito raramente. Para isso, você publica o conteúdo em algum lugar com uma URL chamada cidades-2016-08-14.php ou coisa semelhante. Lá, você coloca os seguintes cabeçalhos na resposta da requisição:

Cache-control: max-age=31536000
ETag: "Cidades20160814"

E então, no servidor, antes de enviar o conteúdo em memória para o cliente, você verifica se há um cabeçalho da requisição chamado If-None-Match e se o valor dele é "Cidades20160814" (com as aspas). Se for, você devolve o status 304 Not Modified e a resposta da requisição em branco ou com um conteúdo bastante curto. Se não for, você devolve o conteúdo dos seus dados e acrescenta esses dois cabeçalhos na resposta da requisição. Note que o conteúdo do ETag e do If-None-Match devem vir sempre entre aspas.

O campo Cache-control especifica o prazo de validade. Aqui eu coloquei em 31536000 segundos, o que dá 365 dias. O campo ETag serve para fazer GETs condicionais. Esse valor você passa ao navegador quando ele vai buscar o recurso pela primeira vez e o navegador o armazena. Após finalizado o prazo do max-age, o navegador envia o valor do ETag de volta no cabeçalho If-None-Match para saber se o conteúdo mudou ou não, e ao responder 304, você sinaliza que não mudou. Caso tivesse mudado, você iria devolver a nova string com o ETag diferente.

O ETag deve mudar quando o conteúdo do seu recurso (no caso a lista de cidades) mudar. Vamos supor que em 10/01/2017 seja criado algum município em algum lugar. Neste momento, você poderia atualizar o conteúdo do seu recurso no PHP e trocar a ETag para "Cidades20170110".

Este esquema do ETag ainda tem um problema: Quando a base mudar, o navegador ainda ficará com a base antiga em cache por um bom tempo até que o cliente limpe a cache do navegador, ou o max-age expire, ou algo semelhante aconteça, o que pode ser problemático. Uma possível solução seria reduzir o valor do max-age, mas isso não é necessário. Neste caso, basta você mudar também a URL para cidades-2017-01-10.php, colocando a nova base de dados lá. Assim sendo, no dia que a base mudar, como a URL também mudará, automaticamente a cache do conteúdo anterior não mais será utilizada, desde que todas as referências nos demais arquivos do PHP e no javascript apontem para a URL nova, e é exatamente por causa disso que pode-se seguramente colocar-se um valor muito alto para o max-age nesse caso.

Pesquisas na base de dados

Para fazer pesquisas em cidades ou coisa do gênero, o melhor seria dar o conteúdo todo para o navegador e implementar toda a pesquisa por meio de javascript. Dessa forma, o navegador será capaz de fazê-la sozinha sem precisar solicitar nada ao servidor.

Caso uma busca no servidor seja necessária, para obter o melhor desempenho, você faz a busca apenas na memória do próprio servidor, e gera para cada requisição um valor de ETag que possa ser determinado facilmente com base nos dados fornecidos na pesquisa (ex: nome da cidade) e também com base na data em que os dados foram atualizados pela última vez. Os detalhes exatos do algoritmo que gera o ETag e o conteúdo exato do ETag não importam muito, desde que essas duas importantes regras sejam respeitadas:

  • O algoritmo tem que ser determinístico. Ou seja, para a mesma entrada, mesma versão do seu conjunto de dados e mesma URL de consulta, ele deve gerar a mesma saída.

  • O algoritmo tem que ser livre de colisões. Ou seja, em uma mesma URL de consulta, duas entradas diferentes ou duas entradas iguais em versões diferentes do seu conjunto de dados, devem gerar ETags diferentes.

Fica mais fácil gerenciar essas duas propriedades (principalmente a segunda) quando cada versão do seu conjunto de dados tem uma URL diferente, pois nesse caso a complexidade é reduzida apenas para gerar a ETag com base somente na entrada. Uma forma bem fácil e simples de gerar a ETag nesse caso, se a entrada for garantidamente uma string curta, é fazer o conteúdo da ETag ser o próprio conteúdo da entrada (talvez com algum escaping/encoding apenas).

Leitura adicional

Vale uma leitura no texto que eu usei como fonte, aqui: https://developers.google.com/web/fundamentals/performance/optimizing-content-efficiency/http-caching

1

Referente a performance, qualquer consulta ao banco de dados consome mais recursos do que simplesmente ler um arquivo.

Se quer uma resposta simples e direta, sim, dentro do contexto do que descreveu na pergunta, ler os dados de um arquivo xml é melhor opção.

Contudo, sugiro que simplifique ainda mais com o formato json pois é ainda melhor do que o xml por consumir menos recursos.

O padrão xml tem uma “vantagem” de poder validar com schemas. Com json também é possível com gambiarras para simular os recursos do xml, mas a necessidade disso depende de cada caso. No caso que descreveu, não vejo necessidade em usar xml.

Daqui em diante o assunto dispersa-se para outros temas, por isso paro por aqui.

Voltando ao assunto, uma “pequena” desvantagem em não usar no banco de dados é quando precisar de espelhamentos. É mais “fácil” fazer um replication e não se preocupar com dados de arquivos como txt, json, xml, dentre outros. Nesse caso tem que ter cuidado em manter a integridade dos espelhamentos e manter tudo sincronizado.

Se pensar em otimizar ainda mais, pode optar por um simples arquivo texto onde cada cidade seria separada por semicolon, vírgula, tab, quebra de linha, enfim.

Alternativamente, pode já deixar no formato da linguagem que está usando. Exemplo, em php

$arr = array(
    'cidade 1',
    'cidade 2',
    'cidade 3',
    'cidade 4'
);

Com isso, basta fazer um include no arquivo php.

Se for usar json, ficaria assim

$arr = json_decode(file_get_contents('cidades.json'), true);

Um fanfarrão novato diria que é melhor a segunda opção pois aparentemente tem menos códigos, mas a verdade é que o custo de memória e processamento é maior pois além do custo de ler o arquivo ḥá também o custo na conversão do json para array em php. Se o destino final for transformar tudo em array no php, então nada mais óbvio que já deixar no formato array em php.

O exemplo acima é para o caso de não precisar compartilhar os dados com sistemas terceiros.

O que descrevi acima são os pontos mais óbvios. Estando ciente do assunto, escolha o que for conveniente para o seu caso pois, no final das contas é o que importa.

Mas, ooops! Espere. Se precisar de um sistema de pesquisa de cidades? Buscar cidades que contenham “ab”, por exemplo. E para o caso de precisar listar todas as cidades que fazem aniversário no mês de Maio?

Aí a conversa já muda pois banco de dados seria uma melhor opção para dados relacionais e pesquisa, mas ainda assim não descarta usar técnicas de cache de dados em arquivos texto (xml, json, etc).

Qual banco de dados usar depende do projeto. Por vezes pode ver mais viável usar bancos como o SQLite mas também não ser a melhor opção caso necessite relacionar os dados das cidades com outras tabelas num SGQB como o MySQL.

Todavia, nada o impede de otimizar a forma como armazena os dados ou como faz o cache dos resultados de busca recorrentes. Pode ter uma tabela com as cidades no MySQL e ao mesmo tempo uma cópia dessa tabela no SQLite ou em arquivos texto.

Num resumo, não é muito vantajoso não usar um banco de dados quando necessitar de dados relacionais ou fazer buscas. A menos que você queira desenvolver "do zero" um novo método de busca, novos algoritmos ou "reinventar a roda" sem ganho efetivo.

1
  • 3
    Eu não acho que a sua resposta seja a ideal e a melhor (se fosse eu não postaria uma também). Mas também não acho que ela mereça o -1, pois afinal de contas você apresenta um conteúdo útil e com ideias interessantes. Por isso, fique com o meu +1. 14/08/2016 às 7:27

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .