34

Bom, eu estava pensando como sites com grande acesso usuários fazem testes em seu software e os testam para lançamento final, por que qualquer coisa ou erro de código pode ocasionar em falha bruta do sistema é interrupção em nível geral, o que ocasionaria um prejuízo feio.

Eu li um pouco sobre automação de testes no PHP com o PHPUnit entretanto fiquei em aberto com a seguintes dúvidas no geral.

  • Qual seria uma boa forma de testar o software?

  • Seria interessante usar processos de testes manuais ou automáticos?

  • Existem critérios para realização de tal?

  • Como definir que aquele software está apto para o usuário final?

3
  • 7
    O facebook é distribuído (roda é várias máquinas) e ele pode condicionar o acesso dos usuários a máquina com versões específicas, como por exemplo liberar novas versões para certas regiões e ir avaliando/monitorando o desempenho até que todas as regiões sejam atualizadas. A maneira como isso vai ser feito, depende da sua estratégia. É possível utilizar servidores de teste antes de enviar um sistema para servidores em produção; e também realizar testes de stress. Procure por testes automatizados e ferramentas e estratégias.
    – RafaelTSCS
    Commented 13/10/2015 às 17:24
  • 6
    @RafaelTSCS, não querendo te cobrar, mas sinto que você pode dar uma boa resposta para esta pergunta.. :p
    – Ale
    Commented 13/10/2015 às 18:26
  • 1
    Meu conhecimento é bem limitado nesta área. Eu até estava preparando uma resposta, mas ela não chegou aos pés da resposta do @guiandmag então deixei pra lá... hehehehe
    – RafaelTSCS
    Commented 20/10/2015 às 19:35

2 Respostas 2

41
+50

Estado da arte do teste

Dominar o código e assegurar sua confiabilidade se tornou uma das maiores prioridades para todos os desenvolvedores que enfrentaram arquiteturas complexas, cada vez mais ricas.

Determinadas ferramentas são capazes de nos ajudar a testar as Aplicações Web para atender à todas as nossas expectativas em termos de desenvolvimento com qualidade.

Teste de Integração

Teste de integração é a fase do teste de software em que módulos são combinados e testados em grupo. O propósito do teste de integração é verificar os requisitos funcionais, de desempenho e de confiabilidade na modelagem do sistema. Com ele é possível descobrir erros de interface entre os componentes do sistema.

Teste Unitário

Teste unitário é toda a aplicação de teste nas assinaturas de entrada e saída de um sistema. Consiste em validar dados válidos e inválidos via I/O (entrada/saída) sendo aplicado por desenvolvedores ou analistas de teste.

Uma unidade é a menor parte testável de um programa de computador. Em programação procedural, uma unidade pode ser uma função individual ou um procedimento. Idealmente, cada teste de unidade é independente dos demais, o que possibilita ao programador testar cada módulo isoladamente.

Ferramentas

  • Mocha
  • JUnit
  • Jasmine

Teste Funcional

Garante estabilidade da aplicação imitando o caminho do usuário no navegador. Permite verificar se a aplicação está funcionando normalmente e pode alertar para possíveis regressões.

Ferramentas

  • Selenium
  • Capybara
  • Protractor

Teste Multi-browser

Para garantir a compatibilidade cross-browser do seu aplicativo, é necessário para executar testes funcionais em vários navegadores e plataformas.

Ferramentas

  • SauceLabs
  • BrowserStack
  • WebDriverJS

Teste de Segurança

Conhecido como Security Testing, permite avaliar as vulnerabilidades em aplicações e serviços frente a diferentes tipos de ataques de segurança – como Ataques de negação de serviço ou Ataque man-in-the-middle – e descobrir novas vulnerabilidades antes que sejam exploradas por atacantes.

Ferramentas

  • Skipfish
  • OWASP Zed Attack Proxy

Teste de Performance

Teste de Performance ou Teste Desempenho consiste em avaliar a capacidade de resposta, robustez, disponibilidade, confiabilidade e escalabilidade de uma aplicação, conforme a quantidade de conexões simultâneas, avaliando seu desempenho em alta carga de trabalho e considerando seu comportamento em circunstâncias normais.​

Ferramentas

  • AgileLoad
  • WebPageTest
  • Google Page Speed Insight

Teste de Stress

O Teste de Stress consiste em submeter o software a situações extremas. Basicamente, o teste de estresse baseia-se em testar os limites do software e avaliar seu comportamento. Assim, avalia-se até quando o software pode ser exigido e quais as falhas (se existirem) decorrentes do teste.

Ferramentas

  • Gremlins.js
  • Apache JMeter
  • http_load

Integrando tudo

Não basta simplesmente testarmos tudo e não integrarmos de forma automática, os usuários não podem ficar sem o sistema.

O Zero Downtime Deployment na prática

O Zero Downtime Deployment (“Deploy sem interrupção”) é uma estratégia que visa fazer um deploy sem interromper o funcionamento do aplicativo a fim que a troca fique transparente para os usuários.

Como colocar novas versões do aplicativo em produção sem impactar a experiência dos usuários?

A aplicação do Zero Downtime Deployment é baseado em alguns padrões e boas práticas.

Blue/Green Deployment

O Blue/Green Deployment é o padrão clássico do Zero Downtime Deployment. Ele assume que o aplicativo fica em produção em, pelo menos, dois conjuntos de máquinas. O objetivo é o de subir a versão N+1 num conjunto (verde aqui abaixo) enquanto o serviço é mantido num outro conjunto (azul) na versão N.

image

Canary Release

Esse padrão combinado com o Blue/Green Deployment permite confrontar a versão N+1 com uma população limitada de usuários enquanto a maioria dos usuários usam a versão N. Os mecanismos envolvidos são os mesmos que para o Blue/Green Deployment.

Esse padrão é usado pelo Facebook, onde os seus funcionários utilizam a nova versão do site durante um dia antes de deixar acessível para todos os usuários caso tudo esteja correto.

image

O Dark Launch

Esse padrão permite colocar em produção de maneira invisível uma funcionalidade para simular progressivamente um teste de carga com o tráfego que existirá na utilização real.

O objetivo desse padrão é de validar as performances e a escalabilidade da plataforma. Simulando de maneira progressiva o tráfego esperado ajuda para preparar e otimizar os sistemas para que ocorra tudo bem durante o lançamento da funcionalidade no dia D.

Implementação

O objetivo é combinar o mecanismo de distribuição de carga (Load Balancing) com o processo de deploy:

  1. o Load Balancer tira o conjunto de máquinas onde vamos colocar a versão N+1,
  2. depois do deploy, o Load Balancer dirige alguns usuários até esse conjunto com a versão N+1,
  3. o Load Balancer tira a(s) outro(s) conjuntos(s) de máquinas, de maneira incremental se tem vários, para subir de versão até a N+1 e coloca de novo na distribuição de carga.

image

Concluimos

Que o teste é essencial pra qualquer empresa que necessite garantir que jamais quebre o seu sistema e fique inutilizável para todos os seus usuários, e com isso precisamos também definir estratégias para fazer a release de tudo, não é possível derrubar tudo por 5 minutos enquanto estamos subindo uma nova versão, dessa forma compreendemos de uma forma mais abrangente como funciona isso.

Podemos ter mais estratégias de testes e de release, mas espero ter dado uma luz a sua dúvida, abraço.

3
  • 1
    Não sabia que era utilizado o Canary Release, pra falar a verdade não sabia nem sobre esse teste. Obrigado +1 Commented 20/10/2015 às 19:34
  • 1
    Canary Release é uma estratégia de integração de novas features, tem bastante coisa, e é bastante interessante ver como essas empresas fazem isso. Valeu.
    – guiandmag
    Commented 20/10/2015 às 19:37
  • 1
    @guiandmag Cara, queria poder votar mais de uma vez! Obrigado! Commented 23/10/2015 às 4:30
16

Minha resposta visa complementar a do @guiandmag, pois restam alguns questionamentos.

É importante conhecer as técnicas para se testar um software, mas é preciso uma boa dose de sabedoria para determinar o que viável e adequado de implementar.

Qual seria uma boa forma de testar o software?

Dentre todas as técnicas disponíveis, será preciso determinar aquelas que vão efetivamente garantir que o usuário está tendo as necessidades atendidas.

Testes unitários ajudam o desenvolvedor e acabam sendo essenciais para uma base de código sadia. Alguns testes de integração podem ser interessantes.

Dependendo da maturidade do produto, testes automatizados de interface podem ser bem interessantes para evitar regressões. Porém, se o produto é algo novo e está em desenvolvimento acelerado, provavelmente o tempo de criar e manter tais testes seria melhor despendido desenvolvendo as novas funcionalidades.

Vamos pensar em dois extremos. De um lado, um sistema bancário baseado numa legislação cuja possibilidade de mudança é baixo. De outro, uma aplicação SaaS em fase beta. Se pensarmos em aplicar os mesmos tipos de teste nas mesmas proporções para os dois cenários, significa que estamos fazendo algo errado.

Seria interessante usar processos de testes manuais ou automáticos? Existem critérios para realização de tal?

Algum nível de automação é sempre bem-vindo, principalmente em baixo nível.

Em alto nível voltamos ao tópico anterior: depende do tipo de sistema. Um sistema relativamente pouco complexo cujo usuário está envolvido diretamente se beneficiaria mais de um Teste de Aceitação do Usuário manual do que de uma camada complexa de automação de interface que sempre teste os mesmos cenários quase sempre de forma incompleta.

Como definir que aquele software está apto para o usuário final?

Se o usuário participa do processo de desenvolvimento, direta ou indiretamente, ele deve fazer o Teste de Aceitação (UAT - User Acceptance Test) que é o aval final das necessidades serem ou não atendidas.

Quando o usuário é desconhecido ou distante, como num serviço em nuvem, pode haver uma mistura de testes automatizados que cubram os cenários mais comuns de uso da aplicação (o que necessita de estatísticas e, portanto, alguma fase beta para colhê-las) e alguma equipe responsável analisar potenciais problemas.

Considerações

É importante compreender que testar tudo é simplesmente um mito. Você pode entender melhor as razões nesta minha outra resposta.

O caminho é equilibrar a quantidade de cada tipo de testes, aumentando e diminuindo conforme a proporção de produtividade e qualidade se queira alcançar.

Você não pode antecipar todos os problemas que podem acontecer, então na maioria das vezes os testes servem apenas para evitar cometer os mesmos erros novamente.

Por último, posso concluir que a qualidade de um sistema, embora um critério bem subjetivo, pode ser melhorada por testes ao diminuir a quantidade de vezes que um usuário final se depara com algum problema. Porém, a qualidade é muito mais impactada pela forma como o sistema é desenvolvido, desde os requisitos até a implementação. Bons analistas e bons desenvolvedores farão um trabalho muito melhor pela qualidade do que todos os testes possíveis juntos.

1
  • Essencial a última frase. Requerer muito teste no projeto em vez de requerer uma quantidade adequada de profissinoais competentes não vai ajudar em nada na qualidade do sistema.
    – Caffé
    Commented 23/10/2015 às 18:23

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .