28

Que estratégias/boas práticas de programação podem ser adotadas para minimizar o risco de regressão de software?

Perguntas que podem ajudar a orientar:

  • quais "pegadinhas"/más-práticas podem enganar o programador e deixar um bug ou regressão de performance passarem despercebidos?
  • como gerenciar o fluxo de trabalho para isso?
  • que estratégias de programação e quais testes podem facilitar este processo?

As respostas não precisam ser detalhadas, podem ser tipo um "checklist" de melhores práticas, um guia que sirva de orientação para que os interessados possam a partir daí aprofundar no assunto. Mas, claro, quanto mais completa, melhor!

Contexto: Pergunto porque estou participando da elaboração de pacotes mais complexos no R e isso, que antes me parecia que não era algo complicado, está se mostrando difícil de gerenciar! PS: existe uma pergunta desse tipo no SO em inglês especificamente para o R com uma discussão bem interessante. Pensei primeiramente em fazer a pergunta especificamente para o R. Entretanto, como me parece que isso pode ser tratado como uma pergunta de programação em geral, e a comunidade do R no SOPT ainda está pequena, a principio deixo assim.

11
  • 3
    Testar testar e testar. Ter testes unitários e uma API pública bem documentada é a chave. Além disso vale usar ferramentas para checar se os testes estão cobrindo todo o código (coverage tools). Repetir esses testes em diversos ambientes é uma boa também (algo como o Travis-CI pode ajudar). Commented 12/03/2014 às 18:04
  • 2
    É @GuilhermeBernal, boas práticas são interessantes, mas nada, absolutamente nada, garante a ausência de problemas. Nenhum programador, por melhor que seja, consegue ter toda a estrutura de um programa em mente.
    – utluiz
    Commented 12/03/2014 às 18:09
  • 2
    @utluiz De fato. Quanto maior o projeto, maior a quantidade de regressões que achará depois, por mais cuidadoso que seja. Daí é interessante ter um método de atualizar o sistema pós-release. Outra coisa que ajuda é o peer-review, ter outras pessoas trabalhando e revisando no seu código. Commented 12/03/2014 às 18:13
  • 1
    Reduzir ao máximo o acoplamento entre os diversos componentes também ajuda bastante - em geral requisitos novos interferem pouco nos antigos, de modo que se os componentes estiverem desacoplados aqueles que não foram diretamente alterados não devem sofrer alteração de comportamento. No mais, manter testes de unidade como já mencionado, e se possível criar testes de regressão quando aplicável (é importante que - antes de qualquer release - um teste completo do sistema seja feito, mesmo nas partes que não sofreram alteração).
    – mgibsonbr
    Commented 20/04/2014 às 1:44
  • 2
    P.S. Também não achei a pergunta ampla demais. Está claro pra mim que a menção do R refere-se ao contexto, e não à pergunta em si, e embora uma resposta completa de fato seria muito extensa, nada impede que seja proposto um "checklist" para orientar na tarefa de prevenção de defeitos desse tipo (estou bastante interessado numa resposta desse tipo também, apesar dos meu vários anos desenvolvendo sinto que ainda sei pouco sobre regressão). Vou indicar a pergunta pra reabertura.
    – mgibsonbr
    Commented 20/04/2014 às 1:48

3 Respostas 3

15
+50

O termo "regressão de software" vem do inglês "software regression", significa "regresso de bug no software" ou "reemergência de falha". No dia-a-dia também usamos o termo "efeito colateral" (side-effect): aplicamos boas doses de correção, mas o software enfermo ainda sofre, justamente de algum mal causado pela correção.

Se usarmos a noção de que o software "avança" com a correção de bugs, então podemos dizer que o software "regride" com a inclusão dos bugs do efeito colateral; o que nos traz um sentido mais apurado para "regressão".

Softwares complexos não são tão diferentes do corpo-humano, e programadores não são diferentes de médicos com anos de formação e experiência: vão evitar mas não se esquivarão dos efeitos colaterais. É um "efeito sistêmico", está na natureza dos sistemas complexos... Como num cubo mágico, surgem situações onde tentamos arrumar um lado, mas comprometemos o outro.

Será que são como demônios escondidos, o programador perfeccionista nunca terá paz de espírito? A primeira dica para o leitor desavisado é essa: só se preocupe com o assunto em sistemas complexos, ou seja, em situações onde você perdeu a visão detalhada do todo.

Alias, dessa dica já surge uma abordagem anterior ao problema... Talvez ele não exista (!), se formos capazes de modularizar o programa.

Modularização

Antes de suspeitar dos problemas sistêmicos, as melhores práticas sugerem que se organize o sistema em módulos com o máximo de desacoplamento possível. É a "heurística do dividir para conquistar". Um sistema de módulos bem isolados e desacoplados não será complexo se nenhum desses módulos forem complexos.

Resposta

Apesar de ser "da natureza" do sistema complexo, há duas abordagens fundamentais para os inconformados lidarem com o fato (investir em uma só costuma ser suficiente):

  1. Isolar e usar a versão de homologação na produção (ver seção "Conceitos" mais abaixo). Confie sempre desconfiando, a "versão estável" requer quarentena, os usuários devem usar em produção a nova versão em um ambiente separado ("de homologação") ou estar de sobreaviso sobre a "nova versão" (aí esteja pronto para restaurar a versão antiga). A homologação não seria apenas "o cliente aprovar" mas "o cliente usar por um tempo e depois dizer se aprova ou não"... Isso tudo porque na maior parte dos ambientes de trabalho, o teste de software não é levado tão a sério, só se "testa mesmo" quando se está produzindo.
    Exemplo: num sofware Web, oferecer a um grupo de usuários mais experientes outro endereço para o software em homologação (com ele já atuando na base de dados de produção).

  2. Simular o ambiente de uso, onde asserts possam ser efetuados massiva e automaticamente: todo "software estável" pode ser monitorado e ter as entradas e saídas gravadas para efeito de "memorial do bom comportamento".
    Pode em teoria, pois quanto mais sofisticada a interface-com-usuário, mais difícil monitorar. Um log de POST e GET de um webservice, por exemplo, pode ser armazenado. Há que se certificar e filtrar apenas itens desse log que possam ser considerados "bons exemplos de como se deve funcionar". Já fiz isso construindo imensos arquivos de XML, e então simulando o uso do webservice. Dá um trabalhão, mas é uma soluções quase perfeita (!).
    PS: não se fala em coverage tool ou non-regression testing antes de um log desses. A estatística sobre asserts é a base metodológica de qualquer abordagem de simulação.


Notas

Claro, igualmente importante, como essas práticas exigem investimento, não deixe de investir em boa documentação, em demonstrações e em apoio da equipe — como bem lembrou o @GuilhermeBernal, existe a prática da "revisão por pares" (peer-review), que também eleva a confiabilidade dos algoritmos críticos.
PS: no caso particular de linguagem R (que parece ser o desafio do @Carlos), que é bastante orientada para Matemática e permite uso do paradigma de programação funcional, é conveniente investir na "prova matemática" de cada algoritmo crítico. Algoritmos com prova dispensam testes sistemáticos... Em contextos de alta confiabilidade (aplicações militares, aeronáuticas, bancárias) a prova é mais importante que o teste.


(Lado humano e gerencial)

Ah, apesar de óbvio, bom lembrar, principalmente o cliente ou o chefe que lhe cobra prazos: se vai precisar depois homologar, jamais depender de algo que não foi ainda homologado. É importante "bater o pé" e cobrar dos responsáveis pela homologação (ou pela construção dos logs de teste), que esta chegue ao fim. É importante dividir (se possível em contrato!) a sua responsabilidade com quem testa. Um edifício estável se constrói sobre fundações estáveis. "Regressões de regressões" são comuns quando o programador não tem voz na equipe, ou quando os testes são "mera formalidade".

Lado do usuário: alguns "efeitos colaterais" surgem por falta de aviso aos usuários de que "algo mudou" e que essa mudança implica no usuário também mudar sua forma de proceder. Neste caso não é falha do programador, mas falta de atualização do manual de operação do software, ou de comunicação com os usuários.

Lado psicológico: é comum negligenciarmos casos de "efeito colateral aceitável", quando o efeito colateral é raro ou seu "mal" não é pior do que o software antes da correção. Não podemos nos acomodar: documente e coloque na lista de bugs, a Lei de Murphy diz que vai ressurgir (regressão de regressão!) e causar danos piores se não arrumar.


Conceitos

(tópio incluso depois de ver a disparidade terminológica da discussão) Um breve dicionário da terminologia usada, e de uma visão pessoal do contexto.

Tipos de falha (de interesse para o presente escopo): falha do software e falha dos requisitos. A formulação, análise e documentação dos requisitos faz parte do processo de desenvolvimento de um software, e tem como resultado o que chamamos genérica e vagamente de "requisitos". Se os requisitos forem falhos, originarão um software falho. Se os requisitos são razoáveis, podemos falar nas falhas do software, também chamadas de bug.

Bugtracking e novos requisitos: ferramentas como o Bugzilla ou o mesmo interfaces de comunidade como o issue tracking do Github, permitem documentar e avaliar com precisão os bugs e os novos requisitos (solicitações de novas funcionalidades).

Correção de bug: usamos o termo "correção" por vezes de forma confusa, abrangendo também a noção de "inclusão de nova funcionalidade" (satisfazendo pedido de novo requisito). Por praticidade adotarei esse péssimo habito no presente texto.

Bases da confiabilidade: vou supor (ignorar outras teorias por praticidade) que as duas únicas maneiras de tornar um software mais confiável são testando o mesmo depois de pronto, e "demonstrando" (prova matemática) a cada passo que algoritmo cumpre os requisitos, com alguma condição de caixa-preta, ou com alguma descrição formal de alto nível. Ou seja teste e prova são as únicas maneiras.

Controle de versões: vou usar o termo "versão" para designar "software depois de correção de bug" apenas, ignoremos "versões fork". O controle de versões é exercido por softwares de gestão de códigos-fonte como o git.

Versão de teste: tratemos por "versão alfa" aquela que a equipe de desenvolvimento está testando, e "versão beta" aquela que um grupo seleto de usuários testa (apenas teste, ainda sem produzir)...

Homologação vs produção: "produção" é quando foi aceito e está estável e em uso, por todos. "Homologação" é um termo comumente intercambiado por outros. No presente jargão o que o Debian chama de testing releases, eu chamaria de "releases de homologação". No mesmo Debian o que já foi homologado, e está "em produção", é dito stable release. Em muitos ambientes de desenvolvimento não se distingue teste de homologação. Uma das propostas da resposta é justamente fazer essa distinção.

Testes de regressão

O objetivo do chamado "teste de regressão" é certificar que mudança no software (correção de bug) não introduza novas falhas ou efeitos colaterais. A rigor é o mesmo que efetuar diversos asserts (item 2 da seção Resposta), mas na prática quem faz isso é um aplicativo apropriado (que simula usuário) ou a equipe de teste (usuário real). Tem um perfil muito mais de teste de caixa preta.

Outra coisa importante nesse tipo de teste é o mapeamento dos módulos nas funcionalidades testadas pelo usuário final: testar primeiro, ou com mais insistência, os módulos mais acoplados ao módulo modificado.

Quando se tratam de novas funcionalidades (não correção), o assert pode se tornar mais complexo, pois não há um conjunto de saídas previamente homologadas para se comparar. Nesse caso ferramentas de diff podem ajudar a comparar as saídas "nova" e "antiga".

2
10

Como já mencionado nas ótimas respostas existentes, a regressão (entendida simplesmente como algo que funcionava como esperado deixar de funcionar) é um fenômeno natural em sistemas complexos, ao ponto de até mesmo ser argumentado como algo inevitável. De todas as formas, a experiência indica que há algumas formas de diminuir o risco desse indesejável efeito.

1 - Minimizar as dependências entre componentes de software

Dependências de software são relações de uso entre "pedaços" de um sistema computacional que têm por objetivo o reuso e/ou a organização de conceitos, soluções ou apenas de código. Essas dependências podem ocorrer de diversas formas, seja por meio de variáveis globais, saltos (com o famigerado goto), funções, classes ou qualquer outra estrutura disponível na linguagem de programação utilizada.

Tais dependências são necessárias na construção de qualquer sistema, pois são o que permitem que a solução ocorra. Mas, são também a principal causa da complexidade em se alterar um software existente. Por exemplo, uma função reutilizada em inúmeros locais tem um grau de dependência elevado, de forma que qualquer alteração nela efetuada seguramente afetará seus utilizadores (seja provendo uma melhoria, se a alteração for corretamente efetuada, seja causando uma regressão, caso contrário).

Minimizar dependências quer simplesmente dizer diminuir o número de "partes" de um software que dependam de outras. Mas essa diminuição não é arbitrária, e sim realizada segundo uma abordagem racional. Por exemplo, costuma-se colocar como "boa prática" evitar escrever funções muito extensas. A razão para isso é que uma função muito grande potencialmente faz mais do que deveria, e acaba sendo reutilizada por muitas partes dentro de um software. E se assim for, por fazer mais do que uma "função" (veja como o nome faz sentido) pode precisar ser alterada devido à uma funcionalidade A e acabar por gerar uma regressão em uma funcionalidade B que está dependente da mesma função.

O correto planejamento dessas dependências, tanto durante a fase de análise como também da programação, pode evitar o "acoplamento" desnecessário de funções que fariam muito mais sentido se mantidas separadamente. Isso vale principalmente para linguagens orientadas a objetos, especialmente quando a herança é envolvida. Uma máxima que representa esse ideal na linguagem C++ (lembrança de projetos antigos, hehehe) é: "se ao fazer uma modificação eu não precisei mexer nesse arquivo CPP, então seguramente não haverá regressão nele".

Aliás, essa prática também ajuda a localizar mais facilmente os potenciais locais de problema na ocorrência de uma regressão, e está relacionada a outra boa prática que eu menciono no item seguinte.

2 - Utilizar uma gestão de desenvolvimento efetiva

A organização no desenvolvimento de software não se limita a organização das funções em blocos de código. O próprio processo de desenvolvimento leva tempo e requer, ao mínimo, cuidados como a cópia de backup dos arquivos-fonte. Um desenvolvedor trabalhando sozinho poderia realizar essas cópias em arquivos zip, mas faz muito tempo que existem ferramentas mais apropriadas.

Ferramentas de controle de versão servem pra muito mais do que apenas fazer backup. Elas mantém um histórico de alteração por arquivo, permitindo a comparação de alterações e principalmente a restauração de versões anteriores caso isso seja necessário. Mas, além disso, elas permitem a gestão do desenvolvimento em níveis mais altos, com a definição de rótulos de versão ou baselines.

Em um processo de desenvolvimento maduro, parte-se de uma versão X.XX bem estabelecida do software (isto é, funcional e com problemas bem conhecidos) e faz-se o planejamento das alterações para a próxima versão. Essas alterações incluem não apenas correções de problemas como também melhorias, ambas escolhidas segundo critérios de gestão do projeto. Os desenvolvedores fazem as alterações no código de forma a corrigir os problemas ou implementar as melhorias, e espera-se que eventualmente uma nova versão X.XY (ou Y.YY) seja produzida incluindo as correções e melhorias e sem regressões.

O uso de ferramentas de controle de versão (mais especificamente, de ferramentas de gestão de configuração) que incluam o fluxo de trabalho (workflow) permite aos gestores estabelecer uma linha de base (baseline) que marque individualmente a versão de cada arquivo de código-fonte como pertencente à versão do sistema sendo gerada e entregue. Por meio desses rótulos de versão, tais ferramentas são capazes de identificar facilmente os arquivos alterados de uma versão à outra, facilitando enormemente a identificação dos componentes que necessariamente precisam ser testados para a verificação do sucesso da correção dos problemas e da implementação das melhorias, e também das dependências que precisam ser testadas para verificar a possibilidade de ter havido uma regressão.

Deve ser fácil notar como esse item é complementar ao anterior. Dependências desnecessárias não somente abrem margem para potenciais regressões, como aumentam o tempo de compilação em projetos grandes e dificultam a gestão mencionada. Outra boa prática, em linguagens como C++ e Java é criar arquivos separados para cada classe. Essa boa prática está ligada com esse princípio de separação, e de certa forma permite a certeza de que um arquivo que não foi alterado seguramente não apresentará regressão de uma versão para outra.

3 - Roteirizar os testes - preferencialmente de forma automatizada

Ainda que não alterar um arquivo de código garanta a ausência de regressão em seu escopo local, essa é uma constatação ainda insuficiente. As funcionalidades providas por sistemas complexos são dependentes de um grande número de componentes, e de um número ainda maior de arquivos de código. Assim, se faz necessária a verificação da regressão ao nível funcional.

Existem formulações matemáticas que podem provar (por contradição ou indução, por exemplo) que uma parte de um código faz o que alega fazer, mas a aplicação desse princípio em sistemas vastos e complexos é simplesmente inviável. Por isso que a melhor forma de avaliação de sistemas é o teste. Em outras respostas menciona-se utilizar o sistema em ambiente isolado da produção, mas eu enxergo isso como uma forma distinta de teste. Afinal, se o ambiente não é de produção, o sistema não está sendo de fato utilizado.

Idealmente deveria-se testar o sistema completamente antes da entrega de uma nova versão, mas isso nem sempre é possível (por falta de tempo ou de recursos). As indicações de alteração fornecidas pelas ferramentas de controle de versão descritas anteriormente podem ser de muita ajuda. Mas é cada vez mais prática comum a automatização dos testes sempre que possível. Essa automatização faz especialmente sentido quando relacionada aos requisitos funcionais, de forma a garantir que cada requisito foi devidamente verificado (essa relação deve existir independentemente da automatização, na verdade - mas enfim).

Na última empresa em que trabalhei como funcionário, novas versões eram testadas inicialmente de forma manual (por um funcionário diferente do desenvolvedor) apenas nos componentes indicados como alterados pela ferramenta de controle de versão (lá se utilizava o Rational ClearCase). Caso problemas fossem encontrados (entre eles qualquer regressão), um chamado na própria ferramenta era aberto para que algum desenvolvedor verificasse, e a versão era congelada até que o problema estivesse solucionado. Passada essa fase de testes manuais, uma ferramenta de automatização (lá se utilizava o AutoHotKey) era automaticamente executada em uma versão gerada e instalada em uma máquina independente (sem qualquer instalação de compiladores, bibliotecas, etc). O automatismo incluia interações via interface gráfica nos mesmos moldes que um utilizador final (usuário), e os roteiros desse teste eram criados e mantidos por outros funcionários independentes dos testadores e desenvolvedores, mais próximos da analistas de requisitos, para testar completamente o sistema em termos de suas funcionalidades. As regressões eram raras (creio que devido à boa gestão de testes e também à maturidade da equipe de desenvolvimento), mas quando ocorriam eram principalmente identificadas nessa fase.

Concluindo

Regressões são problemas que só podem ser tratados com a atuação de toda a equipe de desenvolvimento, pois dependem de boas práticas na programação, nos testes e na gestão. De fato, testes parecem ser a forma mais eficaz de identificação de regressões. Hoje, ao comparar as abordagens das diferentes empresas em que trabalhei, eu diria que esse tipo de problema é o que mais prejudica a imagem da empresa perante o cliente, pois transparece a má gestão do projeto muito facilmente.

A automatização dos testes é uma prática útil e razoavelmente fácil hoje em dia (tem diversas ferramentas que podem ajudar nisso), mas ela depende principalmente de um bom roteiro de testes (checklist), que verifiquem em uma primeira instância apenas os componentes alterados, e em última instância todas as funcionalidades.

A regressão é um problema um tanto inevitável, principalmente em projetos grandes que envolvam muitos desenvolvedores. O que todas essas práticas fazem na verdade é evitar que esses problemas sigam nas versões geradas e atinjam o sistema em produção, prejudicando o cliente e, consequentemente, o projeto.

9

Bom, sua pergunta está relacionada a um contexto mais amplo: o Gerenciamento de Testes de Software.

Um bom guia básico, é a apostila usada para o estudo da certificação ISTQB (International Software Testing Qualifications Board): faça o download gratuitamente nesta página.

Dito isto, você vai precisar de cobertura em duas frentes. Comentarei aqui com base em minha experiência em gerenciamento de equipes de Quality Assurance.

Do Lado do Desenvolvimento

Os programadores devem produzir testes com testes unitários. Mas não apenas isso: a tendência dos programadores é sempre testarem apenas o caso mais positivo possível. É preciso testar sempre várias condições negativas: casos em que se espera que o sistema esteja pronto pra reagir a uma situação negativa. Por exemplo: numa tentativa de acesso não autorizado (uma situação negativa), o sistema deve responder amigavelmente que o acesso não é permitido, ao invés de "estourar" Exceptions pro usuário.

Além dos testes unitários positivos e negativos, com o tempo essa lista deve incluir bugs. Cada novo bug que surgir e for corrigido, precisa ser acrescentado na lista de testes unitários, pra evitar bugs de regressão.

Como Gerenciar No Lado do Desenvolvimento

Aqui não é preciso ter alguém num papel especialmente dedicado a disso. Mas é preciso ter um líder técnico com experiência em Qualidade de Software. E, se por um lado, não precisamos de um novo cargo, precisamos de uma infra estrutura de software que ofereça suporte. O ideal, neste caso, é ter um ambiente integrado de Controle de Versões com Integração Contínua.

Vou citar alguns softwares como exemplo, mas é claro que o que for descrito aqui pode ser adaptado com os softwares que você já usa.

Para Controle de Versão: use o Git + Github. O primeiro te oferece a ferramenta, enquanto o segundo te oferece um repositório com interface web navegável, wiki, gerenciamento de issues, entre outras várias características. Além disso, é gratuito para repositórios públicos.

Use ainda, no que tange controle de versões, o fluxo chamado de Feature Branch: ninguém, nunca deve trabalhar na cópia principal (chamada de master no git, trunk no SVN).

Cada nova feature ou bug, será trabalhada, pelos desenvolvedores, em um novo branch em separado, que deverá ser testado pelo próprio desenvolvedor localmente.

Depois de terminar o código do novo branch, então o programador será responsável por escrever e implementar os testes unitários relacionados. Um parênteses aqui: embora eu tenha comentado em escrever os testes depois, existe bastante discussão quanto a isso. Alguns recomendam escrever todos os testes antes, outros dizem que fazer essa exigência sempre é um pouco radical demais (incluindo o próprio autor do TDD), e alguns escrever os testes apenas depois.

É aí que entram o Jenkins (ou outra ferramenta de Integração Contínua): ele ficará monitorando o repositório (Github) e irá disparar automaticamente a execução dos testes toda vez que alguém atualizar algum branch.

Se tudo passar, ok, novo código aceito. Se não passar, é obrigação do desenvolvedor que enviou o código quebrado arrumá-lo até os testes passarem (ou atualizar os testes, se este for o caso).

Uma vez que o Jenkins avisou que todos os testes passaram, o programador irá gerar um pedido de pull request, que é um pedido para juntar (merge) o braço atual com o master. Isso permite que o código em funcionamento não seja quebrado, além de oferecer aos programadores uma visualização melhor do histórico do código fonte.

Quem deve aprovar ou reprovar o pull request é o líder técnico.

O ideal é que os resultados do Jenkins e envios de código sejam vistos por todo o time, como envio por email ou mostrado em alguma ferramenta de colaboração (como Teams ou Slack).

Aliás, deveria ser obrigatório que todo o time, desenvolvedores e testadores, ficassem online em alguma dessas ferramentas. Pois além da própria comunicação ser facilitada (e hoje é bastante comum o trabalho remoto, que é o meu caso), estas ferramentas podem receber avisos de ferramentas (como o Jenkins ou o Github), além de enviar emails automaticamente se o destinatário da mensagem estiver away ou offline.

Do Lado da Equipe de Testes

Sim, você vai precisar de uma equipe de testes. Os programadores sempre estão com o prazo espremido, sabem muito sobre o programa (enquanto o usuário final não), tendem a testar sempre o fluxo mais positivo possível, e se forem inexperientes, acharão que o primeiro código que sair será uma obra-prima, portanto próximo da perfeição, e qualquer bug será como apontar um defeito num filho. Enquanto um programador experiente sabe que achar bugs é uma coisa boa, afinal programar é uma atividade complexa e sempre produz bugs.

Para testes, o óbvio: testadores treinados em Garantia de Qualidade. Afinal você pede pro piloto da sua equipe cuidar da mecânica do carro, ou para alguém com formação em mecânica?

Dito isto, a equipe de testes precisará, primeiro, conhecer a fundo os requisitos, casos de uso, cartões, ou seja lá como são armazenados os requisitos.

Com base neles, e nas técnicas blackbox, eles precisarão escrever uma boa lista de testes MANUAIS.

Ao contrário da crença popular, os testes manuais são bem mais rápidos de serem detalhados e executados. Automatizar testes, principalmente envolvendo a UI é uma atividade MUITO complexa, demorada e cara. Além do que, num primeiro momento, não fica claro quais funcionalidades são estáveis, e quais estarão em contínua mudança. Portanto, não podemos gastar tempo e recursos automatizando testes que daqui a pouco precisarão ser alterado diante de requisitos em contantes mudanças.

Depois de detalhar os teste manuais e armazená-los em alguma ferramenta de testware, os testes deverão ser priorizados, pois muitas vezes não será possível executar todos os testes. A prioridade virá do tempo disponível, da importância de cada parte testada, e ainda sempre existe uma parte do software (geralmente a mais complexa) que possui mais bugs do que todas as outras (princípio do agrupamento de defeitos - bug clustering).

Então, no prazo planejado, os testes selecionados serão executados. Os resultados armazenados nesta mesma ferramenta de testware. E os bugs serão abertos, corrigidos pelos desenvolvedores, re-testados e fechados ou re-abertos.

Com estes testes em mãos, é possível selecionar alguns deles para um grupo de testes de regressão. Este grupo de testes sempre será executado a cada novo ciclo, pra garantir que funcionalidades existentes não sejam quebradas.

Depois de algumas execuções, ficará claro quais dos testes manuais serão sempre executados. Estes testes serão fortes candidatos a serem automatizados (com ajuda de alguma ferramenta de automação, óbvio).

Como Gerenciar No Lado de Testing

Alguém da equipe de testes com alguma experiência em Gerenciamento de Projetos deverá ficar a cargo das atividades de gerenciamento. Afinal as atividades são as mesmas de um projeto: gerenciar os recursos humanos, definir prioridades (afinal uma das regras de testing é que testar tudo é impossível), estimar e responder por prazos, reportar métricas, etc.

Os Bugs

Os bugs precisam obrigatoriamente ter as seguintes características:

  1. Um título claro e curto;
  2. Dizer qual versão do sistema afetam;
  3. Dizer em qual release se espera que o defeito esteja corrigido (isso pode ser adicionado depois pela equipe de desenvolvimento);
  4. Dizer qual o sistema operacional, versão e navegador (se aplicável) o bug foi encontrado;
  5. Uma descrição detalhada, incluindo obrigatoriamente todos os passos para reproduzir o bug;
  6. Resultado esperado;
  7. Resultado atual;
  8. De preferência telas capturadas, ou melhor ainda, um vídeo gravado.
  9. Um responsável atribuido, nem que inicialmente seja alguém responsável por fazer a triagem dos bugs.

Algumas considerações

É preciso criar a mentalidade, na equipe inteira (de desenvolvimento e testes), que o objetivo de ambas é o mesmo: entregar um software o mais livre de bugs possível.

A equipe de testes não faz auditoria na de desenvolvimento. Bugs sempre vão existir, e ambas vão trabalhar rumo ao mesmo objetivo.

A equipe de desenvolvimento não pode ficar triste quando um bug é encontrado, afinal encontrar um bug (que já existia antes) é algo bom.

A equipe de testes deve ser extremamente versátil em comunicação (tanto em escrever bem, quanto em ser gentil ao se comunicar), e ter natureza inquisitiva. Deve querer entender do software, questionar os requisitos quando dúbios, e ser persistente quando acreditar que um bug é importante.

E, Qualidade de Software, é responsabilidade de todos: de quem escreve os requisitos, de quem os lê e percebe algo faltando, dos programadores, da equipe de testes, de qualquer um.

2
  • E quando digo visualizar o histórico, digo literalmente visualizar, já que várias ferramentas e IDEs oferecem suporte a montar gráficos do histórico de branchs e tags do projeto. Commented 26/04/2014 às 22:14
  • Eu também não inclui no texto o uso de tags, para evitar que o texto fique maior do que já é. Mas lembre-se disso: criar uma tag para cada versão lançada. Com isso você terá exatamente uma cópia do código de cada versão que os clientes/usuários estão usando, o que vai ajudar muito na hora de identificar os problemas. Commented 26/04/2014 às 22:17

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .