3

Pelo que eu já li ambos são para testar diferentes valores e parâmetros, e verificar se o código continua funcionando com o comportamento esperado. Entretanto, o custo para executar esses testes parece ser grande e complexo de aplicar num cenário real.

Gostaria de saber qual a diferença entre eles, e quando utilizar num cenário real.

1 Resposta 1

3

Introdução

Fuzz e Mutation-Fuzz, como também é conhecido, são tipos de testes para descobrir falhas no código quanto ao tratamento dos inputs (entradas).

Normalemente escrevemos teste para testaro happy path, o caminho feliz onde tudo dá certo, para garantir que o código faz o que é esperado.
Adicionamos também testes para validar se o código trata de limites (por exemplo um input idade que deveria tratar valores "aceitáveis" pra idade, como valores positivos e por exemplo menores que 200, porque não é conhecido pessoas que tenham vivido tanto) e entradas inválidas, por exemplo valores null (nulos).

Fuzz testing

O Fuzz testing é um tipo de teste que, além dos exemplos citados anteriormente, visa explorar o código em busca de cenários em que, ao entrar com valores inválidos, o código consegue tratar esses dados, seja ao não gerar erros, seja ao tratar a entrada e disparar um erro notificado que a entrada é inválida. Um pequeno exemplo para ilustrar:

metodo1(string url) {
    ... faz alguma coisa ...
}

Não importa o que o método faz exatamente, o objetivo é testar se, ao entrar qualquer valor como o input "url", o método não dá erros e consegue tratar corretamente o input. Como a entrar é uma string, podemos gerar strings aleatórias ou baseadas num dicionário, o importante é testar vários cenários para tentar expor falhas no código.

Um Fuzzer de teste seria algo como os exemplos abaixo:

Fuzzer fuzz = new Fuzzer(1000);  // Gera 1000 strings aleatórias
Fuzzer fuzz = new Fuzzer(1,500); // Gerar strings entre 1 e 500 caracteres

Strings[] dicionario = ["aj&%192@", "a!13dRD&", ...]
Fuzzer fuzz = new Fuzzer(dicionario); // Gera x inputs a partir de um dicinário

E a seguir testar:

foreach(input in fuzz) {
    method1(input);
}

Note que são pseudo-códigos para ilustrar, ou seja, entrar com valores diversos e tentar expor falhas no código.

Mutation Test

Já um Mutation-Fuzz, é uma variação do conceito do Fuzz testing, e por isso muito comumente é encontrado com esse nome na literatura de testing.
O condeito é, a partir de um input válido, introduzir pequenas mudanças, que podem ser válidas, para validar o comportamento do programa. No exemplo acima, podemos imaginar esse cenário como, a partir de uma url válida, como por exemplo "https://pt.stackoverflow.com/" introduzir alterações nos caracteres e validar o comportamento do código. Para ilustrar:

String validInput = "https://pt.stackoverflow.com/";
Fuzzer fuzz = new StringFuzzer(validInput);
foreach(input in fuzz) {
    method1(input);
}

Nesse caso, imaginemos que a clase "StringFuzzer", a partir do "validInput" pudesse gerar variações como:

"hTTps://pt.stackoverflow.com/",  
"httXs://pt.stackoverflow.com/",  
"h2tps://pt.stackoverflow.com/",  
"https://2!.stackoverflow.com/", etc

Ou seja, o comportamento do Fuzz testing a partir de um input válido, variando apenas "partes" da entrada e testando cada uma.

Aqui um diagrama sugerido das etapas para implementar um "Fuzz test":

REF: https://dreamlab.net/media/img/blog/2020-03-10-fuzzing-ics-protocols/Fuzztesting.png REF: https://dreamlab.net/media/img/blog/2020-03-10-fuzzing-ics-protocols/Fuzztesting.png

Litetura de base dessa resposta:

2
  • Resumidamente, Fuzz seria alteração dos parâmetros em busca de parâmetros válidos e Mutation Test seria testes com base em pequenas alterações no código existe para validar se o comportamento original permanece? Consegue dar um exemplo de um caso real do uso de Mutation Test? 16/05/2022 às 20:12
  • É o contrário @ThiagoBomfim, o Fuzz não quer buscar paramentros válidos, isso normalmente já sabemos, ele quer identificar parâmetros inválidos que quebrem o código :) Mutation Test já deixei um exemplo na pergunta, ou seja, uma parâmetro "url", que vamos variando cada caracteter ou os separadaores (// ou ponto) para validar se o método se comporta corretamente. Os exemplos que coloquei invalidam o input mudando apenas 1 caractere, o método deve reconhecer que é uma url inválida e tratar corretamente 16/05/2022 às 23:32

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .