Introdução
Fuzz e Mutation-Fuzz, como também é conhecido, são tipos de testes para descobrir falhas no código quanto ao tratamento dos inputs (entradas).
Normalemente escrevemos teste para testaro happy path, o caminho feliz onde tudo dá certo, para garantir que o código faz o que é esperado.
Adicionamos também testes para validar se o código trata de limites (por exemplo um input idade que deveria tratar valores "aceitáveis" pra idade, como valores positivos e por exemplo menores que 200, porque não é conhecido pessoas que tenham vivido tanto) e entradas inválidas, por exemplo valores null (nulos).
Fuzz testing
O Fuzz testing é um tipo de teste que, além dos exemplos citados anteriormente, visa explorar o código em busca de cenários em que, ao entrar com valores inválidos, o código consegue tratar esses dados, seja ao não gerar erros, seja ao tratar a entrada e disparar um erro notificado que a entrada é inválida. Um pequeno exemplo para ilustrar:
metodo1(string url) {
... faz alguma coisa ...
}
Não importa o que o método faz exatamente, o objetivo é testar se, ao entrar qualquer valor como o input "url", o método não dá erros e consegue tratar corretamente o input. Como a entrar é uma string
, podemos gerar strings aleatórias ou baseadas num dicionário, o importante é testar vários cenários para tentar expor falhas no código.
Um Fuzzer de teste seria algo como os exemplos abaixo:
Fuzzer fuzz = new Fuzzer(1000); // Gera 1000 strings aleatórias
Fuzzer fuzz = new Fuzzer(1,500); // Gerar strings entre 1 e 500 caracteres
Strings[] dicionario = ["aj&%192@", "a!13dRD&", ...]
Fuzzer fuzz = new Fuzzer(dicionario); // Gera x inputs a partir de um dicinário
E a seguir testar:
foreach(input in fuzz) {
method1(input);
}
Note que são pseudo-códigos para ilustrar, ou seja, entrar com valores diversos e tentar expor falhas no código.
Mutation Test
Já um Mutation-Fuzz, é uma variação do conceito do Fuzz testing, e por isso muito comumente é encontrado com esse nome na literatura de testing.
O condeito é, a partir de um input válido, introduzir pequenas mudanças, que podem ser válidas, para validar o comportamento do programa. No exemplo acima, podemos imaginar esse cenário como, a partir de uma url válida, como por exemplo "https://pt.stackoverflow.com/" introduzir alterações nos caracteres e validar o comportamento do código. Para ilustrar:
String validInput = "https://pt.stackoverflow.com/";
Fuzzer fuzz = new StringFuzzer(validInput);
foreach(input in fuzz) {
method1(input);
}
Nesse caso, imaginemos que a clase "StringFuzzer", a partir do "validInput" pudesse gerar variações como:
"hTTps://pt.stackoverflow.com/",
"httXs://pt.stackoverflow.com/",
"h2tps://pt.stackoverflow.com/",
"https://2!.stackoverflow.com/", etc
Ou seja, o comportamento do Fuzz testing a partir de um input válido, variando apenas "partes" da entrada e testando cada uma.
Aqui um diagrama sugerido das etapas para implementar um "Fuzz test":
REF: https://dreamlab.net/media/img/blog/2020-03-10-fuzzing-ics-protocols/Fuzztesting.png
Litetura de base dessa resposta: