Há várias formas de se copiar sem fazer referência, e o .slice() é uma delas. Porém, eu estava tendo o problema de que o .slice() para arrays dentro de arrays vai pegar apenas a referência em vez de copiar de fato, como mostrado na resposta aceita da pergunta deste link:
https://stackoverflow.com/questions/3978492/fastest-way-to-duplicate-an-array-in-javascript-slice-vs-for-loop
"Please note that these methods will clone the Array object itself, array contents however are copied by reference and are not deep cloned."
array1 = [ [ [1], [2], [3] ], [ [4], [5], [6] ] ];
// array "pai", com 2 "filhos", e 6 "netos"
array2 = array1.slice();
// Copia os filhos, mas com os "netos" faz referência
Então para resolver isso, eu fiz o seguinte:
for (var x = 0; x < array1.length; x++) {
array2.push ( [ array1[0][0].slice(), array1[0][1].slice(), array1[0][2].slice() ] )
}
Que no fim das contas
array1 === array2
sem ter nenhuma referência.