por que a matriz é de 3x11?
int[][] matriz = new int[3][11];
se a quantidade de estados é 11 sua matriz deveria ser 11x11
a matriz está acessando um index que não existe exemplo:
matriz[get_string_ref(estados, "q6")][get_char_ref(alfabeto, '4')] = get_string_ref(estados, "q7");
//get_string_ref(estados, "q6") // index 5
//get_char_ref(alfabeto, '4') // index 5
//get_string_ref(estados, "q7") // index 6
//matriz[5][5] = 6 //erro de index ja que sua matriz é de 3x11
update
faltou o "q2":
String[] estados = new String[10];
estados[0] = "q0";
estados[1] = "q1";
estados[2] = "q2"; <=============
estados[3] = "q3";
nao esquece de arrumar os index do estado
atualmente esta:
// ...
//get_string_ref(estados, "q2"); //index -1
//matrix[-1][2]//erro de index
nao esquece de arrumar os index do estado
no final ficará assim:
String[] estados = new String[11];
estados[0] = "q0";
estados[1] = "q1";
estados[2] = "q2";
estados[3] = "q3";
estados[4] = "q4";
estados[5] = "q5";
estados[6] = "q6";
estados[7] = "q7";
estados[8] = "q8";
estados[9] = "q9";
estados[10] = "q10";
int[][] matriz = new int[11][11];