por que a matriz é de 3x11?

    int[][] matriz = new int[3][11];

se a quantidade de estados é 11 sua matriz deveria ser 11x11

a matriz está acessando um index que não existe
exemplo:

    matriz[get_string_ref(estados, "q6")][get_char_ref(alfabeto, '4')] = get_string_ref(estados, "q7");
    //get_string_ref(estados, "q6") // index 5
    //get_char_ref(alfabeto, '4') // index 5
    //get_string_ref(estados, "q7") // index 6
    //matriz[5][5] = 6  //erro de index ja que sua matriz é de 3x11

> update

faltou o "q2": 

     String[] estados = new String[10];
        estados[0] = "q0";
        estados[1] = "q1";
        estados[2] = "q2";  <=============
        estados[3] = "q3";
nao esquece de arrumar os index do estado

atualmente esta:

     get_string_ref(estados, "q2"); //index -1
     //matrix[-1][2]//erro de index



no final ficará assim:

  

    
        String[] estados = new String[11];
        estados[0] = "q0";
        estados[1] = "q1";
        estados[2] = "q2";
        estados[3] = "q3";
        estados[4] = "q4";
        estados[5] = "q5";
        estados[6] = "q6";
        estados[7] = "q7";
        estados[8] = "q8";
        estados[9] = "q9";
        estados[10] = "q10";
        
        
        int[][] matriz = new int[11][11];