Podes criar uma array onde cada pergunta é um objeto com o formato 

    {
      pergunta: 'texto',
      alternativas: [
        'altern 1',
        'altern x'
      ]
    }

Podes obter isso assim:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    $("body").on('click', 'button[name="enviaProva"]', function(e) {
      e.preventDefault();
      const perguntas = $('textarea[name="quest[]"]').get().map(function(el) {
        const alternativas = $(el)
          .parent()
          .children('input[name="alternativa[]"]')
          .get()
          .map(function(input) {
            return input.value;
          });

        return {
          pergunta: el.value,
          alternativas: alternativas
        };
      });
      
      console.log(JSON.stringify(perguntas));

      $.ajax({
        type: 'POST',
        url: '/enviaProva.php',
        dataType: "json",
        data: perguntas,
        success: function(res) {
          console.log(res);
        }
      });
    });

<!-- language: lang-html -->

    <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
    <form action="" method="post">
      <li><textarea name="quest[]" placeholder="Digite seu texto aqui." required=""></textarea>
        <input type="text" id="quest1" name="alternativa[]" value="a)" required="">
        <input type="text" id="quest1" name="alternativa[]" value="b)" required=""></li>

      <li><textarea name="quest[]" placeholder="Digite seu texto aqui." required=""></textarea>
        <input type="text" id="quest2" name="alternativa[]" value="a)" required="">
        <input type="text" id="quest2" name="alternativa[]" value="b)" required="">
        <input type="text" id="quest2" name="alternativa[]" value="c)" required=""></li>
    </form>
    <button name="enviaProva">Enviar</button>

<!-- end snippet -->