Me parece que você não compreendeu o funcionamento da função preg_replace, pois você passou como segundo parâmetro uma expressão regular, quando deveria usar o texto que deve susbstituir o que foi encontrado.
Além disso vocês está escapando (com barra invertida) os caractere >
que não tem função especial na expressão regular.
Para fazer seu código funcionar você deve usar uma subpatern (grupo delimitado com parênteses) e referências ($n onde n é um número):
preg_replace('/<li>(\s*<p>[a-z]\)\s)/', '<li class="inciso">$1', $documento);
A explicação dessa expressão regular pode ser encontrada nessa resposta