A maneira certa de invocar `subprocess.check_output()` ou `subprocess.Popen()` é passando cada termo do comando em um elemento da lista/array, e não criando uma string longa. Você também precisa prestar atenção às barras invertidas, elas precisam ser codificadas:

    r = subprocess.check_output(['java', '-Djava.library.path="C:\\Users\\Administrator\\Documents\\NetBeansProjects\\SDK_Java_v1.0.0.2_Beta\\SDK Java_v1.0.0.2 BETA\\Lib"', '-jar', 'C:\\Users\\Administrator\\Documents\\NetBeansProjects\\Busca3-N_java\\dist\\Busca3-N_java.jar', arquivo])