A maneira certa de invocar subprocess.check_output()
ou subprocess.Popen()
é passando cada termo do comando em um elemento da lista/array, e não criando uma string longa. Você também precisa prestar atenção às barras invertidas, elas precisam ser codificadas:
r = subprocess.check_output(['java', '-Djava.library.path="C:\\Users\\Administrator\\Documents\\NetBeansProjects\\SDK_Java_v1.0.0.2_Beta\\SDK Java_v1.0.0.2 BETA\\Lib"', '-jar', 'C:\\Users\\Administrator\\Documents\\NetBeansProjects\\Busca3-N_java\\dist\\Busca3-N_java.jar', arquivo])
Menos importante, mas eu também sempre recomendo não escrever o caminho para arquivos ou diretórios explicitamente, pois isso assume que você tem certeza qual o sistema de arquivos sendo utilizado (FAT, NTFS, ext3, HFS). Pode ser que no seu caso você realmente tenha certeza que esse código só será executado em Windows, rodando NTFS. De toda forma, minha sugestão é:
import os
home = os.path.expanduser('~')
java_lib = os.path.join(home, 'Documents', 'NetBeansProjects', 'SDK_Java_v1.0.0.2_Beta', 'SDK Java_v1.0.0.2 BETA', 'Lib')
jar_path = os.path.join(home, 'Documents', 'NetBeansProjects', 'Busca3-N_java', 'dist', 'Busca3-N_java.jar')
r = subprocess.check_output(['java', '-Djava.library.path="{}"'.format(java_lib), '-jar', jar_path, arquivo])