Algoritmo Serial vs Algoritmo Paralelo
Para conseguir resolver seu problema, vc vai precisar alterar seu algoritmo.
Hoje o que você tem é uma aplicação que executa toda sua lógica em uma única thread que será executada por um único processador. A isso chamados de algoritmo serial ou sequencial.
O que significa dizer que toda sua lógica é executada de maneira sequencial. Você teria que reescrever parte da sua aplicação dividindo-a em subtasks - subtarefas, e entregá-las a threads - este seria o algoritmo paralelo. Um adendo não é possível paralelizar todo o seu algoritmo, você apenas consegue dividir até um certo ponto.
O número de threads deve ser o número de processadores disponíveis e para cada thread você submete suas tasks. Cada thread é executada por um processador. Não confunda computação paralela com programação concorrente.
Outras tecnologia como .net e Java, já estão preparadas para utilizar
de forma eficiente Multi-core CPUs?
Java sempre proveu APIs e frameworks para programação concorrente e computação paralela.A partir do Java 1.5 um framework chamado Executor Framework foi adicionado. Ele oferece diversas classes utilitárias, interfaces, métodos para a fabricação de Pools de Thread e métodos de submissão de tasks.
Já no Java 1.7 ganhamos o Fork/Join framework. Ao qual permite que você programe um algoritmo definindo Thresholds de processamento, que são limites, quando esse limite é atingido você querbra a tarefa em dois - Fork. Uma vez que ela é executada e que as outras tarefas são completadas, você faz o jois delas para o resultado final. Interessantemente, este framework implementa um algorítimo chamada work-stealing. Trata-se de uma técnica onde quando uma thread termina de executar sua task ela rouba a task de outra thread que ainda não terminou sua execução.
Last but not least
Se assumir o projeto de migrar um novo modelo de execução, recomendo que você estude a lei de Amdahl's que prediz o máximo de tempo que é possível se optimizar um programa utilizando múltiplos processadores.
Fontes:
Algoritmo serial: https://en.wikipedia.org/wiki/Sequential_algorithm
Algoritmo paralelo: https://en.wikipedia.org/wiki/Parallel_algorithm
Computação paralela: https://en.wikipedia.org/?title=Parallel_computing