Note que existem duas correntes para especificar o mínimo. Uma delas é usar o mínimo mesmo, ainda que isso quase inviabilize o bom uso da aplicação. Outra é um mínimo que garanta o bom uso, em geral nesse caso costuma-se exagerar propositalmente.
O único jeito certo mesmo é testar em vários computadores. Em alguns casos é possível limitar artificialmente algum recurso de um computador para simular algo inferior, mas não sei se compensa.
Na verdade, na prática, é raro fazer isso, principalmente em software que poucas pessoas usarão. O que se faz é estimar o uso. Muitas vezes é só reproduzir o que o Java já exige, talvez com alguma folga.
Precisa ver também qual é o sistema operacional (incluindo versão) precisa usar e outras dependências, entre elas banco de dados. Não é só processador e memória que existe requisito.
Desktop
O Java roda em qualquer processador minimamente moderno. Você pode adotar algum limite mínimo arbitrário. Tipo: processador Intel compatível com pelo menos 2 (talvez nem isso) núcleos e/ou 2.0Ghz.
Claro que pode usar alguma biblioteca que exija algum recurso específico de algum processador. Tem que ver isso com essa biblioteca e adotar essa necessidade. Ou seja, tem que conhecer o que está usando para especificar o que precisa. Os testes não são necessários de fato. A especificação de outros serve de base para a sua.
Se existir algum motivo para exigir mais, coloque, isso deve ficar óbvio no uso da aplicação. Lembrando que o mínimo não é necessariamente o recomendável para melhor uso.
Uma coisa comum é exigir que seja 64 bits em alguns casos. O que fica óbvio se for exigir mais de 2GB de memória.
Em tese a maioria das aplicações Java precisam de alguns megabytes de memória. Então nada impede de dizer que o mínimo é 1GB, já que o sistema operacional deve exigir isso (Linux sem GUI pode exigir menos, mobile também). Claro que o ideal é dar uma folga, então costuma-se colocar 2GB. Se quiser dar uma experiência mais tranquila pode exigir 4GB.
Se a aplicação é devoradora de memória pode ser útil exigir mais, existem casos extremos que podem exigir 32, 64 ou mais gigabytes. Se você não souber que a aplicação devora memória desse jeito, o menor dos seus problemas é especificar o requisito, você provavelmente não tem ideia do que está fazendo e isso é muito perigoso.
Há quem fale em memória só para a aplicação. Nesse caso pode tentar rodar sua aplicação por um longo período e ver na ferramenta que monitora a memória no sistema operacional o pico que deu. Não é preciso, mas dá uma ideia, coloque um pouco de folga e divulgue isso. Também pode rodar um pouquinho e ver quanto deu não fazendo quase nada. Dá um mínimo baixo, mas é enganoso (tem gente que faz isso).
Idealmente seria útil usar uma ferramenta de profiling, mas sem saber o que fazer com ela não adianta muito. Uma forma de monitorar é como o que o Edson F. Santos postou no comentário acima.
Memória nunca é demais até que o bolso reclame forte ou seja obviamente exagerado. Hoje tem desktop rodando com 32GB ou mais, é exagerado para alguns casos, mas não para todos. Hoje 8GB deveria ser o mínimo de qualquer desktop.
Servidor
Aqui a coisa fica mais complicada. Nem vou falar se o servidor compartilha banco de dados.
Em geral um servidor não pode ser pouca coisa, se ele for muito inferior a necessidade, vai rodar, então pode até especificar algo parecido com um desktop, mas a experiência será bem ruim.
Fora você ter experiência com muitos casos, o que não parece ser a situação, só medindo mesmo, ainda que a medição não seja perfeita, dá uma base. É rodar dentro da carga esperada e ver como se comporta, ver se o processador está batendo em 100% por muito tempo, se fica fazendo swap em "disco", tudo isso é um sinal de alerta.
É comum precisar ter vários núcleos no servidor para responder bem, mas depende do tipo de carga. Mínimo mesmo, qualquer coisa serve. E tem aplicação que ter vários núcleos não vai ajudar nada, mas aí talvez seja problema da aplicação.
Servidor tende a precisar mais de memória, mas também pode ser que ela seja mais necessária para o banco de dados.
Se a aplicação faz uso intensivo de cache, vai rodar com um mínimo básico, mas será muito melhor se tiver bastante memória para manter mais cache.
Se quiser uma informação mais precisa, não tem jeito, terá que ficar bom em profilling.
Dispositivos móveis e uso especializado
Aí você não deve ter muito controle. O mais comum é fazer a aplicação caber no que tem disponível no grosso do mercado (e é pouco ainda no Brasil, infelizmente).
Conclusão
Lembre-se que a aplicação muda e o mínimo pode mudar. Uma simples adição de algo que precise carregar algo grande na memória pode mudar tudo.
Coloquei no GitHub para referência futura.