Todas as linguagens têm defeitos. Você lerá sobe os problemas de várias linguagens em vários lugares. Se for em um lugar onde o pessoal gosta de C#, ouvirá muito mal de Java. E o contrário é verdadeiro também. Não digo que as pessoas estão dizendo mentiras. Se for um local de bons profissionais, provavelmente serão verdades, talvez de forma um pouco tendenciosa. Leia tudo isso com cuidado. Procure outras fontes. E de modo geral não confie tanto em pessoas aleatórias na internet.
Códigos ruins causam bem mais problemas que linguagens ruins. Aprenda fazer códigos bons. Comece pelo fundamento. Entenda a computação como um todo. Não vá nas receitas de bolo, nas tais "boas práticas". Aprenda!
A maioria das linguagens atendem bem todo tipo de aplicação, não importa o que ela faz ou o porte dela. O seu problema parece ser claro para se resolver no desktop. Isso não há dúvidas. Java, C#, C++, Delphi, etc., todas trabalham bem com aplicações comerciais, incluindo equipamentos externos de automação, como PDV, TEF, etc.
As bibliotecas existentes são mais importantes que a linguagem. Vou citar algumas que possuem boas bibliotecas para a área de automação comercial.
Sabe mexer com alguma? Se sabe deveria ser um indicativo do que usar. As diferenças entre elas são pequenas para justificar a ideia de "usar a ferramenta certa para o problema". Nesse caso acho que cabe mais o "a melhor ferramenta é aquela que você sabe".
Analisando um pouco as linguagens
PHP e web
PHP não costuma ser recomendado para desktop. Acho até estranho saltar de Java para PHP. São filosofias muito diferentes. PHP é usada basicamente para backend web. Esqueça ela.
Esqueça a ideia de fazer esse tipo de aplicação como web, isso não dá certo. A experiência do usuário sofrerá e a integração com equipamentos externos é de sofrível a inviável.
Java
O Java não é tão ruim assim também. Se pode escolher, acho melhor escolher outra coisa, mas é só minha opinião, não escolha por causa disso. Só não descarte como opção válida. Ela não é tão lenta quanto dizem, já foi um dia (PHP é absurdamente mais lenta). E ela tem melhorado em cada versão.
Se já conhece bem ela, pode ser a melhor opção. Acho que ela não aproveita bem a GUI. Vejo até os Javeiros reclamarem que o JavaFX é para algum tipo bem específico de aplicação. Se for por esse caminho, pesquise mais sobre o assunto, faça perguntas aqui bem específicas sobre o assunto.
C#
Se Java não te atende, talvez a escolha recaia sobre C#. Não sei se vai atender também. Não tem como afirmar o que é bom para você.
Para desktop, C# funciona muito bem no Windows. Há tecnologias que que se encaixam muito bem com o Windows disponíveis para C#.
Se precisar rodar em Linux dá também, mas não é tão bom (ainda que não seja exatamente pior que o que o Java oferece). O mesmo para MacOS. É um pouco melhor para o mundo mobile. Não é a preocupação inicial desse projeto, mas ele pode se expandir e precisar rodar nas 3 principais plataformas móveis.
A linguagem é totalmente gratuita, tem todo seu código aberto e até o Visual Studio quase completo é gratuito para a maioria das situações (deve ser o seu caso).
Se não soubesse nada eu iria de C#. Mas reforço, é gosto pessoal.
C++
Alguns recomendariam C++, mas não é para iniciantes. Usando a Qt é melhor se precisar que a aplicação rode em várias plataformas aproveitando tudo o que cada uma tem de melhor. Mas duvido que seja seu caso.
Algumas não tão adequadas
Outros diriam sobre o Delphi, eu particularmente considero tecnologia legada, ainda que não seja de fato. É uma linguagem paga, fechada e quase ninguém começa projetos novos nela. Só iria nela se você já estivesse muito confortável com ela. Aí será até uma opção técnica viável para Windows (não no Linux).
Não falarei de VB que é legado de fato e se for de VB.NET é melhor escolher C#, não vejo vantagens.
Outras linguagens de tipagem estática ou são legadas ou não estão maduras, ou não possuem boas bibliotecas para desktop (GUI), como Go, Rust, D, etc.
Não vou falar em linguagens de tipagem dinâmica específicas porque não parece ser a intenção original. Já vi alguma coisa em desktop usando Python. Não sei o nível de sucesso, mas vi bem pouca coisa. Uma aplicação grande que vi não era boa, mas não quer dizer que é culpa da linguagem. Mas também pode ser. Se a intenção original era Java, acho que esse tipo de linguagem será menos adequado, ainda que tecnicamente funcione.
Banco de dados
Use o que melhor te atende ou o que já domina. Se é o PostgreSQL, use-o. Não importa em que linguagem. Se tiver algum motivo pra escolher outro, escolha. São decisões independentes. Todas essas linguagens trabalham bem com ele, com o MySQL, SQL Server, Oracle, Firebird, SQLite (é até uma opção para alguns), entre outros. Todos funcionam em servidores.
Todos são ou possuem versões limitadas viáveis pra muita coisas gratuitas. Todos rodam nas principias plataformas (O SQL Server para Linux está quase pronto). Em mobile e cliente desktop só o SQLite é de fato viável no cliente. Há quem use o Firebird. Mas isso é outro assunto.
Conclusão
Se está com uma dúvida tão básica sugeriria tentar achar alguém mais experiente para dividir o projeto e assim ir adquirindo a experiência necessária.
Coloquei no GitHub para referência futura.