De fato quem trabalha só com uma será tendencioso para ela.
Realmente ambas são muito parecidas, mas a cultura em volta delas é muito diferente. Por exemplo, Java tenta ser mais explícita, C# tenta ser mais concisa.
Java tem uma comunidade mais ativa. Para o bem ou para o mal. Em alguns mercados possui mais vagas abertas, o que não significa que existam mais posições. Afinal em certas culturas é mais comum trocar de emprego que em outras.
Java preza mais pela orientação a objeto embora seja essencialmente imperativo e agora está indo um pouquinho para o funcional.
C# marca de forma mais clara seu multi-paradigmatismo, embora se declare orientada a objeto, ela tem muito forte o imperativo-procedural, ela viola o orientação a objeto quando isso for pragmático, embora não seja uma linguagem essencialmente funcional tem partes desse paradigma muito forte e a evolução da linguagem remete a ser cada vez mais funcional. Ela também adere bem a orientação a contratos, eventos, padrões, é um pouco mais fácil ser orientada a aspectos, é um pouco mais declarativa, enfim, ela abraça mais estilos.
#Ecossistema
Além da linguagem que possuem especificidades que agradam mais uma pessoa do que outra, o ecossistema faz diferença, sem dúvida. Não vou entrar muito nisso para não ficar longo.
Não é só o C# que possui bom IDE. Java também. Muitos gostam do Eclipse e tem nele, ou em plugins para ele, coisas que eu gostaria de ver no VS. Acho o VS pelado e um pouco inferior, mas quando junta com Resharper e outros plugins, ele fica ótimo mesmo. O VS "completo" é gratuito. Nem todos bons plugins são.
É comum ter mais ferramentas e bibliotecas em Java do que em C#, especialmente gratuitos e de código aberto. Mas isso está mudando pouco a pouco.
Nem sempre ter vários significa boa coisa. Pode significar que nenhum atende bem as necessidades. Ter muitas escolhas pode ser angustiante. Ou ser a solução ideal. Por exemplo, Java tem "trocentos" frameworks para web. Claro que poucos são bem usados e recomendados. C# atualmente só recomenda o ASP.Net MVC.
Quase tudo o que é reconhecidamente bom em Java, alguém faz um port para C# ou algo inspirado no que existe para Java. É raro o programador ficar na mão. O contrário também é verdadeiro, mas em menor grau. Para o bem ou para o mal.
Existem bibliotecas, padrão ou não, para Java que são melhores, e o mesmo pode ser dito para o C#. Não saberia pesar qual sai ganhando aqui. E acho mais secundário. Tem soluções para tudo.
#Plataformas
Outro ponto é que o C# roda em todas as 3 plataformas mobile mainstream. Java só roda em uma, e melhor, claro - mas não é bem Java puro e o mais moderno. Há tentativas para mudar isso, logo esta deficiência será sanada.
Nas plataformas desktop o C# agora roda com a mesma qualidade em todas. O Java ainda é arredio ao Windows. É verdade que o C# não vai bem em GUI multi-plataforma - tem opções mas não é o ideal. Mas é bem questionável o quanto o Java faz isso com sucesso. Ambas possuem opções de GUI confusas e legadas.
#Evolução
C# começou copiando muito o Java, isso era motivo de piada. Hoje tem ocorrido muito o contrário.
C# abriu o código de forma mais livre e mais completa antes do Java. Os tendenciosos não reconhecem isso porque um ponto que eles consideravam forte era a liberdade que o Java tinha, o que nunca foi essa verdade toda.
C# começou antes melhorar a modularização e diminuição da dependência da CLR padrão. JVM tem propostas para isso.
Alias, várias melhorias do Java se deram quando o C# surgiu mostrando que vinha com diversas coisas mais modernas, desde construções da linguagem até melhorias de desempenho. A melhor coisa que aconteceu para o Java foi o surgimento do C#.
C# foi ficando melhor a cada versão, Java está correndo atrás. Em alguns casos ela até está fazendo melhor que o C#. Em geral quem faz depois, faz melhor porque aprendeu com o erro de quem foi pioneiro. Há casos que não dá mais para arrumar sem tornar o código incompatível. Tem erros que cometidos no começo não podem ser consertados. O C# já sofre com isso também. Eu acho que o C# era para ser melhor do que é. É reconhecido que eles tiveram a oportunidade de consertar mais erros do Java do que fizeram. Certamente muitas características funcionais seriam melhores se a linguagem tivesse esperado uns 2 ou 3 anos para ser lançada.
Hoje ambas são bem maduras.
#Item por item
Já adianto que na maior parte dos casos a escolha será feita por gosto ou por algum aspecto político e não técnico. Ambas tem defeitos e qualidades, ambas resolvem bem qualquer tipo de problema que este tipo de linguagem pode resolver, afinal elas são do mesmo paradigma. Ambas rodam essencialmente nos mesmos lugares, com poucas diferenças. Para web ambas são muito boas, uma com vários frameworks e outras com menos, porém mais bem estabilizado.
###Ambiente
Java tem um ambiente um pouco melhor desenvolvido. O JITter e o coletor de lixo são mais avançados. Por deficiências na linguagem ele precisa ser para não ficar pra trás. C# tem melhorado, mas de forma mais lenta. Java tem mais opções alternativas.
É difícil afirmar qual é mais rápida. Depende de cada caso, de como se faz os testes. É possível provar casos específicos, mas não no geral. O que pode valer em uma versão pode não ser verdade em outra.
O consumo de memória do Java é brutalmente maior. Não vou entrar em detalhes, cabe perguntas específicas. Já tem alguma coisa no site.
C# possui muito mais metadados que Java.
Ambas possuem forte reflexão, mas o jeito de usar é bem diferente.
A serialização é feita de forma bem diferente.
O sistema de segurança do ambiente é mais completo no C# (no .Net padrão).
###Tipagem
Em C# tudo deriva de
Object
, em Java os primitivos não.Java ainda não permite criar seus próprios tipos por valor (
structs
). Java só possui os poucos tipos primitivos prontos. Dizem que vai ter. Não sei o quanto poderá se integrar bem ao sistema de tipos atual.Java não permite criar tipos anônimos.
C# prefere que os tipos sejam por valor sempre que faça sentido, tipo o
DateTime
. Java coloca quase tudo como referência, que causa maior consumo de memória, processamento e pressão no GC.Java não possui tipos numéricos sem sinal.
Java não pode ligar e desligar a verificação de estouro numérico na linguagem.
Java pode garantir que o comportamento do ponto flutuante seja o mesmo em todas as plataformas.
Java só possui o tipo
decimal
na biblioteca e só na forma longa (ocupa mais memória). Existem alguns outros tipos que não existem na linguagem.C# possui arrays retangulares (multidimensionais).
C# não tem facilidades para fazer substring aproveitando a string já existente.Isso causa vazamento de memória. Java abandonou a prática, mas o custo de ter a facilidade permaneceu.Java não tem classes puramente estáticas.
Os
enum
s do Java são mais orientados a objeto e mais fortemente tipados. Embora dê para simulá-los no C#, é ruim e o que a linguagem usa de fato, é pior que do Java.Java não pode passar tipos "primitivos" por referência. Tem que encaixotar para fazer isto.
Java não tem tipos anuláveis. Dá para simular, mas não é conveniente.
Java não tem tipos e métodos parciais.
Java não permite mais de uma classe pública por arquivo.
Java não tem como ter tipos dinâmicos opcionais que só serão verificados em tempo de execução. Isso ajuda com interoperabilidade com outras linguagens e COM, por exemplo.
###Orientação a objeto
Java tem os métodos virtuais por default. C# escolheu não ter para facilitar a performance e encapsulamento. Poderia ter ido além e ter deixado a classe selada por default também, perdeu essa oportunidade.
Java não chama finalizadores herdados.
Java não permite criar (sobrecarregar) operadores para os tipos. Com isso se sobrecarrega :P a sintaxe do código. C# fez isso de uma forma melhor que do C++. O uso errado do recurso no C++ fez o Java não ter isto. Mas engenheiros devem encontrar solução, não abandonar o projeto. Inclui aí operadores de cast implícito e explícito.
Java não tem propriedades na linguagem, se usa convenções.
Com isso Java não possui indexadores que é um operador sobrecarregado que funciona como uma propriedade.
C# não possui classes internas que é o que Java usa para simular a falta de delegados. Muito menos tem classes internas anônimas. Até existe como aninhar classes, mas isto é feito de forma estática.
Java não tem métodos de extensão.
C# não pode declarar campos estáticos finais na interface.
C# ainda não tem métodos default dentro de interfaces. Tem que criar a interface e o método de extensão. Há propostas de criação de traits que faz isso e o item anterior de uma forma melhor.
C# permite implementar um método especificamente para uma interface.
Há diferença na ordem de inicialização de objetos e tipos.
Java não tem inicializadores de objetos e coleções.
###Métodos
Java não possui parâmetros (default) e argumentos opcionais/nomeados.
C# não permite que os parâmetros originalmente mutáveis sejam declarados como imutáveis naquele contexto.
Java não possui métodos condicionais.
###Exceções
C# não possui checked exceptions. Java é essencialmente a única linguagem que implementa isso. Mesmo entre os Javeiros não há consenso se é bom tê-las.
Java não possui filter exceptions.
Java tende a usar a exceção para controle de fluxo normal, C# evita isto, até porque seu mecanismo, quando gera exceção, é mais lento.
###Funcional
O uso de lambdas do Java é bem mais limitado ao do C#. Melhoraram a sintaxe, mas não semântica. Isso foi o motivo do C# existir. Mas não vou falar da briga entre a Sun e Microsoft aqui.
Java não possui eventos. Tem que implementar o padrão Observer na mão, o que pode dar mais flexibilidade. Obviamente é possível fazer o mesmo em C#, se precisar.
Java não possui árvores de expressão.
Java não possui LINQ. Agora tem algo que ajuda um pouco (Java Streams), mas longe da facilidade total que o LINQ oferece.
Java não possui geradores (iteradores).
Java não possui nenhum tipo de inferência de tipo.
###Módulos
Todo o funcionamento de módulos de ambos é muito diferente. Java possui pacotes, C# possui namespaces e assemblies. O primeiro é para separar os tipos em grupos de nomes, de famílias. O outro funciona de forma semelhante ao pacote do java, mas não possui uma nomenclatura semântica na linguagem. A organização é mais flexível e não depende de como está implantado.
Com isso a visibilidade do C# pode ser restrita de forma mais granular.
Em C# os assemblies podem ser amigos de outros e permitir acesso extra.
Java não pode mudar o nome do pacote importado (alias) para facilitar o uso.
###Operadores
Java não tem o operador
nameof
.C# possui dois tipos de cast explícito.
###Facilidades extras
Java não possui diretivas de processamento condicional (
#if
). C# não possui um pré-processador, é integrado na linguagem. É limitado em relação ao que dá para fazer no C/C++.C# tem mais facilidades para trabalhar com assincronicidade, inclusive na linguagem.
Java pode ter métodos sincronizados pela linguagem, C# só pode ter blocos (ainda que possa ser o método todo) ou com o uso de bibliotecas ou anotações. No fundo parece ser só uma diferença sintática.
A genericidade do C# não usa type erasure, o que é uma grande ajuda para performance e uso geral. Há uma semântica de genericidade, enquanto que no Java é só um truque do compilador. Me parece que a restrição de variância ocorre no local certo.
C# permite mais usos, variedade de tipos e restrições nos tipos genéricos.
Java não pode fazer interpolação de string. Nem tem verbatim strings.
Java não tenta simplificar a sintaxe de muitas coisas, especialmente de métodos de uma linha que em C# pode usar a sintaxe de lambda, mesmo não sendo.
Java não suporta
goto
, apesar de tê-lo como palavra-chave.C# pode ser compilado em tempo de execução, tem um sistema de scripting e um REPL. O .Net Compiler Platform é um avanço para a linguagem, biblioteca e para facilitar o aumento de todo o ecossistema de ferramentas. Java permite alguma coisa nesse sentido de forma bem mais limitada.
Java não permite código unsafe o que dificulta a interoperabilidade com outras linguagens e performance em algumas situações. Java possui JNI para interoperabilidade. É raro quem ache isto uma boa solução. Alguns acham ruim permitir ter código inseguro na linguagem e que isto faz a linguagem ser menos segura. Mas está longe de ser verdade. A pessoa precisa entender melhor o recursos para criticar. Eu nunca usei de fato o unsafe, mas adoro saber que ele está lá quando eu precisar.
Então Java não pode usar ponteiros nunca. Nem gerenciados em áreas específicas, como são em C#.
Java possui soft/phantom references.
Java não faz otimização de tail recursion. C# faz em x64.
#Conclusão
Não vou perder tempo com pequenas diferenças sintáticas. Também não vou entrar em detalhes quando uma implementa algo um pouco melhor que a outra, mas sem muita relevância. Entrando no campo da opinião, acho o guia de estilo do Java pior do que do C#.
Tudo que dá para fazer em uma linguagem, dá para fazer na outra. E nem é tão diferente assim entre elas. Mas as muitas pequenas diferenças acabam sendo importante no final.
Você pode achar que fui tendencioso por mostrar um monte de coisa que o C# tem e o Java não. Mas é assim mesmo. Java é uma linguagem mais simples. Isso tem seu mérito, mas ela é simples de aprender, nem tanto de usar.
Eu vejo muitas vezes as pessoas dizerem "que bom que minha linguagem preferida não tem o recurso tal". Só que elas adoram quando a linguagem coloca aquilo. E acham até que ficou melhor que a outra. Outros ficam na teimosia. Esse tipo de atitude não é boa para profissionais. Ninguém deveria se apaixonar por tecnologias.
O Jon Skeet é reconhecidamente muito bom nas duas linguagens e trabalha com ambas. Se ele pudesse escolher qual usar integralmente, claramente seria o C#. Minha resposta foi muito baseada na resposta dele e de outros no SO.
Melhorias esperadas para C# 7. O que é esperado em Java 9 (inclui a biblioteca).
Mais referências aqui e aqui. Na Wikipedia.
Aceito sugestões/edições. Posso ter esquecido alguma coisa.