Não é no socket que vai a condificação mas no InputStreamReader e no PrintStream, veja o construtor:
public InputStreamReader(InputStream in, String charsetName)
No chat cliente você colocou certo, mas na classe TrataCliente faltou o utf8:
public void run() {
try {
BufferedReader reader = new BufferedReader(new InputStreamReader(inputClient, "UTF-8"));
String msg;
while ((msg = reader.readLine()) != null) {
server.mandarMsgParaTodos(msg);
}
}catch (Exception e){
}
}
Também no botão btnEnviarActionPerformed
não há o charset especificado, você pode usar esse construtor:
private void btnEnviarActionPerformed(java.awt.event.ActionEvent evt) {
String msg = areaEnviarMensagem.getText();
if (msg.isEmpty()) {
return;
}
PrintStream saida = null;
try {
saida = new PrintStream(cliente.getOutputStream(), true, "UTF-8");
saida.println(msg);
areaEnviarMensagem.setText("");
areaEnviarMensagem.grabFocus();
} catch (IOException ex) {
ex.printStackTrace();
}
}