Não é no socket que vai a condificação mas no [InputStreamReader][1] e no [PrintStream][2], veja o construtor:

    public InputStreamReader(InputStream in, String charsetName)

No chat cliente você colocou certo, mas na classe TrataCliente faltou o utf8: 

    public void run() {

        try {

            BufferedReader reader = new BufferedReader(new InputStreamReader(inputClient, "UTF-8"));

            String msg;
            while ((msg = reader.readLine()) != null) {
                server.mandarMsgParaTodos(msg);
            }

        }catch (Exception e){

        }
    }

Também no botão `btnEnviarActionPerformed` não há o charset especificado, você pode usar esse construtor: 

    private void btnEnviarActionPerformed(java.awt.event.ActionEvent evt) {                                          

        String msg = areaEnviarMensagem.getText();
        if (msg.isEmpty()) {
            return;
        }

        PrintStream saida = null;
        try {
            saida = new PrintStream(cliente.getOutputStream(), "UTF-8");
            saida.println(msg);
            areaEnviarMensagem.setText("");
            areaEnviarMensagem.grabFocus();
        } catch (IOException ex) {
            ex.printStackTrace();
        }

    }  


  [1]: http://docs.oracle.com/javase/8/docs/api/?java/io/InputStreamReader.html
  [2]: https://docs.oracle.com/javase/7/docs/api/java/io/PrintStream.html