O valor do [_timestamp_][1] pode estar em diferentes unidades de tempo. O mais comum é estar em segundos ou milissegundos, e cada API/linguagem costuma trabalhar com um deles.

No caso do Moment.js, ele trabalha com o valor em milissegundos, mas o valor que você tem está em segundos.

Sendo assim, ou você multiplica este valor por 1000, ou usa [`moment.unix`][2], que recebe o valor em segundos.

Outro detalhe é que [`format`][3], por padrão, retorna a data e hora referente ao fuso horário do ambiente no qual o código roda (seja o do *browser* ou das configurações do Node, por exemplo - veja [aqui](https://pt.stackoverflow.com/a/456649/112052), [aqui][4] e [aqui][5] para mais detalhes).

Como você quer a data/hora em [UTC][6], pode usar [`utc()`](https://momentjs.com/docs/#/parsing/utc/) no `moment` criado, assim `format()` retornará a data/hora em UTC:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    console.log(moment.unix(1604327859).utc().format());
    console.log(moment(1604327859 * 1000).utc().format());

<!-- language: lang-html -->

    <script src="https://momentjs.com/downloads/moment.min.js"></script>

<!-- end snippet -->

Ambos vão imprimir "2020-11-02T14:37:39Z".

---
Só lembrando que, tecnicamente, "2020-11-02T11:37:39-03:00" não está errado, afinal um *timestamp* representa um instante único, um ponto na linha do tempo, mas pode corresponder a diferentes datas/horas dependendo do timezone (fuso horário). Basta considerar por exemplo o "agora". Neste exato momento, em cada parte do mundo - em cada fuso horário - a data e hora atual podem ser diferentes, mas o instante (o valor do *timestamp*) é o mesmo para todos.

Sendo assim, o *timestamp* 1604327859 representa um único instante absoluto, e ele corresponde tanto a "2020-11-02T11:37:39-03:00" (11 da manhã no Horário de Brasília) quanto a "2020-11-02T14:37:39Z" (14h em UTC). O `-03:00` é o [*offset*][7] (a diferença com relação a UTC, e no caso, indica que a data/hora em questão está 3 horas atrás de UTC, e portanto **ambos** correspondem ao mesmo instante - ao mesmo *timestamp*).

---
Outra opção é usar o [Moment Timezone](https://momentjs.com/timezone/docs):

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    console.log(moment.tz(1604327859 * 1000, "UTC").format()); // 2020-11-02T14:37:39Z

<!-- language: lang-html -->

    <script src="https://momentjs.com/downloads/moment.min.js"></script>
    <script src="https://momentjs.com/downloads/moment-timezone-with-data.js"></script>

<!-- end snippet -->

Repare que o *timestamp* deve estar em milissegundos, e é possível informar o timezone (podendo, no caso, ser "UTC"), assim `format()` não usará o fuso do ambiente.

Esta forma é preferível se você precisar converter para outros timezones além de UTC. Ex:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    let ts = 1604327859 * 1000;
    // timezone do Japão
    console.log(moment.tz(ts, "Asia/Tokyo").format()); // 2020-11-02T23:37:39+09:00
    // timezone da Alemanha
    console.log(moment.tz(ts, "Europe/Berlin").format()); // 2020-11-02T15:37:39+01:00
    // Horário de Brasília
    console.log(moment.tz(ts, "America/Sao_Paulo").format()); // 2020-11-02T11:37:39-03:00

<!-- language: lang-html -->

    <script src="https://momentjs.com/downloads/moment.min.js"></script>
    <script src="https://momentjs.com/downloads/moment-timezone-with-data.js"></script>

<!-- end snippet -->


  [1]: https://pt.stackoverflow.com/q/70473/112052
  [2]: https://momentjs.com/docs/#/displaying/unix-timestamp/
  [3]: https://momentjs.com/docs/#/displaying/format/
  [4]: https://pt.stackoverflow.com/a/344030/112052
  [5]: https://pt.stackoverflow.com/a/455444/112052
  [6]: https://en.wikipedia.org/wiki/Coordinated_Universal_Time
  [7]: https://en.wikipedia.org/wiki/UTC_offset