A diferença é sutil que pode ser notada na documentação [`parseFloat`][1]:

> The `parseFloat` function parses an argument (converting it to a string first if needed) and returns a floating point number.

Em tradução direta:

A função `parseFloat` faz o _**parse**_ do argumento (convertendo-o para _string_ primeiro, se necessário) e retorna um número de ponto flutuante.

Já o construtor `Number` simplesmente tenta fazer a **coerção** do valor passado para o tipo numérico. Isso não significa necessariamente fazer o _parse_, já que a coerção de tipos tem comportamento diferente de um _parse_.

O _parse_, eventualmente, poderá remover alguns caracteres que seriam inválidos ao se fazer uma simples coerção. Ao analisar a diferença dos algoritmos descritos na especificação essa diferença torna-se ainda mais evidente:

- [Especificação para o construtor `Number`.][2]
- [Especificação para `parseFloat`.][3]

Note que, como `Number` faz a conversão de tipos, ele pode ser substituído pelo [operador unário `+`][4], que tem a exata mesma função.

Vejamos alguns casos especiais (baseados [nesta resposta do SOen][5]) em exemplo:

- Para qualquer entrada numérica válida, a saída será a mesma, já que esta pode ser _parseada_ (por `parseFloat`) ou convertida (por `Number`) corretamente:
  ```
  parseFloat('3'); // 3
  Number('3'); // 3
  
  parseFloat('1.501'); // 1.501
  Number('1.501'); // 1.501
  
  parseFloat('1e10'); // 10000000000
  Number('1e10'); // 10000000000
  ```

- Eventualmente, o valor passado para `Number` pode não ser corretamente convertido para o tipo numérico, mas ainda pode ser _parseado_ corretamente. Um exemplo disso é quando a _string_ contém caracteres adicionais:

  ```
  parseFloat('1x'); // 1
  Number('1x'); // NaN
  ```

- Em relação aos literais numéricos da linguagem, `parseFloat` não consegue lidar _strings_ que os representem, enquanto `Number`, sim. Isso significa que `Number` consegue converter da sintaxe literal de [binário][6], [octal][7] e [hexadecimal][8] (assim como a decimal — já tratada anteriormente):
  ```
  parseFloat('0b10'); // 0
  Number('0b10'); // 2

  parseFloat('0o10'); // 0
  Number('0o10'); // 8

  parseFloat('0xf'); // 0
  Number('0xf');
  ```
  <sup>NO exemplo acima, `parseFloat` retorna `0` pois lê a _string_ da esquerda para a direita até deixar de encontrar caracteres numéricos válidos. Como `b`, `o` e `x` são inválidos, o restante da _string_ é ignorada após tais demarcações.</sup>

- Em relação aos valores literais da linguagem, `Number` faz a conversão normalmente, enquanto `parseFloat` sempre retornará `NaN`. Por exemplo, ao passarmos booleanos:
  ```
  parseFloat(true); // NaN
  Number(true); // 1

  parseFloat(false); // NaN
  Number(false); // 0
  ```

  [1]: https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/parseFloat
  [2]: https://www.ecma-international.org/ecma-262/#sec-number-constructor-number-value
  [3]: https://www.ecma-international.org/ecma-262/#sec-parsefloat-string
  [4]: https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Operators/Unary_plus
  [5]: https://stackoverflow.com/a/13676265/7445826
  [6]: https://developer.mozilla.org/pt-BR/docs/Web/JavaScript/Guide/Numeros_e_datas#N%C3%BAmeros_Bin%C3%A1rios
  [7]: https://developer.mozilla.org/pt-BR/docs/Web/JavaScript/Guide/Numeros_e_datas#N%C3%BAmeros_octais
  [8]: https://developer.mozilla.org/pt-BR/docs/Web/JavaScript/Guide/Numeros_e_datas#Numeros_hexadecimais