A diferença é melhor explicitada com um exemplo:

    var Person = function(name) {
      this.name = name;
    }
    
    Person.sayHello = function() {
      console.log("Hello " + this.name);
    }
    
    Person.prototype.sayHi = function() {
      console.log("Hi "+ this.name);
    }
    
    var p1 = new Person("Fulano");
    
    Person.sayHello(); // "Hello "
    p1.sayHello();     // Erro: sayHello não está definido
    p1.sayHi();        // "Hi Fulano"

Quando você adiciona alguma função ou atributo ao prototype, esta função (ou atributo) fica disponível a todas as instâncias da classe (criadas com o `new`).

Quando você altera sem o prototype, somente o objeto em questão possui a função/atributo. As instâncias não o possuem.

Note que é possível definir os métodos diretamente dentro da sua classe, usando o `this`:

    var Person = function(name) {
      this.name = name;
      this.sayHi = function() {
        console.log("Hi " + this.name);
      }
    }

    var p1 = new Person("Fulano");
    p1.sayHi();        // "Hi Fulano"