Tenho minhas dúvidas se a afirmação do primeiro parágrafo está correta, na verdade nem sei se ela está clara.
Qual a vantagem dos objetos em PHP serem passados por referências por padrão?
Basicamente duas:
- não precisar copiar o objeto, o que muitas vezes pode ser uma operação relativamente custosa porque alguns objetos tendem ser um pouco grandes (embora pra PHP isso não faça tanta diferença assim e talvez eles tenham feito porque outras linguagens são assim);
- poder modificar os valores do objeto em qualquer lugar e refletir por toda a aplicação, exatamente o que está achando que é um defeito é considerado uma vantagem.
Existem algumas vantagens derivas, como poder usar polimorfismo, evitar slicing, e outros. Uma referência é uma indireção, que dá mais flexibilidade para fazer várias coisas.
Raros os casos que não deseja que uma alteração se reflita no objeto de forma global, e se está precisando fazer isto questione se não está fazendo algo errado. Se realmente precisa disto seria bom analisar se este objeto cumpre um papel correto no sistema e se não deveria ser formulado de outra forma.
Outra questão a pensar é se não poder mexer no objeto é algo próprio dele e ele mesmo deveria garantir a imutabilidade ou se é um caso pontual que merece uma cópia.
qualquer alteração que eu realizava na variável, também alterava meu objeto
Isso não é verdade, se você alterar o objeto todo na variável não irá mexer no outro objeto. Justamente por um objeto ser por referência se você alterar a referência você estará colocando outro objeto na variável e portanto o objeto original não sofrerá alterações. Note que a alteração ocorre só na variável, portanto se passou como argumento não mexe no argumento, apenas no parâmetro que é a variável, então se sair do método não faz mais sentido esperar essa alteração refletida em alguma outra variável do método chamador.
Coloquei no GitHub para referência futura.