Em muitos casos sim, em muitos não. Em geral a recomendação é não usá-los até que a performance não esteja boa o suficiente ou que só a manipulação seja adequada para a semântica desejada, até porque os compiladores atuais costumam trocar a operação aritmética ou relacional pela manipulação de bits, sempre que for vantajoso. Mas ele não resolve todos os casos da melhor forma. A maioria resolve melhor que o programador.
Em exemplos artificiais assim, o código na verdade será reduzido a nada. Só fica o header e footer da função (em alguns casos nem isso):
Só testando na situação específica na implementação específica, na arquitetura específica, para ver se ficar mais rápido ou não.
É útil fazer isso quando precisa da performance e sabe que o compilador não está otimizando adequadamente.
Também é útil se a semântica for de manipulação de números em mais baixo nível, já que a intenção é mesmo mexer com bits e não um número de alto nível.
Em alguns casos o processador pode otimizar a execução, até mesmo além desta operação, dependendo da instrução usada no código, mas só o compilador sabe que instrução ele usou.
Então também vai um pouco do gosto na maioria dos casos.
Se usar errado tudo pode ser pior.
Nem falei da diferença entre processadores. E não é só família, varia até de acordo com o modelo.
Então depende, não dá para responder em algo que sequer tem uma resposta definitiva.
O fato de gerar códigos diferentes não quer dizer que um é mais rápido do que o outro já que cada instrução tem um tempo de execução diferente e depende do contexto geral e do ambiente de execução. É possível medir, mas dá trabalho. A versão do compilador e configurações podem mudar o código gerado.
Coloquei no GitHub para referência futura.
==
só vai deixar seu código menos legível e não deve ser feito a menos que você tenha certeza que vale a pena na sua situação específica.