O `inline` existe para dar uma dica para o compilador do que fazer. Está na especificação do C e do C++ que é assim.

O compilador não precisa seguir essa dica. Ele pode linearizar a função (colocar o conteúdo da função onde ela deveria ser chamada) sem dica alguma, e pode manter a chamada mesmo com a dica.

Cada compilador tem sua própria regra em cada plataforma e configuração. É possível ele ignorar completamente sem regra alguma.

A dica pode ser útil em casos que não é tão óbvio o que fazer.

- Nem perca tempo em função grande (poucas linhas já é grande).
- Funções com laços, mesmo que seja uma linha, também não serão linearizadas (a não ser que o laço seja substituído por código simples, isso se ele conseguir garantir que iterará pouquíssimas vezes, talvez 4).
- Funções que fazem acesso de I/O nunca compensa.
- Função que é pouco usada, que não é chamada em laços grandes, dará uma ganho mínimo e poderá afetar ocupar lugar no cache que seria útil para outra otimização melhor.
- Funções que podem ser usadas por terceiros em módulos externos (DLL) e que pode haver alguma atualização. Se ela for linearizada, a atualização não será usada até um nova compilação.
- Funções vazias quase sempre será linearizada. Se não quer que isto ocorra pelo motivo anterior use um `noinline`.
- Em C++ construtores e destrutores sempre terá um código até mesmo se estiver vazio.

O atributo `noinline` costuma ser usado para "impedir" o compilador linearizar a função. Cada compilador tem seu jeito de usar esse atributo que não é padrão. Obviamente que cada compilador pode usar a regra que quiser para escolher fazer ou não.

Existe uma forma de garantir que a função não será linearizada, mas isso gera um custo adicional no seu uso por causar uma [indireção][1] extra:

    void (*pFunc)() = func; //func é uma função definida em algum lugar
    //a chamada
    pFunc();

Em funções recursivas o atributo pode até fazer a otimização transformar uma função em um valor constante.

Para ajudar entender como o compilador funciona, verifique o que ele fez em cada caso que uso o atributo `inline`.

[Artigo interessante sobre o assunto][1].


  [1]: http://www.drdobbs.com/to-inline-or-not-to-inline/184405660