Isso depende bastante das linguagens. [Nessa resposta](http://pt.stackoverflow.com/a/2919/1589) a outra pergunta, eu dei um exemplo de como `if`s podem ser abusados em linguagens que suportam Interfaces (como C#, Visual Basic.NET e Java).

Em outros casos, eu diria que você deve evitar `if`s longos, pois eles tiram a linearidade do código. Se você tem uma função de 50 linhas, em que na quinta linha você tem um `if` que tem 20 linhas, e depois um `else` com outras 20, é bem possível que isso possa ser otimizado, por exemplo. Se as operações são semelhantes, será que você não pode aplicar um uso de interfaces nesse meio e simplesmente remover as condições? (Vide meu exemplo na outra resposta, caso não fique claro)

Outro caso, como mencionado em outra resposta, é quando existem correntes longas de `if-else-if`. Nesses casos, um `switch` (ou, em linguagens funcionais, `pattern match`) é algo que se adequa melhor às suas necessidades.

Eu, como prática pessoal, não uso `if`s no meu código (exceto quando meu líder me obriga). Eu sempre uso o operador condicional ternário `?:` disponível em quase todas as linguagens. A principal vantagem é que ele sempre retorna um valor, o que te dá belas vantagens de código:

<!-- language-all: lang-none -->

    if (condição) {
      valor = 1;
    } else {
      valor = 2;
    }

Contra:

    valor = condição ? 1 : 2;

**Resumindo**: Como eu disse no segundo parágrafo e em um comentário, o problema do `if` é o mesmo do `goto`: Perder a linearidade do código. Quando você tem blocos de `if` (e / ou `else` / `else-if`) muito grandes, se perder no código simulando o fluxo de execução é muito fácil.