Julgo que você está a usar o chamado *"View holder pattern"* ou seja está a reatualizar as *Views* recorrendo ao *LayoutInflater* apenas quando o parâmetro  `convertView` do método `getView()` do *Adapter* é `null`.  

Assim sendo, como você só atribui a cor ao *backgroud* quando a posição é par, quando reutiliza uma *View* que anteriormente era par numa posição ímpar esta mantém a cor `YELLOW`.  

Para que a alternância de cor funcione nestes casos terá também de atribuir a cor ao *background* quando a posição for ímpar:  

    if(position % 2 == 0){
        layout.setBackgroundColor(Color.YELLOW);
    }
    else{
        layout.setBackgroundColor(Color.DasLinhasÍmpares);
    }

**Nota:**  
O problema só se verificar quando há mais de 9 linhas porque esse deve ser o número de linhas que cabem na tela. Ao fazer *scroll* as *Views* das linhas que deixam de ser visíveis passam a poder ser reaproveitadas pelo *Adapter* e o problema começa.