SOLID é um princípio de programação associado com a orientação a objeto. Portanto é uma regra que se recomenda seguir. Alguns vão chamar de boa prática. Na verdade são conceitos bem interessantes para aprender e saber porque existem, que problemas eles resolvem e principalmente quando usar. A pior coisa que pode fazer com ele é usar sempre. O correto é usar sempre que necessário, quando vai trazer mais benefícios que malefícios. SOLID deve ser uma ferramenta, não o objetivo, como muita gente faz.
Ele é útil para organizar aplicações complexas que precisam de muita manutenção, que lidam com bastante incerteza e que atende muitas expectativas diferentes.
Em geral, só se sabe mesmo quando é útil ou não com muita experiência e entendimento profundo de tudo que o circunda. Como isso raramente ocorre, as pessoas ou deixam pra lá totalmente ou passam adotar em tudo o que faz sem ter um critério.
Alguns princípios são mais importantes que outros. Mas quem é muito fã de SOLID acha que todos devem ser usados igualmente.
É comum ocorrer que para lidar com a complexidade ele faz o código ficar ainda mais complexo. Claro que existem vantagens também.
É um acrônimo dos 5 princípios que ajuda você lembrar deles quando estiver arquitetando uma aplicação.
Single responsibility principle
A classe deve ter uma responsabilidade única, não deve fazer mais do que o necessário. O nome deve indicar claramente o que faz para indicar a sua função única. Vale para outras entidades também
Open/closed principle
As entidades do software deve ser abertas para extensão, mas fechadas para modificação. Assim, facilita a manutenção e evita conflitos entre versões
Liskov substitution principle
Objetos no programa podem ser substituídos por instâncias de seus subtipos sem afetar a coerência da aplicação, portanto o subtipo não pode ter atividades, seja no contrato, seja na implementação, que são incompatíveis com o supertipo
Interface segregation principle
As interfaces devem indicar o mínimo possível ao invés de fazer tudo o que é possível. Mais interfaces é melhor que interfaces maiores. É quase a mesma coisa da responsabilidade única aplicada para a interface
Dependency inversion principle
O código deve depender de abstrações e não de concretudes. Como algo funciona deve ser definido pelo objeto e não pelo contrato usado. Então é melhor usar interfaces como parâmetros e receber objetos que a implementam como argumento
Leitura complementar.
Coloquei no GitHub para referência futura.