Tem várias técnicas para resolver isto, cada uma com suas vantagens e desvantagens. Pela sua descrição basta usar o robots.txt
que é um arquivo que diz para os buscadores que você não quer que aquele conteúdo seja indexado por eles.
A presença deste arquivo não garante nada, mas os buscadores mais conhecidos respeitam isto. Se precisar de garantias, terá que usar um mecanismo de proteção exigindo pelo menos uma autenticação básica antes da pessoas acessar.
É possível usar a técnica do meta
colocada na outra resposta mas ela dá trabalho. Tem que colocar em todas as páginas, e se um dia precisam mudar isto no site, tem que mudar em todos arquivos. É possível dizer no robots.txt
quais páginas serão afetadas e de uma forma centralizada. É muito melhor.
Em alguns casos pode ser melhor ou a única forma de fazer, mas raramente é o caso. Deve ser uma solução secundária. Ainda assim, é melhor fazer isto:
<meta name="robots" content="noindex, nofollow">
Também é possível controlar isto no servidor HTTP. Mas são raros casos onde isto é mais interessante. Pode-se usar este elemento no cabeçalho do protocolo:
X-Robots-Tag: noindex