No seu exemplo,
9/3.0001 ~ 2.99990000333322222592

Assim, a resposta arredondada a 3 casas decimais é de facto 3.000.  O seu programa está correto, dentro dos limites de precisão que especificou.  Se quiser o resultado com mais casas de precisão, deve indicá-lo no `printf`:

<!-- begin snippet: js hide: false -->

<!-- language: lang-C -->

    printf("%.9lf", num1);  // com 9 casas de precisao

<!-- end snippet -->

O tipo double tem precisão suficiente para cerca de 15 algarismos significativos (não quer dizer que sejam 15 casas decimais, depende de quantos algarismos significativos tem na parte inteira do número).  Se de facto precisar de mais do que isso, então poderá usar outro tipo de representação, como foi sugerido.

Para cálculo científico (em engenharia, física, outras ciências experimentais) é usual usar-se representações em vírgula flutuante (como o `double`) porque os próprios dados são geralmente imprecisos.  Assim, os resultados calculados a partir desses dados também não podem ser muito precisos.  Se tirou uma medida de comprimento usando uma régua com resolução de 1 décimo de mm, então a medida observada de 3.0001 m pode de facto ser 3.00013 m ou 3.00098.  A observação tem um erro que poderá ser de +/-0.00005 m.  Se fizer a divisão de duas medidas com essa margem de erro, também o resultado vem afetado de um erro da mesma ordem de grandeza.  Assim, não é significativo mostrar o resultado com mais algarismos significativos do que os que tem nos operandos.

Em muitas aplicações, é raro ter-se dados com mais de uma dezena de algarismos significativos, pelo que a precisão de um `double` costuma ser mais que suficiente.