Já aconteceu comigo de o comando ng serve apagar os arquivos gerados pelo ng build.
faça o seguinte, rode o ng build e copie os arquivos para o Xampp antes de rodar o ng serve novamente. 
Para definir um outro diretório onde o Angular irá gerar os arquivos use o parametro --output-path:

> ng build --output-path=novo_diretório

Caso não dê certo, verifique qual o padrão de roteamento que o Angular está usando. Existem dois, **HashLocationStrategy** e **PathLocationStrategy**, esse último é o padrão do Angular.
O HashLocationtStrategy é definido da seguinte forma:

    RouterModule.forRoot(routes, {useHash: true})
Se não tiver feito essa configuração acima então sua aplicação está usando o PathLocationStrategy. Nesse caso é preciso definir o **base href** dentro da tag HEAD no arquivo index.html:

    <base href="/">