Poderia passar mais informações? qual a versão do Angular você está usando?
Já aconteceu comigo de o comando ng serve apagar os arquivos gerados pelo ng build. faça o seguinte, rode o ng build e copie os arquivos para o Xampp antes de rodar o ng serve novamente. Para definir um outro diretório onde o Angular irá gerar os arquivos use o parametro --output-path:
ng build --output-path=novo_diretório
Caso não dê certo, verifique qual o padrão de roteamento que o Angular está usando. Existem dois, HashLocationStrategy e PathLocationStrategy, esse último é o padrão do Angular. O HashLocationtStrategy é definido da seguinte forma:
RouterModule.forRoot(routes, {useHash: true})
Se não tiver feito essa configuração acima então sua aplicação está usando o PathLocationStrategy. Nesse caso é preciso definir o base href dentro da tag HEAD no arquivo index.html:
<base href="/">