Poderia passar mais informações? qual a versão do Angular você está usando?
Já aconteceu comigo de o comando ng serve apagar os arquivos gerados pelo ng build. faça o seguinte, rode o ng build e copie os arquivos para o Xampp antes de rodar o ng serve novamente. Para definir um outro diretório onde o Angular irá gerar os arquivos use o parametro --output-path:
ng build --output-path=novo_diretório