Isso não tem a ver com Xamarin ou .NET.
Isso está diretamente relacionado com seu versionador de código fonte.
Acredito que você esteja usando git, certo?
Existe um arquivo chamado .gitignore
que fica no seu repositório local. Lá você pode informar quais arquivos e pastas devem ser ignorados.
Caso já tenha commitado os arquivos e pastas que não deseja commitar é necessário removê-los do repositório. O fato de incluir no .gitignore
não vai removê-los de lá.
Essa e essa pergunta estão respondidas também sobre como remover arquivos do repositório.
Veja mais sobre como ignorar arquivos no git e como montar seu .gitignore
aqui.