Você definitivamente NÃO deve desinstalar a versão do Python que veio com o seu sistema. Outros programas e inclusive o seu sistema podem depender dessa versão específica.
Outra coisa, quando for instalar a versão 3, cuide para não sobrescrever a versão 2, pois, como dito, isso poderá te trazer muitos problemas.
É completamente normal ter as duas grandes versões do Python instaladas no seu sistema, inclusive versões menores (ex. 2.6 e 2.7, 3.1 e 3.4). Isso te possibilita maior flexibilidade e versatilidade durante o desenvolvimento. Um exemplo disso, é você desenvolver um aplicativo inteiramente na versão 3, mas utilizar uma ferramenta para te auxiliar a fazer builds que só existe na versão 2. Seu aplicativo depende do Python 3, a ferramenta do Python 2.
Dica: tendo em vista que a versão que vem pré-instalada é vital para o seu sistema, utilize ambientes virtuais para desenvolver suas aplicações e utilizar outras bibliotecas. Dessas forma, além de você resguardar seu sistema, essa prática te permitirá isolar seus aplicativos uns dos outros, facilitando a gerência de dependências específicas.
Por exemplo, um aplicativo pode depender da versão 1.5 do django enquanto que outro depende da versão 1.8. Isso será bem mais fácil de gerenciar (ou, talvez, a única possibilidade) se você utilizar ambientes virtuais.
Como sugerido nos comentários, procure por virtualenv
.