Tanto a Activity como o Fragment são componentes que fornecem uma interface gráfica(UI), para permitir que o usuário itere-ajainteraja com a aplicação.
A diferença fundamental é que um Fragment necessita de uma Activity para ser apresentado.
O Fragment foi introduzido no Android 3.0 (API de nível 11) e o seu intuito principal é permitir maior flexibilidade na criação de UI adaptáveis às várias dimensões de telas existentes nos dispositivos actuais.
Ele permite centralizar o código referente a uma parte(fragmento) da UI.
Ao dividir o layout de uma Activity em fragmentos, é possível modificar a aparência da Activity, em tempo de execução, de forma simples.
Outra vantagem é o reaproveitamento do código, pois eles podem ser usados em mais de uma Activity.
Há quem use o Fragment, sem uma view associada, para implementar o padrão MVP.
O fragment faz de presenter, aproveitando a possibilidade que este tem, chamando o método setRetainInstance(true), de não ser destruído durante a recriação da Activity(como a resultante da rotação do dispositivo), mantendo o estado da aplicação.
A FragmentActivity é um "wrapper" em volta de uma Activity para permitir que o Fragment possa ser utilizado em dispositivos com Android anterior à versão 3.