Nota: se os dois termos são apresentados como opções na instalação de um sistema, então provavelmente eles se referem à maneira como as dependências desse sistema serão gerenciadas - e não à maneira como o ciclo de vida do programa é gerenciado (como minha resposta assume). Ver a resposta do Cigano Morrison Mendez para mais detalhes.
Os dois conceitos são ortogonais, ou seja, não tem relação alguma um com o outro. Você pode ter um sistema que é standalone e um background process, você pode ter um que é só um ou só outro, e você pode ter um que não é nenhum dos dois.
Como explicado na resposta do Cigano Morrison Mendez, um aplicativo standalone é auto-suficiente, possuindo tudo o que precisa para funcionar sem a dependência de aplicativos externos. Entretanto, há um limite - programas são normalmente compilados para uma arquitetura específica, e normalmente também para um sistema operacional específico. Isso significa que há sim dependência em relação ao SO, só não há em relação a outros aplicativos e bibliotecas que não são parte nativa desse SO. Mesmo um sistema distribuído no formato código-fonte exige no mínimo um compilador para transformá-lo em código executável.
Já o conceito de serviço, é mais ou menos o seguinte: quando o sistema operacional inicia, uma série de outros programas são postos em execução, até que o mesmo esteja pronto para receber comandos do usuário (seja via interface gráfica ou via terminal). Todos esses programas são chamados "serviços" (com exceção dos aplicativos "normais" que o usuário optou por iniciar ao "ligar o computador"). Normalmente não possuem uma janela, ou um ícone na barra de tarefas, e a única maneira de interagir com eles é através da sua interface de serviço (que pode ser via socket, pipe, requisições http, etc). Também não podem ser "abertos" ou "fechados" pelo usuário (exceto fechamento forçado), pois seu ciclo de vida é controlado pelo próprio SO.
Cabe notar que background process é diferente de service: em sistemas *NIX pelo menos, qualquer processo pode ser enviado para o background (e posteriormente trazido de volta para o foreground) através de um comando específico. Mas isso não o torna um serviço - pois se você fechar o terminal/fizer logout, todos os processos que aquele terminal iniciou são fechados também. Para o processo "sobreviver ao fechamento", é necessário que ele tenha sido explicitamente configurado para isso (como descrito anteriormente).
(e caso isso não esteja claro, "enviar para o background" significa que o terminal fica livre para executar outros comandos; ou no caso de uma interface gráfica, significa que o programa deixa de ter uma janela)