Quais as vantagens e desvantagens dessas formas?
Métodos 1 e 2 são bons para dados somente leitura, pois é fácil carregar e acessar o que se deseja.
Entretanto, considerando que você vai frequentemente querer consultar e filtrar os dados em diferentes formas, acredito que seja mais coerente usar um banco de dados embutido no programa como proposta em 3. Boas alternativas são:
O item 4 eu nem consideraria como uma forma de armazenamento decente. Isso pode gerar vários problemas se você precisar evoluir sua estrutura de dados.
Outro problema com 1, 2 e 4 é que você terá que manipular tudo em memória e, para evitar perda der dados, fazer flush constante para o disco. Terá também que se preocupar com a integridade dos arquivos, etc.
Por outro lado, se o programa pretende ser simples e não há muita preocupação com consistência dos dados, nem com consultas mais complexas, gerenciar tudo em memória e serializar para o disco em JSON não é uma má ideia.
Qual a mais viável para esse projeto ser fácil de distribuir?
A melhor distribuição hoje em dia seria numa aplicação web. Se precisar fazer uso offline, pode criar um APP que funciona com autonomia, mas é capaz de sincronizar com um servidor remoto usando, por exemplo, uma API REST.
Dá mais trabalho, mas com certeza é melhor do que armazenar um banco de dados ou arquivo localmente, principalmente se a ideia é que os dados sejam acessíveis e modificados de vários locais.
Mover arquivos para lá e para cá pode ser uma dor de cabeça. Um dia você sai de casa e esquece de levar a cópia mais recente do arquivo. Aí você fica impedido de fazer qualquer alteração enquanto não voltar para casa. Outro dia você faz uma alteração e não lembra se o arquivo atual é mesmo o mais recente. Se você esquecer em qual ambiente alterou o arquivo pela última vez, ou fizer alterações em dois ambiente sem querer, como vai garantir que os dados atuais estão consistentes?
Entretanto, se você prefere ainda uma versão puramente desktop, o método mais flexível seria usar o banco a partir de um arquivo no disco. Isso é perfeitamente possível e fácil usando os bancos de dados que citei acima.
Existe alguma solução melhor que eu poderia adotar?
Aplicação web, se possível com um aplicativo mobile para lançamentos simples offline e posterior sincronização.
Considerações
Embora eu tenha procurado me ater bem ao contexto da pergunta, alguns pontos aqui são um tanto opinativos e dependem das necessidades específicas de quem vai usar o programa, além das restrições específicas.
Por exemplo, quem vai usar o programa tem um smartphone? Fica frequentemente sem acesso à internet? Anda sempre com um laptop pessoal?