Que fique claro que nesta resposta estou falando de aplicações puramente desktop. Não estou falando de cliente servidor onde o cliente é um executável para rodar no desktop e o banco de dados ficará no servidor para acesso por vários clientes.
No cenário cliente/servidor o aplicativo desktop será instalado separado do servidor, então a pergunta não caberia.
O cenário descrito na pergunta é para aplicações standalone, onde o banco de dados está intimamente ligado ao executável e só será acessado por ele.
MySQL
Sem muitos detalhes não é fácil dar uma resposta precisa, mas de uma maneira geral não compensa usar o MySQL para uma aplicação desktop assim. Aí as demais perguntas não fariam sentido. Claro que tem como instalar junto, mas não deveria.
- O MySQL precisa ser instalado, muita coisa pode acontecer errada nesse processo. Sem falar no tamanho que deve ir junto a aplicação.
- E tem que ficar rodando. Ocupa muita memória. E usuários incautos podem facilmente comprometer seu funcionamento quando detectam coisas esquisitas no seu computador (tem como rodar sob demanda, mas não ajuda muito e pode trazer outros problemas).
- É comum precisar de manutenção, e ela não é tão simples.
- É um canhão pra matar passarinho. Muito do que ele oferece não é necessário neste cenário.
- Pode haver outros problemas em cenários específicos. Por exemplo, pode já haver um MySQL na máquina pra outra coisa. Você teria conflito ou precisaria estar preparado para lidar com isto, o que é demais para algo que deveria ser simples.
SQLite
- O SQLite é o banco de dados padrão para aplicações desktop (não servidores).
- Ele pode fazer essencialmente tudo o que o MySQL pode. A diferença é que ele não é um servidor (ótimo neste caso), e que não pode fazer uma quantidade de escritas realmente simultâneas tão grande quanto o MySQL, mas a diferença não é brutal e no desktop isto não deve ocorrer, pelo contrário, provavelmente só será necessário fazer uma escrita por vez.
As informações sobre o componente adicional que precisa anexar ao projeto para seu uso podem ser obtidas na página oficial dele. Não precisa instalá-lo, ele passa fazer parte da aplicação.
Os pacotes Nuget encontrados na página de download são mais fáceis de manipular.
Ao contrário do que algumas pessoas pensam, o SQLite também pode ser usado, e eu uso com sucesso, em cenário cliente/servidor (tem resposta minha lá em baixo mostrando como), mas aí pode não ser a solução mais adequada. Veja mais sobre seu uso.
Se tiver dúvidas específicas, faça-as em perguntas individuais.
Coloquei no GitHub para referência futura.