Depois de um bom tempo pesquisando consegui resolver o problema.

O problema era o encoding do arquivo, o FileReader por default usa o encoding padrão do sistema operacional, no caso do Android UTF-8. Quando o arquivo não vinha em UTF-8 os acentos eram perdidos.

Pesquisando bastante encontrei uma biblioteca (que acredito ser do pessoal da Mozilla), a [Juniversalchardet][1]. Essa biblioteca consegue **na maioria dos casos** determinar em qual encoding o arquivo foi salvo. Digo na maioria dos casos, pois pelo que pesquisei, nem sempre ela consegue identificar o encoding e ainda quando identifica, nem sempre ela acerta. Eu testei para uns 20 arquivos criados em SOs diferentes e programas diferentes, **ela acertou todas as vezes**, então estou bem satisfeito com esse "na maioria das vezes".

Para adicionar a biblioteca no projeto Android basta importar ela nas dependências do Gradle:

    compile group: 'com.googlecode.juniversalchardet', name: 'juniversalchardet', version: '1.0.3'

Aqui vale um parentese, a Juniversalchardet é uma biblioteca Java, logo você pode baixar o JAR dela ou adicioná-la do repositório [Maven][2].

O método que realiza a leitura do arquivo passa a ler de acordo com o encoding identificado pelo método **getEncoding()**:

    public String lerAquivo(File arquivo) {
        String texto;
        String linha;
        BufferedReader br;

        try {
            texto = "";
            br = new BufferedReader(new InputStreamReader(new FileInputStream(arquivo), getEncoding(arquivo)));

            while ((linha = br.readLine()) != null) {
                if (!texto.equals("")) {
                    texto += "\n";
                }

                texto += linha;
            }
        } catch (Exception e) {
            texto = "";
        }

        return texto;
    }

E por fim o método getEncoding(), que identifica em qual encoding um arquivo foi gravado:

    private String getEncoding(File arquivo) {
        UniversalDetector detector;
        String encoding;
        byte[] buf;
        java.io.FileInputStream fis;
        int nread;

        try {
            buf = new byte[4096];
            fis = new java.io.FileInputStream(arquivo);
            detector = new UniversalDetector(null);

            while ((nread = fis.read(buf)) > 0 && !detector.isDone()) {
                detector.handleData(buf, 0, nread);
            }

            detector.dataEnd();

            encoding = detector.getDetectedCharset();

            if (encoding == null) {
                encoding = "UTF-8";
            }

            detector.reset();
        } catch (Exception e) {
            encoding = "UTF-8";
        }

        return encoding;
    }

Note que, caso o encoding não seja encontrado defini o UTF-8 como padrão, pois no meu caso ler sem acentos é melhor que não ler nada.


  [1]: https://code.google.com/archive/p/juniversalchardet/
  [2]: https://mvnrepository.com/artifact/com.googlecode.juniversalchardet/juniversalchardet/1.0.3