5

Frequentemente preciso ler uma InputStream mais do que uma vez. Por exemplo, para repassar o conteúdo da stream para múltiplos métodos.

void readStream(InputStream input) throws Exception {
    var result1 = doSomething(input);
    var result2 = doSomethingElse(input);
    // Faz algo com os resultados
}

As chamadas downstream não estão sob meu controle. Elas consomem e fecham input, de forma que não posso simplesmente marcar e resetar a stream original.

Abrir uma nova InputStream também não é conveniente no meu caso. input está ligada a uma fonte lenta e limitada.

Gostaria de saber se há alguma maneira de "clonar" input de forma que eu possa passar streams diferentes para os métodos downstream?

Ou seja, queria fazer algo como no código abaixo (que não funciona):

void readStream(InputStream input) throws Exception {
    var clonedInput = ((InputStream) input.clone());
    var result1 = doSomething(input);
    var result2 = doSomethingElse(clonedInput);
    // Faz algo com os resultados
}

É possível fazer algo assim? Caso não seja, quais são as melhores alternativas?


Atribuição: Adaptado da pergunta How to Clone an InputStream? perguntada pelo usuário Renato Dinhani no Stack Overflow.

3
  • 1
    +1 Muito legal! Só uma dúvida. Até pensei em perguntar no META, mas pelo o que voce tem feito, é bem-vindo fazer um par pergunta/resposta? Porque eu tenho um caso que não achei a resposta sobre um assunto especifico aqui no SOpt e tive que olhar documentacao e no SOen para conseguir fazer uma adptação para a minha solução. Nesse caso, seria bom eu postar um par pergunta/resposta? 17/02/2021 às 22:12
  • ↑↑↑ não sei (ainda) se tem algo no META sobre o assunto... 17/02/2021 às 22:13
  • 3
    @CmteCardeal Sim, responder a própria pergunta é perfeitamente normal e dentro das regras - eu mesmo já fiz isso
    – hkotsubo
    17/02/2021 às 22:32

2 Respostas 2

7
+50

Como foi dito que os métodos doSomething e doSomethingElse consomem toda a stream, então entendo que ambos precisam de todo o conteúdo dela.

Sendo assim, uma alternativa é - como dito na outra resposta - ler todo o conteúdo do InputStream e guardá-lo em um array de bytes. Na outra resposta foi dada a solução com Java 9 (com transferTo), mas para versões anteriores você teria que ler o conteúdo manualmente, e escrevê-lo em um ByteArrayOutputStream:

void readStream(InputStream input) throws Exception {
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    byte[] buffer = new byte[1024];
    int len;
    while ((len = input.read(buffer)) > 0) {
        baos.write(buffer, 0, len);
    }
    baos.flush();

    var result1 = doSomething(new ByteArrayInputStream(baos.toByteArray()));
    var result2 = doSomethingElse(new ByteArrayInputStream(baos.toByteArray()));
    // etc...
}

Com isso, eu obtenho um array de bytes (no caso acima, é o array retornado por baos.toByteArray()), que depois posso repassar para os métodos, encapsulado em um ByteArrayInputStream. Assim, cada chamada é feita com uma stream nova, mas sempre contendo os mesmos dados.

O que daria para melhorar - caso você já "saiba" ou tenha uma noção do tamanho aproximado dos dados - é criar o ByteArrayOutputStream com o tamanho adequado (algo como new ByteArrayOutputStream(tamanhoDosDados)), assim você evita as realocações que são feitas durante as escritas: a documentação diz que o valor default da capacidade inicial é 32 (ou seja, apenas 32 bytes), então ao passar o tamanho mais próximo do real você minimiza a quantidade de vezes que o array interno é realocado.


Vale lembrar que isso só se aplica se você tem memória suficiente para guardar todos os dados da stream.

Mas se não há memória suficiente, você precisa lê-la mais de uma vez e evitar que seja fechada (e não quer reabrí-la), daria para fazer uma "gambiarra": criar um stream que ao ser fechada, na verdade se reseta. Algo assim:

// solução ruim, veja considerações mais abaixo
public class ResetOnCloseInputStream extends InputStream {
    private InputStream in;
    public ResetOnCloseInputStream(InputStream in) {
        this.in = in;
    }

    @Override
    public int read() throws IOException {
        return in.read();
    }

    // gambiarra: ao ser fechado, na verdade é resetado
    @Override
    public void close() throws IOException {
        if (in.markSupported()) {
            in.mark(0);
            in.reset();
        }
    }
}

...
ResetOnCloseInputStream resetIn = new ResetOnCloseInputStream(input);
var result1 = doSomething(resetIn);
var result2 = doSomethingElse(resetIn);

Mas tem alguns problemas: além de ser gambiarra, por estar (na minha opinião) deturpando o objetivo do método close, ferindo tanto a semântica deste quanto o Princípio da Menor Surpresa, nem toda stream pode suportar as operações de mark e reset. Então é um método pouco garantido que funcione, e só deixo registrado aqui como curiosidade.


Se não há memória suficiente para manter o array de bytes, outra opção é escrever o conteúdo do input em um arquivo temporário, e a cada chamada dos métodos que consomem os dados, criar uma nova stream que lê deste arquivo.

A partir do Java 7, pode-se usar o pacote java.nio:

InputStream input = // input original

// salva os dados do input em um arquivo temporário
Path tempFile = Files.createTempFile("prefixo", "sufixo"); // prefixo e sufixo podem ser null (tanto faz, o arquivo é temporário e o Java cria um nome "único" mesmo...)
Files.copy(input, tempFile, StandardCopyOption.REPLACE_EXISTING);

// usa o arquivo temporário (cria um novo stream para cada método)
doSomething(Files.newInputStream(tempFile, StandardOpenOption.READ));
doSomethingElse(Files.newInputStream(tempFile, StandardOpenOption.READ));

// opcional: apaga o arquivo depois que terminar o processamento
Files.delete(tempFile);

Para Java < 7, use o java.io mesmo:

// copia os dados do input para um arquivo temporário
File tempFile = File.createTempFile("prefixo", "sufixo");
try (OutputStream out = new FileOutputStream(tempFile)) {
    byte[] buffer = new byte[1024];
    int read;
    while ((read = input.read(buffer)) != -1) {
        out.write(buffer, 0, read);
    }
} catch (IOException e) {
    // trata erros, etc
}

// usa o arquivo temporário (cria um novo stream para cada método)
doSomething(new FileInputStream(tempFile));
doSomethingElse(new FileInputStream(tempFile));

// opcional: apaga o arquivo depois que terminar o processamento
tempFile.delete();

Por fim, se não há como manter os dados em memória e nem criar o arquivo temporário, o jeito é fazer o que você parece não querer: reabrir a stream e lê-la novamente.

Há também a opção de usar uma biblioteca externa, como já sugerido na outra resposta, mas tem alguns poréns:


Sobre o Apache Commons

Como foi dado a entender que os métodos que processam a stream lêem todos os dados desta, então CloseShieldInputStream - pelo menos nos testes que fiz - não parece ser uma boa solução:

InputStream input = // o input original

CloseShieldInputStream closeShieldForInput = new CloseShieldInputStream(input);
var result1 = doSomething(closeShieldForInput); // leu todos os dados do input
var result2 = doSomethingElse(closeShieldForInput); // não leu nada

Nos testes que fiz, criei os métodos doSomething e doSomethingElse de forma que eles leiam todos os dados da stream e a fechem no final (basicamente, "while (read) etc e close"). Com isso, somente doSomething leu os dados do input, mas doSomethingElse não conseguiu ler mais nada.

Isso acontece porque o que CloseShieldInputStream faz é somente evitar que o InputStream que ele encapsula seja fechado. Se olharmos o código fonte, veremos que na verdade o método close simplesmente seta o InputStream para um ClosedInputStream (e esta classe, por sua vez, possui um método read que sempre retorna -1 - ou seja, na prática é como uma stream "vazia", sem dados).

Por isso que após fechar um CloseShieldInputStream, o input original não é fechado, mas a tentativa de ler algo depois não traz nenhum dado. Então entendo que isso não serve para o seu caso. A documentação diz o seguinte:

This class is typically used in cases where an input stream needs to be passed to a component that wants to explicitly close the stream even if more input would still be available to other components.

Ou seja, ela é útil quando a stream é fechada antes de ter todos os dados lidos, mas você não quer que ela seja fechada, e deseja continuar a leitura de onde parou.
Por exemplo, criei um arquivo contendo o texto abc e fiz esse teste:

InputStream input = new FileInputStream("arquivo.txt"); // arquivo contendo "abc"

CloseShieldInputStream closeShieldForInput = new CloseShieldInputStream(input);
System.out.println(closeShieldForInput.read()); // 97 <- leu a letra "a"
System.out.println(closeShieldForInput.read()); // 98 <- leu a letra "b"

// não fecha o input original, mas seta o stream interno para um ClosedInputStream
closeShieldForInput.close();

System.out.println(closeShieldForInput.read()); // -1 <- a leitura está sendo feita no ClosedInputStream
System.out.println(closeShieldForInput.read()); // -1 <- a leitura está sendo feita no ClosedInputStream
// ao ler do input original, continua de onde parou (já que ele não foi fechado)
System.out.println(input.read()); // 99 <- leu a letra "c"

Repare que após o CloseShieldInputStream ser fechado, as chamadas a read retornam -1. Mas se eu ler diretamente do input original, ele continua aberto e os dados são lidos corretamente, do ponto de onde tinha parado.

Sendo assim, este não é uma boa solução para o caso de precisar consumir a stream inteira várias vezes. Você até poderia tentar resetar a stream antes de reusá-la, mas cai no problema já mencionado acima (nem todas as streams suportam reset), e além disso, depois do primeiro reset você teria que usar o input original em vez do CloseShieldInputStream (ou então criar outro).


Sobre o TeeInputStream, ele de fato funciona, em conjunto com PipedInputStream e PipedOutputStream:

InputStream input = // o input original

PipedInputStream in = new PipedInputStream();
TeeInputStream tee = new TeeInputStream(input, new PipedOutputStream(in));
var result1 = doSomething(tee);
var result2 = doSomethingElse(in);

Mas vale lembrar que internamente, está sendo feita uma cópia dos dados: ao ler do TeeInputStream, este envia os dados para o PipedOutputStream, que por sua vez envia os dados para PipedInputStream, que mantém uma cópia dos mesmos (ou seja, se houver limitação de memória, esta solução também não se aplicaria).

E tem outra limitação: se você quiser ler os dados novamente (pela terceira vez), não será possível:

InputStream input = // o input original

PipedInputStream in = new PipedInputStream();
TeeInputStream tee = new TeeInputStream(input, new PipedOutputStream(in));
var result1 = doSomething(tee);
var result2 = doSomethingElse(in);

var result3 = doAnotherThing(tee); // erro: tee está fechado
var result4 = doOneMoreThing(in); // erro: in está fechado
var result5 = doJustOneMoreThing(input); // erro: input está fechado

Pois tanto o TeeInputStream quanto o PipedInputStream (e o input original) estarão fechados.

Vale lembrar que isso não ocorre com as soluções com ByteArrayInputStream e com o arquivo temporário: com elas, podemos criar tantos quantos forem necessários. Então aquelas continuam sendo - na minha opinião - as melhores opções: se há memória suficiente para manter o array de bytes, ByteArrayInputStream é preferível, senão prefira criar o arquivo temporário.

2
  • 1
    Excelente como sempre hkotsubo, você e o Brenno trouxeram tudo o que tinha na pergunta original do SOEn e um pouco mais. Em alguns dias eu marco o aceite. Só vou deixar aberto para chamar atenção por um pouco mais de tempo e dar a chance para quem mais quiser responder. 18/02/2021 às 13:59
  • 1
    @AnthonyAccioly Adicionei mais uma opção (que vi que não tem na pergunta original do SOen). Não é melhor que manter os dados em um array de bytes + ByteArrayInputStream, mas acho que é um bom "meio-termo" caso haja limitação de memória
    – hkotsubo
    19/02/2021 às 13:04
5

Java 9

Nesta situação que você não quer fechar o input é possível utilizar o InputStream.transferTo e guardar em ByteArrayOutputStream.

Será possível ler os dados e colocados em uma outra variável, criando um intermediário para os bytes. É importante lembrar que para essa abordagem é necessário que a memória seja suficiente para conter todos os dados (e suas réplicas).

Um exemplo:

ByteArrayOutputStream foo = new ByteArrayOutputStream();
input.transferTo(foo);
InputStream barOne = new ByteArrayInputStream(foo.toByteArray()); 
InputStream barTwo = new ByteArrayInputStream(foo.toByteArray());
InputStream barThree = new ByteArrayInputStream(foo.toByteArray()); 
// O quanto você tiver de memória disponível

Apache Commons

É possível alcançar uma solução parecida também usando o TeeInputStream da Apache Commons em conjunto com o PipedInputStream and PipedOutputStream.

O TeeInputStream serve de proxy para a leitura do InputStream e o PipedInputStream normalmente é utilizado em uma thread diferente para leitura e outra para gravação.

void readStream(InputStream input) throws Exception {
    // Cria o pipedInputStream para um input
    PipedInputStream pipInput = new PipedInputStream();
    // Cria um clone para o TeeInputStream
    TeeInputStream teeInput = new TeeInputStream(pipInput, new PipedOutputStream(input));

    // Agora você tem o teeInput e pipInput para manipular seu inputStream

}

Ainda como uma contra medida você pode usar o CloseShieldInputStream para evitar que os métodos na sequência fechem o inputStream original como no exemplo:

void readStream(InputStream input) throws Exception {
    CloseShieldInputStream closeShieldForInput = new CloseShieldInputStream(input);
    var result1 = doSomething(closeShieldForInput);
    var result2 = doSomethingElse(closeShieldForInput);
    // E no final o seu inputStream poderá ser lido
}

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .