Skip to main content
1 de 2
guiandmag
  • 3,4mil
  • 1
  • 21
  • 35

Lendo arquivos de forma rápida

No Java existe várias classes para leitura de arquivos, com e sem buffering, de acesso aleatório, thread-safe, e mapeamento de memória. Alguns destes são muito mais rápidos do que outras.

FilelnputStream com leitura de byte

FileInputStream abre um arquivo por nome ou pelo objeto File. O método `read()` lê byte após byte do arquivo.

FileInputStream usa sincronização para torná-lo thread-safe.

FileInputStream f = new FileInputStream( name );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

FilelnputStream com leitura de array de byte

FileInputStream faz uma operação de I/O em cada leitura e ele sincroniza em todas as chamadas de método para torná-lo thread-safe. Para reduzir essa sobrecarga, ler vários bytes de uma vez em um array de buffer de bytes

FileInputStream f = new FileInputStream( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

BufferedInputStream com leitura de bytes

BufferedInputStream lida com o FileInputStream fazendo o buffer por você. Ele faz o wrap da entrada de stream, cria um array de bytes interno (normalmente 8 KB), e o preenche para fazer a leitura. O método read() pega cada byte do buffer.

BufferedInputStream utiliza sincronização para ser thread-safe.

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream( name ) );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

BufferedInputStream com leitura de array de byte

BufferedInputStream sincroniza todos os métodos ao fazer chamadas thread-safe. Para reduzir a sincronização e overhead de chamadas ao método, faça menos chamadas ao método read() fazendo a leitura de múltiplos bytes de uma vez

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream( name ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

RandomAccessFile com leitura de bytes

RandomAccessFile abre o arquivo por nome ou objeto File. Ele pode ler, escrever, ou ler e escrever pela posição que se escolher dentro do arquivo. O método read() lê o próximo byte da atual posição do arquivo.

RandomAccessFile é thread-safe.

RandomAccessFile f = new RandomAccessFile( name );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

RandomAccessFile com leitura de array de bytes

Como FileInputStream, RandomAccessFile enfrenta o problema de efetuar um operação I/O em cada acesso e sincronização em todas as chamadas a métodos para ser thread-safe. Para reduzir esse gargalo, fazer menos chamadas a métodos passando os bytes para um array e lendo a partir do array.

RandomAccessFile f = new RandomAccessFile( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

FileChannel com ByteBuffer e busca de bytes

FileInputStream e RandomAccessFile podem retornar um FileChannel para operações mais baixo nível com I/O. O método read() do FileChannel preenche um ByteBuffer criado utilizando o método allocate() da classe ByteBuffer. O método get() da classe ByteBuffer recupera o próximo byte do buffer.

FileChannel e ByteBuffer não são thread-safe.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocate( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
    if ( nRead == 0 )
        continue;
    bb.position( 0 );
    bb.limit( nRead );
    while ( bb.hasRemaining() )
        checkSum += bb.get( );
    bb.clear( );
}

FileChannel com ByteBuffer e busca de array de bytes

Para reduzir o gargalo a chamada de métodos, recupere um array de bytes por vez. O array e o ByteBuffer podem ter tamanhos diferentes.

FileInputStream f = new FileInputStream( name ); FileChannel ch = f.getChannel( ); ByteBuffer bb = ByteBuffer.allocate( BIGSIZE ); byte[] barray = new byte[SIZE]; long checkSum = 0L; int nRead, nGet; while ( (nRead=ch.read( bb )) != -1 ) { if ( nRead == 0 ) continue; bb.position( 0 ); bb.limit( nRead ); while( bb.hasRemaining( ) ) { nGet = Math.min( bb.remaining( ), SIZE ); bb.get( barray, 0, nGet ); for ( int i=0; iFileChannel com array de ByteBuffer e acesso a array de bytes

Um ByteBuffer criado com o método allocate() usa storage interno para guardar. Ao invés de utilizar essa estratégia, chame o método wrap() para fazer um wrap do ByteBuffer envolta do seu próprio array de bytes. Isso permite que o array seja acessado diretamente após cada leitura, reduzindo o gargalo pela chamada de método e cópia de dados.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
byte[] barray = new byte[SIZE];
ByteBuffer bb = ByteBuffer.wrap( barray );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];
    bb.clear( );
}

FileChannel com alocação direta de ByteBuffer

Um ByteBuffer criado com o método allocateDirect() pode utilizar diretamente o storage na JVM ou no Sistema operacional da máquina. Isso pode reduzir a cópia de dados para o array do seu aplicativo, salvando alguma sobrecarga.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
    bb.position( 0 );
    bb.limit( nRead );
    while ( bb.hasRemaining() )
        checkSum += bb.get( );
    bb.clear( );
}

FileChannel com alocação direta de ByteBuffer e busca por array de bytes

E claro, você pode recuperar arrays de bytes para salvar a sobrecarga em chamada do método. O tamanho do buffer pode ser diferente do tamanho do array.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( BIGSIZE );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ( (nRead=ch.read( bb )) != -1 )
{
    if ( nRead == 0 )
        continue;
    bb.position( 0 );
    bb.limit( nRead );
    while( bb.hasRemaining( ) )
    {
        nGet = Math.min( bb.remaining( ), SIZE );
        bb.get( barray, 0, nGet );
        for ( int i=0; i<nGet; i++ )
            checkSum += barray[i];
    }
    bb.clear( );
}

FileChannel com MappedByteBuffer e recuperando com bytes

O método da classe FileChannel, map, pode retornar um MappedByteBuffer que guarda em memória parte ou todo o arquivo em espaço de memória da aplicação. Isso permite mais acesso direto ao arquivo sem um buffer intermediário. Chame o método get() da classe MappedByteBuffer para recuperar o próximo byte.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
    0L, ch.size( ) );
long checkSum = 0L;
while ( mb.hasRemaining( ) )
    checkSum += mb.get( );

FileChannel com MappedByteBuffer e leitura de array de bytes

E recuperar arrays de bytes para diminuir a sobrecarga ao método.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
    0L, ch.size( ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nGet;
while( mb.hasRemaining( ) )
{
    nGet = Math.min( mb.remaining( ), SIZE );
    mb.get( barray, 0, nGet );
    for ( int i=0; i<nGet; i++ )
        checkSum += barray[i];
}

FileReader e BufferedReader

As duas classes leem caracteres ao invés de bytes, por esse motivo precisam transformar os bytes em caracteres, levando mais tempo que qualquer uma das estratégias mostrada acima.

Mais rápido

Se formos escolher a estratégia mais rápida, seria uma dessas:

  • FileChannel com MappedByteBuffer e leitura de array de bytes.
  • FileChannel com alocação direta de ByteBuffer e busca por array de bytes
guiandmag
  • 3,4mil
  • 1
  • 21
  • 35