Skip to main content
Formatação
Fonte Link
Victor Stafusa
  • 64,9mil
  • 9
  • 120
  • 189

No Java existe, existem várias classes para leitura de arquivos, com e sem bufferingbuffering, de acesso aleatório, thread-safe, e mapeamento de memória. Alguns destesAlgumas destas são muito mais rápidosrápidas do que outras.

FilelnputStreamFileInputStream com leitura de byte

FileInputStreamO FileInputStream abre um arquivo por nome ou pelo objeto FileFile. O método `read()`read() lê byte após byte do arquivo.

FileInputStreamFileInputStream usa sincronização para torná-lo thread-safe.

FileInputStream f = new FileInputStream( name );
int b;
long checkSum = 0L;
while ( (b=fb = f.read()) != -1 ) {
    checkSum += b;
}

FilelnputStreamFileInputStream com leitura de array de byte

O FileInputStream faz uma operação de I/O em cada leitura e ele sincroniza em todas as chamadas de método para torná-lo thread-safe. Para reduzir essa sobrecarga, pode-se ler vários bytes de uma vez em um array de bufferbuffer de bytes.

FileInputStream f = new FileInputStream( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=fnRead = f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0;i i<nRead;= i++0; i < nRead; i++) {
        checkSum += barray[i];
    }
 }

BufferedInputStreamBufferedInputStream com leitura de bytes

O BufferedInputStream lida com o FileInputStream fazendo o bufferbuffer por você. Ele faz o wrapwrap da entrada de streamstream, cria um array de bytes interno (normalmente 8 KB), e o preenche para fazer a leitura. O método read() pega cada byte do bufferbuffer.

BufferedInputStream utiliza sincronização para ser thread-safe.

BufferedInputStream utiliza sincronização para ser thread-safe.

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream( name ) );
int b;
long checkSum = 0L;
while ( (b=fb = f.read()) != -1 ) {
    checkSum += b;
}

BufferedInputStreamBufferedInputStream com leitura de array de byte

BufferedInputStream sincroniza todos os métodos ao fazer chamadas thread-safe. Para reduzir a sincronização e overheadoverhead de chamadas ao método, faça menos chamadas ao método read() fazendo a leitura de múltiplos bytes de uma vez.

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream( name ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=fnRead = f.read( barray, 0, SIZE )) != -1 ) {
    for ( int i=0;i i<nRead;= i++0; i < nRead; i++) {
        checkSum += barray[i];
    }
}

RandomAccessFileRandomAccessFile com leitura de bytes

RandomAccessFile f = new RandomAccessFile( name );
int b;
long checkSum = 0L;
while ( (b=fb = f.read()) != -1 ) {
    checkSum += b;
}

RandomAccessFileRandomAccessFile com leitura de array de bytes

ComoTal como FileInputStream, RandomAccessFile enfrenta o problema de efetuar um operação I/O em cada acesso e sincronização em todas as chamadas a métodos para ser thread-safe. Para reduzir esse gargalo, pode-se fazer menos chamadas a métodos passando os bytes para um array e lendo a partir do array.

RandomAccessFile f = new RandomAccessFile( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=fnRead = f.read( barray, 0, SIZE )) != -1 ) {
    for ( int i=0;i i<nRead;= i++0; i < nRead; i++) {
        checkSum += barray[i];
    }
}

FileChannelFileChannel com ByteBufferByteBuffer e busca de bytes

FileInputStream e RandomAccessFile podem retornar um FileChannel para operações mais baixo nível com I/O. O método read() do FileChannel preenche um ByteBuffer criado utilizando o método allocate() da classe ByteBuffer. O método get() da classe ByteBuffer recupera o próximo byte do bufferbuffer.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocate( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=chnRead = ch.read( bb )) != -1 )
  {
    if ( nRead == 0 ) {
        continue;
    }
    bb.position( 0 );
    bb.limit( nRead );
    while ( bb.hasRemaining() ) {
        checkSum += bb.get( );
     }
    bb.clear( );
}

FileChannelFileChannel com ByteBufferByteBuffer e busca de array de bytes

Para reduzir o gargalo ada chamada de métodos de um byte de cada vez, recupere um array de bytes por vez. O array e o ByteBufferByteBuffer podem ter tamanhos diferentes.

FileInputStream f = new FileInputStream( name);FileChannel ch = f.getChannel();ByteBuffer bb = ByteBuffer.allocate( BIGSIZE);byte[] barray = new byte[SIZE];long checkSum = 0L;int nRead, nGet;while((nRead=ch.read( bb))!=-1){if( nRead == 0)continue;bb.position( 0);bb.limit( nRead);while( bb.hasRemaining()){nGet = Math.min( bb.remaining(), SIZE);bb.get( barray, 0, nGet);for( int i=0; iFileChannel com array de ByteBuffer e acesso a array de bytes
FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocate(BIGSIZE);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ((nRead = ch.read(bb)) != -1) {
    if (nRead == 0) {
        continue;
    }
    bb.position(0);
    bb.limit(nRead);
    while(bb.hasRemaining()) {
        nGet = Math.min(bb.remaining(), SIZE);
        bb.get(barray, 0, nGet);
        for (int i = 0; i < nGet; i++) {
            checkSum += barray[i];
        }
    }
    bb.clear( );
}

FileChannel com array de ByteBuffer e acesso a array de bytes

Um ByteBuffer criado com o método allocate() usa storagestorage interno para guardar os bytes. Ao invés de utilizar essa estratégia, chame o método wrap() para fazer um wrapwrap do ByteBufferByteBuffer envolta do seu próprio array de bytes. Isso permite que o array seja acessado diretamente após cada leitura, reduzindo o gargalo pela chamada de método e cópia de dados.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
byte[] barray = new byte[SIZE];
ByteBuffer bb = ByteBuffer.wrap( barray );
long checkSum = 0L;
int nRead;
while ( (nRead=chnRead = ch.read( bb )) != -1 )
  {
    for ( int i=0;i i<nRead;= i++0; i < nRead; i++) {
        checkSum += barray[i];
    }
    bb.clear( );
}

FileChannelFileChannel com alocação direta de ByteBufferByteBuffer

Um ByteBuffer criado com o método allocateDirect() pode utilizar diretamente o storagestorage na JVM ou no Sistemasistema operacional da máquina. Isso pode reduzir a cópia de dados para o array do seu aplicativo, salvandoevitando alguma sobrecarga.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=chnRead = ch.read( bb )) != -1 )
  {
    bb.position( 0 );
    bb.limit( nRead );
    while ( bb.hasRemaining() ) {
        checkSum += bb.get( );
    }
    bb.clear( );
}

FileChannelFileChannel com alocação direta de ByteBufferByteBuffer e busca por array de bytes

E claro, você pode recuperar arrays de bytes para salvarreduzir a sobrecarga em chamada do método. O tamanho do bufferbuffer pode ser diferente do tamanho do array.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( BIGSIZE );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ( (nRead=chnRead = ch.read( bb )) != -1 )
  {
    if ( nRead == 0 ) {
        continue;
    }
    bb.position( 0 );
    bb.limit( nRead );
    while( bb.hasRemaining( ) )
    {
        nGet = Math.min( bb.remaining( ), SIZE );
        bb.get( barray, 0, nGet );
        for ( int i=0;i i<nGet;= i++0; i < nGet; i++) {
            checkSum += barray[i];
        }
    }
    bb.clear( );
}

FileChannelFileChannel com MappedByteBufferMappedByteBuffer e recuperando com bytes

 

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
    0L, ch.size( ) );
long checkSum = 0L;
while ( mb.hasRemaining( ) ) {
    checkSum += mb.get( );
}

FileChannelFileChannel com MappedByteBufferMappedByteBuffer e leitura de array de bytes

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
    0L, ch.size( ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nGet;
while( (mb.hasRemaining( ) )
  {
    nGet = Math.min( mb.remaining( ), SIZE );
    mb.get( barray, 0, nGet );
    for ( int i=0;i i<nGet;= i++0; i < nGet; i++) {
        checkSum += barray[i];
    }
}

FileReaderFileReader e BufferedReaderBufferedReader

As duas classes leem caracteres ao invés de bytes, por. Por esse motivo precisam transformar os bytes em caracteres, levando mais tempo que qualquer uma das estratégias mostrada acima.

Se formos escolher a estratégia mais rápida, seria uma dessas:   

  • FileChannelFileChannel com MappedByteBufferMappedByteBuffer e leitura de array de bytes.
  • FileChannelFileChannel com alocação direta de ByteBufferByteBuffer e busca por array de bytes.

No Java existe várias classes para leitura de arquivos, com e sem buffering, de acesso aleatório, thread-safe, e mapeamento de memória. Alguns destes são muito mais rápidos do que outras.

FilelnputStream com leitura de byte

FileInputStream abre um arquivo por nome ou pelo objeto File. O método `read()` lê byte após byte do arquivo.

FileInputStream usa sincronização para torná-lo thread-safe.

FileInputStream f = new FileInputStream( name );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

FilelnputStream com leitura de array de byte

FileInputStream faz uma operação de I/O em cada leitura e ele sincroniza em todas as chamadas de método para torná-lo thread-safe. Para reduzir essa sobrecarga, ler vários bytes de uma vez em um array de buffer de bytes

FileInputStream f = new FileInputStream( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

BufferedInputStream com leitura de bytes

BufferedInputStream lida com o FileInputStream fazendo o buffer por você. Ele faz o wrap da entrada de stream, cria um array de bytes interno (normalmente 8 KB), e o preenche para fazer a leitura. O método read() pega cada byte do buffer.

BufferedInputStream utiliza sincronização para ser thread-safe.

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream( name ) );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

BufferedInputStream com leitura de array de byte

BufferedInputStream sincroniza todos os métodos ao fazer chamadas thread-safe. Para reduzir a sincronização e overhead de chamadas ao método, faça menos chamadas ao método read() fazendo a leitura de múltiplos bytes de uma vez

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream( name ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

RandomAccessFile com leitura de bytes

RandomAccessFile f = new RandomAccessFile( name );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

RandomAccessFile com leitura de array de bytes

Como FileInputStream, RandomAccessFile enfrenta o problema de efetuar um operação I/O em cada acesso e sincronização em todas as chamadas a métodos para ser thread-safe. Para reduzir esse gargalo, fazer menos chamadas a métodos passando os bytes para um array e lendo a partir do array.

RandomAccessFile f = new RandomAccessFile( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

FileChannel com ByteBuffer e busca de bytes

FileInputStream e RandomAccessFile podem retornar um FileChannel para operações mais baixo nível com I/O. O método read() do FileChannel preenche um ByteBuffer criado utilizando o método allocate() da classe ByteBuffer. O método get() da classe ByteBuffer recupera o próximo byte do buffer.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocate( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
 {
    if ( nRead == 0 )
        continue;
    bb.position( 0 );
    bb.limit( nRead );
    while ( bb.hasRemaining() )
        checkSum += bb.get( );
    bb.clear( );
}

FileChannel com ByteBuffer e busca de array de bytes

Para reduzir o gargalo a chamada de métodos, recupere um array de bytes por vez. O array e o ByteBuffer podem ter tamanhos diferentes.

FileInputStream f = new FileInputStream( name);FileChannel ch = f.getChannel();ByteBuffer bb = ByteBuffer.allocate( BIGSIZE);byte[] barray = new byte[SIZE];long checkSum = 0L;int nRead, nGet;while((nRead=ch.read( bb))!=-1){if( nRead == 0)continue;bb.position( 0);bb.limit( nRead);while( bb.hasRemaining()){nGet = Math.min( bb.remaining(), SIZE);bb.get( barray, 0, nGet);for( int i=0; iFileChannel com array de ByteBuffer e acesso a array de bytes

Um ByteBuffer criado com o método allocate() usa storage interno para guardar. Ao invés de utilizar essa estratégia, chame o método wrap() para fazer um wrap do ByteBuffer envolta do seu próprio array de bytes. Isso permite que o array seja acessado diretamente após cada leitura, reduzindo o gargalo pela chamada de método e cópia de dados.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
byte[] barray = new byte[SIZE];
ByteBuffer bb = ByteBuffer.wrap( barray );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
 {
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];
    bb.clear( );
}

FileChannel com alocação direta de ByteBuffer

Um ByteBuffer criado com o método allocateDirect() pode utilizar diretamente o storage na JVM ou no Sistema operacional da máquina. Isso pode reduzir a cópia de dados para o array do seu aplicativo, salvando alguma sobrecarga.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
 {
    bb.position( 0 );
    bb.limit( nRead );
    while ( bb.hasRemaining() )
        checkSum += bb.get( );
    bb.clear( );
}

FileChannel com alocação direta de ByteBuffer e busca por array de bytes

E claro, você pode recuperar arrays de bytes para salvar a sobrecarga em chamada do método. O tamanho do buffer pode ser diferente do tamanho do array.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( BIGSIZE );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ( (nRead=ch.read( bb )) != -1 )
 {
    if ( nRead == 0 )
        continue;
    bb.position( 0 );
    bb.limit( nRead );
    while( bb.hasRemaining( ) )
    {
        nGet = Math.min( bb.remaining( ), SIZE );
        bb.get( barray, 0, nGet );
        for ( int i=0; i<nGet; i++ )
            checkSum += barray[i];
    }
    bb.clear( );
}

FileChannel com MappedByteBuffer e recuperando com bytes

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
    0L, ch.size( ) );
long checkSum = 0L;
while ( mb.hasRemaining( ) )
    checkSum += mb.get( );

FileChannel com MappedByteBuffer e leitura de array de bytes

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
    0L, ch.size( ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nGet;
while( mb.hasRemaining( ) )
 {
    nGet = Math.min( mb.remaining( ), SIZE );
    mb.get( barray, 0, nGet );
    for ( int i=0; i<nGet; i++ )
        checkSum += barray[i];
}

FileReader e BufferedReader

As duas classes leem caracteres ao invés de bytes, por esse motivo precisam transformar os bytes em caracteres, levando mais tempo que qualquer uma das estratégias mostrada acima.

Se formos escolher a estratégia mais rápida, seria uma dessas:  

  • FileChannel com MappedByteBuffer e leitura de array de bytes.
  • FileChannel com alocação direta de ByteBuffer e busca por array de bytes

No Java, existem várias classes para leitura de arquivos, com e sem buffering, de acesso aleatório, thread-safe, e mapeamento de memória. Algumas destas são muito mais rápidas do que outras.

FileInputStream com leitura de byte

O FileInputStream abre um arquivo por nome ou pelo objeto File. O método read() lê byte após byte do arquivo.

FileInputStream usa sincronização para torná-lo thread-safe.

FileInputStream f = new FileInputStream(name);
int b;
long checkSum = 0L;
while ((b = f.read()) != -1) {
    checkSum += b;
}

FileInputStream com leitura de array de byte

O FileInputStream faz uma operação de I/O em cada leitura e ele sincroniza em todas as chamadas de método para torná-lo thread-safe. Para reduzir essa sobrecarga, pode-se ler vários bytes de uma vez em um array de buffer de bytes.

FileInputStream f = new FileInputStream(name);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ((nRead = f.read(barray, 0, SIZE)) != -1)
    for (int i = 0; i < nRead; i++) {
        checkSum += barray[i];
    }
 }

BufferedInputStream com leitura de bytes

O BufferedInputStream lida com o FileInputStream fazendo o buffer por você. Ele faz o wrap da entrada de stream, cria um array de bytes interno (normalmente 8 KB), e o preenche para fazer a leitura. O método read() pega cada byte do buffer.

BufferedInputStream utiliza sincronização para ser thread-safe.

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream(name));
int b;
long checkSum = 0L;
while ((b = f.read()) != -1) {
    checkSum += b;
}

BufferedInputStream com leitura de array de byte

BufferedInputStream sincroniza todos os métodos ao fazer chamadas thread-safe. Para reduzir a sincronização e overhead de chamadas ao método, faça menos chamadas ao método read() fazendo a leitura de múltiplos bytes de uma vez.

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream(name));
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ((nRead = f.read(barray, 0, SIZE)) != -1) {
    for (int i = 0; i < nRead; i++) {
        checkSum += barray[i];
    }
}

RandomAccessFile com leitura de bytes

RandomAccessFile f = new RandomAccessFile(name);
int b;
long checkSum = 0L;
while ((b = f.read()) != -1) {
    checkSum += b;
}

RandomAccessFile com leitura de array de bytes

Tal como FileInputStream, RandomAccessFile enfrenta o problema de efetuar um operação I/O em cada acesso e sincronização em todas as chamadas a métodos para ser thread-safe. Para reduzir esse gargalo, pode-se fazer menos chamadas a métodos passando os bytes para um array e lendo a partir do array.

RandomAccessFile f = new RandomAccessFile(name);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ((nRead = f.read(barray, 0, SIZE)) != -1) {
    for (int i = 0; i < nRead; i++) {
        checkSum += barray[i];
    }
}

FileChannel com ByteBuffer e busca de bytes

FileInputStream e RandomAccessFile podem retornar um FileChannel para operações mais baixo nível com I/O. O método read() do FileChannel preenche um ByteBuffer criado utilizando o método allocate() da classe ByteBuffer. O método get() da classe ByteBuffer recupera o próximo byte do buffer.

FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocate(SIZE);
long checkSum = 0L;
int nRead;
while ((nRead = ch.read(bb)) != -1) {
    if (nRead == 0) {
        continue;
    }
    bb.position(0);
    bb.limit(nRead);
    while (bb.hasRemaining()) {
        checkSum += bb.get( );
     }
    bb.clear();
}

FileChannel com ByteBuffer e busca de array de bytes

Para reduzir o gargalo da chamada de métodos de um byte de cada vez, recupere um array de bytes por vez. O array e o ByteBuffer podem ter tamanhos diferentes.

FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocate(BIGSIZE);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ((nRead = ch.read(bb)) != -1) {
    if (nRead == 0) {
        continue;
    }
    bb.position(0);
    bb.limit(nRead);
    while(bb.hasRemaining()) {
        nGet = Math.min(bb.remaining(), SIZE);
        bb.get(barray, 0, nGet);
        for (int i = 0; i < nGet; i++) {
            checkSum += barray[i];
        }
    }
    bb.clear( );
}

FileChannel com array de ByteBuffer e acesso a array de bytes

Um ByteBuffer criado com o método allocate() usa storage interno para guardar os bytes. Ao invés de utilizar essa estratégia, chame o método wrap() para fazer um wrap do ByteBuffer envolta do seu próprio array de bytes. Isso permite que o array seja acessado diretamente após cada leitura, reduzindo o gargalo pela chamada de método e cópia de dados.

FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
byte[] barray = new byte[SIZE];
ByteBuffer bb = ByteBuffer.wrap(barray);
long checkSum = 0L;
int nRead;
while ((nRead = ch.read(bb)) != -1) {
    for (int i = 0; i < nRead; i++) {
        checkSum += barray[i];
    }
    bb.clear();
}

FileChannel com alocação direta de ByteBuffer

Um ByteBuffer criado com o método allocateDirect() pode utilizar diretamente o storage na JVM ou no sistema operacional da máquina. Isso pode reduzir a cópia de dados para o array do seu aplicativo, evitando alguma sobrecarga.

FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocateDirect(SIZE);
long checkSum = 0L;
int nRead;
while ((nRead = ch.read(bb)) != -1) {
    bb.position(0);
    bb.limit(nRead);
    while (bb.hasRemaining()) {
        checkSum += bb.get( );
    }
    bb.clear();
}

FileChannel com alocação direta de ByteBuffer e busca por array de bytes

E claro, você pode recuperar arrays de bytes para reduzir a sobrecarga em chamada do método. O tamanho do buffer pode ser diferente do tamanho do array.

FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocateDirect(BIGSIZE);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ((nRead = ch.read(bb)) != -1) {
    if (nRead == 0) {
        continue;
    }
    bb.position(0);
    bb.limit(nRead);
    while(bb.hasRemaining()) {
        nGet = Math.min(bb.remaining(), SIZE);
        bb.get(barray, 0, nGet);
        for (int i = 0; i < nGet; i++) {
            checkSum += barray[i];
        }
    }
    bb.clear();
}

FileChannel com MappedByteBuffer e recuperando com bytes

 

FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
MappedByteBuffer mb = ch.map(ch.MapMode.READ_ONLY,
    0L, ch.size());
long checkSum = 0L;
while (mb.hasRemaining()) {
    checkSum += mb.get();
}

FileChannel com MappedByteBuffer e leitura de array de bytes

FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
MappedByteBuffer mb = ch.map(ch.MapMode.READ_ONLY,
    0L, ch.size());
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nGet;
while (mb.hasRemaining()) {
    nGet = Math.min(mb.remaining(), SIZE);
    mb.get(barray, 0, nGet);
    for (int i = 0; i < nGet; i++) {
        checkSum += barray[i];
    }
}

FileReader e BufferedReader

As duas classes leem caracteres ao invés de bytes. Por esse motivo precisam transformar os bytes em caracteres, levando mais tempo que qualquer uma das estratégias mostrada acima.

Se formos escolher a estratégia mais rápida, seria uma dessas: 

  • FileChannel com MappedByteBuffer e leitura de array de bytes.
  • FileChannel com alocação direta de ByteBuffer e busca por array de bytes.
Fonte Link
guiandmag
  • 3,4mil
  • 1
  • 21
  • 35

Lendo arquivos de forma rápida

No Java existe várias classes para leitura de arquivos, com e sem buffering, de acesso aleatório, thread-safe, e mapeamento de memória. Alguns destes são muito mais rápidos do que outras.

FilelnputStream com leitura de byte

FileInputStream abre um arquivo por nome ou pelo objeto File. O método `read()` lê byte após byte do arquivo.

FileInputStream usa sincronização para torná-lo thread-safe.

FileInputStream f = new FileInputStream( name );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

FilelnputStream com leitura de array de byte

FileInputStream faz uma operação de I/O em cada leitura e ele sincroniza em todas as chamadas de método para torná-lo thread-safe. Para reduzir essa sobrecarga, ler vários bytes de uma vez em um array de buffer de bytes

FileInputStream f = new FileInputStream( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

BufferedInputStream com leitura de bytes

BufferedInputStream lida com o FileInputStream fazendo o buffer por você. Ele faz o wrap da entrada de stream, cria um array de bytes interno (normalmente 8 KB), e o preenche para fazer a leitura. O método read() pega cada byte do buffer.

BufferedInputStream utiliza sincronização para ser thread-safe.

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream( name ) );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

BufferedInputStream com leitura de array de byte

BufferedInputStream sincroniza todos os métodos ao fazer chamadas thread-safe. Para reduzir a sincronização e overhead de chamadas ao método, faça menos chamadas ao método read() fazendo a leitura de múltiplos bytes de uma vez

BufferedInputStream f = new BufferedInputStream(
    new FileInputStream( name ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

RandomAccessFile com leitura de bytes

RandomAccessFile abre o arquivo por nome ou objeto File. Ele pode ler, escrever, ou ler e escrever pela posição que se escolher dentro do arquivo. O método read() lê o próximo byte da atual posição do arquivo.

RandomAccessFile é thread-safe.

RandomAccessFile f = new RandomAccessFile( name );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
    checkSum += b;

RandomAccessFile com leitura de array de bytes

Como FileInputStream, RandomAccessFile enfrenta o problema de efetuar um operação I/O em cada acesso e sincronização em todas as chamadas a métodos para ser thread-safe. Para reduzir esse gargalo, fazer menos chamadas a métodos passando os bytes para um array e lendo a partir do array.

RandomAccessFile f = new RandomAccessFile( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];

FileChannel com ByteBuffer e busca de bytes

FileInputStream e RandomAccessFile podem retornar um FileChannel para operações mais baixo nível com I/O. O método read() do FileChannel preenche um ByteBuffer criado utilizando o método allocate() da classe ByteBuffer. O método get() da classe ByteBuffer recupera o próximo byte do buffer.

FileChannel e ByteBuffer não são thread-safe.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocate( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
    if ( nRead == 0 )
        continue;
    bb.position( 0 );
    bb.limit( nRead );
    while ( bb.hasRemaining() )
        checkSum += bb.get( );
    bb.clear( );
}

FileChannel com ByteBuffer e busca de array de bytes

Para reduzir o gargalo a chamada de métodos, recupere um array de bytes por vez. O array e o ByteBuffer podem ter tamanhos diferentes.

FileInputStream f = new FileInputStream( name ); FileChannel ch = f.getChannel( ); ByteBuffer bb = ByteBuffer.allocate( BIGSIZE ); byte[] barray = new byte[SIZE]; long checkSum = 0L; int nRead, nGet; while ( (nRead=ch.read( bb )) != -1 ) { if ( nRead == 0 ) continue; bb.position( 0 ); bb.limit( nRead ); while( bb.hasRemaining( ) ) { nGet = Math.min( bb.remaining( ), SIZE ); bb.get( barray, 0, nGet ); for ( int i=0; iFileChannel com array de ByteBuffer e acesso a array de bytes

Um ByteBuffer criado com o método allocate() usa storage interno para guardar. Ao invés de utilizar essa estratégia, chame o método wrap() para fazer um wrap do ByteBuffer envolta do seu próprio array de bytes. Isso permite que o array seja acessado diretamente após cada leitura, reduzindo o gargalo pela chamada de método e cópia de dados.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
byte[] barray = new byte[SIZE];
ByteBuffer bb = ByteBuffer.wrap( barray );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
    for ( int i=0; i<nRead; i++ )
        checkSum += barray[i];
    bb.clear( );
}

FileChannel com alocação direta de ByteBuffer

Um ByteBuffer criado com o método allocateDirect() pode utilizar diretamente o storage na JVM ou no Sistema operacional da máquina. Isso pode reduzir a cópia de dados para o array do seu aplicativo, salvando alguma sobrecarga.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
    bb.position( 0 );
    bb.limit( nRead );
    while ( bb.hasRemaining() )
        checkSum += bb.get( );
    bb.clear( );
}

FileChannel com alocação direta de ByteBuffer e busca por array de bytes

E claro, você pode recuperar arrays de bytes para salvar a sobrecarga em chamada do método. O tamanho do buffer pode ser diferente do tamanho do array.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( BIGSIZE );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ( (nRead=ch.read( bb )) != -1 )
{
    if ( nRead == 0 )
        continue;
    bb.position( 0 );
    bb.limit( nRead );
    while( bb.hasRemaining( ) )
    {
        nGet = Math.min( bb.remaining( ), SIZE );
        bb.get( barray, 0, nGet );
        for ( int i=0; i<nGet; i++ )
            checkSum += barray[i];
    }
    bb.clear( );
}

FileChannel com MappedByteBuffer e recuperando com bytes

O método da classe FileChannel, map, pode retornar um MappedByteBuffer que guarda em memória parte ou todo o arquivo em espaço de memória da aplicação. Isso permite mais acesso direto ao arquivo sem um buffer intermediário. Chame o método get() da classe MappedByteBuffer para recuperar o próximo byte.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
    0L, ch.size( ) );
long checkSum = 0L;
while ( mb.hasRemaining( ) )
    checkSum += mb.get( );

FileChannel com MappedByteBuffer e leitura de array de bytes

E recuperar arrays de bytes para diminuir a sobrecarga ao método.

FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
    0L, ch.size( ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nGet;
while( mb.hasRemaining( ) )
{
    nGet = Math.min( mb.remaining( ), SIZE );
    mb.get( barray, 0, nGet );
    for ( int i=0; i<nGet; i++ )
        checkSum += barray[i];
}

FileReader e BufferedReader

As duas classes leem caracteres ao invés de bytes, por esse motivo precisam transformar os bytes em caracteres, levando mais tempo que qualquer uma das estratégias mostrada acima.

Mais rápido

Se formos escolher a estratégia mais rápida, seria uma dessas:

  • FileChannel com MappedByteBuffer e leitura de array de bytes.
  • FileChannel com alocação direta de ByteBuffer e busca por array de bytes