Lendo arquivos de forma rápida
No Java existe várias classes para leitura de arquivos, com e sem buffering, de acesso aleatório, thread-safe, e mapeamento de memória. Alguns destes são muito mais rápidos do que outras.
FilelnputStream com leitura de byte
FileInputStream abre um arquivo por nome ou pelo objeto File. O método `read()` lê byte após byte do arquivo.
FileInputStream usa sincronização para torná-lo thread-safe.
FileInputStream f = new FileInputStream( name );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
checkSum += b;
FilelnputStream com leitura de array de byte
FileInputStream
faz uma operação de I/O em cada leitura e ele sincroniza em todas as chamadas de método para torná-lo thread-safe. Para reduzir essa sobrecarga, ler vários bytes de uma vez em um array de buffer de bytes
FileInputStream f = new FileInputStream( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
for ( int i=0; i<nRead; i++ )
checkSum += barray[i];
BufferedInputStream com leitura de bytes
BufferedInputStream
lida com o FileInputStream
fazendo o buffer por você. Ele faz o wrap da entrada de stream, cria um array de bytes interno (normalmente 8 KB), e o preenche para fazer a leitura. O método read()
pega cada byte do buffer.
BufferedInputStream utiliza sincronização para ser thread-safe.
BufferedInputStream f = new BufferedInputStream(
new FileInputStream( name ) );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
checkSum += b;
BufferedInputStream com leitura de array de byte
BufferedInputStream
sincroniza todos os métodos ao fazer chamadas thread-safe. Para reduzir a sincronização e overhead de chamadas ao método, faça menos chamadas ao método read()
fazendo a leitura de múltiplos bytes de uma vez
BufferedInputStream f = new BufferedInputStream(
new FileInputStream( name ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
for ( int i=0; i<nRead; i++ )
checkSum += barray[i];
RandomAccessFile com leitura de bytes
RandomAccessFile
abre o arquivo por nome ou objeto File
. Ele pode ler, escrever, ou ler e escrever pela posição que se escolher dentro do arquivo. O método read()
lê o próximo byte da atual posição do arquivo.
RandomAccessFile
é thread-safe.
RandomAccessFile f = new RandomAccessFile( name );
int b;
long checkSum = 0L;
while ( (b=f.read()) != -1 )
checkSum += b;
RandomAccessFile com leitura de array de bytes
Como FileInputStream
, RandomAccessFile
enfrenta o problema de efetuar um operação I/O em cada acesso e sincronização em todas as chamadas a métodos para ser thread-safe. Para reduzir esse gargalo, fazer menos chamadas a métodos passando os bytes para um array e lendo a partir do array.
RandomAccessFile f = new RandomAccessFile( name );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ( (nRead=f.read( barray, 0, SIZE )) != -1 )
for ( int i=0; i<nRead; i++ )
checkSum += barray[i];
FileChannel com ByteBuffer e busca de bytes
FileInputStream
e RandomAccessFile
podem retornar um FileChannel
para operações mais baixo nível com I/O. O método read()
do FileChannel
preenche um ByteBuffer
criado utilizando o método allocate()
da classe ByteBuffer
. O método get()
da classe ByteBuffer
recupera o próximo byte do buffer.
FileChannel
e ByteBuffer
não são thread-safe.
FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocate( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
if ( nRead == 0 )
continue;
bb.position( 0 );
bb.limit( nRead );
while ( bb.hasRemaining() )
checkSum += bb.get( );
bb.clear( );
}
FileChannel com ByteBuffer e busca de array de bytes
Para reduzir o gargalo a chamada de métodos, recupere um array de bytes por vez. O array e o ByteBuffer podem ter tamanhos diferentes.
FileInputStream f = new FileInputStream( name ); FileChannel ch = f.getChannel( ); ByteBuffer bb = ByteBuffer.allocate( BIGSIZE ); byte[] barray = new byte[SIZE]; long checkSum = 0L; int nRead, nGet; while ( (nRead=ch.read( bb )) != -1 ) { if ( nRead == 0 ) continue; bb.position( 0 ); bb.limit( nRead ); while( bb.hasRemaining( ) ) { nGet = Math.min( bb.remaining( ), SIZE ); bb.get( barray, 0, nGet ); for ( int i=0; iFileChannel com array de ByteBuffer e acesso a array de bytesUm ByteBuffer
criado com o método allocate()
usa storage interno para guardar. Ao invés de utilizar essa estratégia, chame o método wrap()
para fazer um wrap do ByteBuffer envolta do seu próprio array de bytes. Isso permite que o array seja acessado diretamente após cada leitura, reduzindo o gargalo pela chamada de método e cópia de dados.
FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
byte[] barray = new byte[SIZE];
ByteBuffer bb = ByteBuffer.wrap( barray );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
for ( int i=0; i<nRead; i++ )
checkSum += barray[i];
bb.clear( );
}
FileChannel com alocação direta de ByteBuffer
Um ByteBuffer
criado com o método allocateDirect()
pode utilizar diretamente o storage na JVM ou no Sistema operacional da máquina. Isso pode reduzir a cópia de dados para o array do seu aplicativo, salvando alguma sobrecarga.
FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( SIZE );
long checkSum = 0L;
int nRead;
while ( (nRead=ch.read( bb )) != -1 )
{
bb.position( 0 );
bb.limit( nRead );
while ( bb.hasRemaining() )
checkSum += bb.get( );
bb.clear( );
}
FileChannel com alocação direta de ByteBuffer e busca por array de bytes
E claro, você pode recuperar arrays de bytes para salvar a sobrecarga em chamada do método. O tamanho do buffer pode ser diferente do tamanho do array.
FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
ByteBuffer bb = ByteBuffer.allocateDirect( BIGSIZE );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ( (nRead=ch.read( bb )) != -1 )
{
if ( nRead == 0 )
continue;
bb.position( 0 );
bb.limit( nRead );
while( bb.hasRemaining( ) )
{
nGet = Math.min( bb.remaining( ), SIZE );
bb.get( barray, 0, nGet );
for ( int i=0; i<nGet; i++ )
checkSum += barray[i];
}
bb.clear( );
}
FileChannel com MappedByteBuffer e recuperando com bytes
O método da classe FileChannel
, map, pode retornar um MappedByteBuffer
que guarda em memória parte ou todo o arquivo em espaço de memória da aplicação. Isso permite mais acesso direto ao arquivo sem um buffer intermediário. Chame o método get()
da classe MappedByteBuffer
para recuperar o próximo byte.
FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
0L, ch.size( ) );
long checkSum = 0L;
while ( mb.hasRemaining( ) )
checkSum += mb.get( );
FileChannel com MappedByteBuffer e leitura de array de bytes
E recuperar arrays de bytes para diminuir a sobrecarga ao método.
FileInputStream f = new FileInputStream( name );
FileChannel ch = f.getChannel( );
MappedByteBuffer mb = ch.map( ch.MapMode.READ_ONLY,
0L, ch.size( ) );
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nGet;
while( mb.hasRemaining( ) )
{
nGet = Math.min( mb.remaining( ), SIZE );
mb.get( barray, 0, nGet );
for ( int i=0; i<nGet; i++ )
checkSum += barray[i];
}
FileReader e BufferedReader
As duas classes leem caracteres ao invés de bytes, por esse motivo precisam transformar os bytes em caracteres, levando mais tempo que qualquer uma das estratégias mostrada acima.
Mais rápido
Se formos escolher a estratégia mais rápida, seria uma dessas:
- FileChannel com MappedByteBuffer e leitura de array de bytes.
- FileChannel com alocação direta de ByteBuffer e busca por array de bytes