Lendo arquivos de forma rápida
No Java, existem várias classes para leitura de arquivos, com e sem buffering, de acesso aleatório, thread-safe, e mapeamento de memória. Algumas destas são muito mais rápidas do que outras.
FileInputStream
com leitura de byte
O FileInputStream
abre um arquivo por nome ou pelo objeto File
. O método read()
lê byte após byte do arquivo.
FileInputStream
usa sincronização para torná-lo thread-safe.
FileInputStream f = new FileInputStream(name);
int b;
long checkSum = 0L;
while ((b = f.read()) != -1) {
checkSum += b;
}
FileInputStream
com leitura de array de byte
O FileInputStream
faz uma operação de I/O em cada leitura e ele sincroniza em todas as chamadas de método para torná-lo thread-safe. Para reduzir essa sobrecarga, pode-se ler vários bytes de uma vez em um array de buffer de bytes.
FileInputStream f = new FileInputStream(name);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ((nRead = f.read(barray, 0, SIZE)) != -1)
for (int i = 0; i < nRead; i++) {
checkSum += barray[i];
}
}
BufferedInputStream
com leitura de bytes
O BufferedInputStream
lida com o FileInputStream
fazendo o buffer por você. Ele faz o wrap da entrada de stream, cria um array de bytes interno (normalmente 8 KB), e o preenche para fazer a leitura. O método read()
pega cada byte do buffer.
BufferedInputStream
utiliza sincronização para ser thread-safe.
BufferedInputStream f = new BufferedInputStream(
new FileInputStream(name));
int b;
long checkSum = 0L;
while ((b = f.read()) != -1) {
checkSum += b;
}
BufferedInputStream
com leitura de array de byte
BufferedInputStream
sincroniza todos os métodos ao fazer chamadas thread-safe. Para reduzir a sincronização e overhead de chamadas ao método, faça menos chamadas ao método read()
fazendo a leitura de múltiplos bytes de uma vez.
BufferedInputStream f = new BufferedInputStream(
new FileInputStream(name));
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ((nRead = f.read(barray, 0, SIZE)) != -1) {
for (int i = 0; i < nRead; i++) {
checkSum += barray[i];
}
}
RandomAccessFile
com leitura de bytes
RandomAccessFile
abre o arquivo por nome ou objeto File
. Ele pode ler, escrever, ou ler e escrever pela posição que se escolher dentro do arquivo. O método read()
lê o próximo byte da atual posição do arquivo.
RandomAccessFile
é thread-safe.
RandomAccessFile f = new RandomAccessFile(name);
int b;
long checkSum = 0L;
while ((b = f.read()) != -1) {
checkSum += b;
}
RandomAccessFile
com leitura de array de bytes
Tal como FileInputStream
, RandomAccessFile
enfrenta o problema de efetuar um operação I/O em cada acesso e sincronização em todas as chamadas a métodos para ser thread-safe. Para reduzir esse gargalo, pode-se fazer menos chamadas a métodos passando os bytes para um array e lendo a partir do array.
RandomAccessFile f = new RandomAccessFile(name);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead;
while ((nRead = f.read(barray, 0, SIZE)) != -1) {
for (int i = 0; i < nRead; i++) {
checkSum += barray[i];
}
}
FileChannel
com ByteBuffer
e busca de bytes
FileInputStream
e RandomAccessFile
podem retornar um FileChannel
para operações mais baixo nível com I/O. O método read()
do FileChannel
preenche um ByteBuffer
criado utilizando o método allocate()
da classe ByteBuffer
. O método get()
da classe ByteBuffer
recupera o próximo byte do buffer.
FileChannel
e ByteBuffer
não são thread-safe.
FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocate(SIZE);
long checkSum = 0L;
int nRead;
while ((nRead = ch.read(bb)) != -1) {
if (nRead == 0) {
continue;
}
bb.position(0);
bb.limit(nRead);
while (bb.hasRemaining()) {
checkSum += bb.get( );
}
bb.clear();
}
FileChannel
com ByteBuffer
e busca de array de bytes
Para reduzir o gargalo da chamada de métodos de um byte de cada vez, recupere um array de bytes por vez. O array e o ByteBuffer
podem ter tamanhos diferentes.
FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocate(BIGSIZE);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ((nRead = ch.read(bb)) != -1) {
if (nRead == 0) {
continue;
}
bb.position(0);
bb.limit(nRead);
while(bb.hasRemaining()) {
nGet = Math.min(bb.remaining(), SIZE);
bb.get(barray, 0, nGet);
for (int i = 0; i < nGet; i++) {
checkSum += barray[i];
}
}
bb.clear( );
}
FileChannel
com array de ByteBuffer
e acesso a array de bytes
Um ByteBuffer
criado com o método allocate()
usa storage interno para guardar os bytes. Ao invés de utilizar essa estratégia, chame o método wrap()
para fazer um wrap do ByteBuffer
envolta do seu próprio array de bytes. Isso permite que o array seja acessado diretamente após cada leitura, reduzindo o gargalo pela chamada de método e cópia de dados.
FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
byte[] barray = new byte[SIZE];
ByteBuffer bb = ByteBuffer.wrap(barray);
long checkSum = 0L;
int nRead;
while ((nRead = ch.read(bb)) != -1) {
for (int i = 0; i < nRead; i++) {
checkSum += barray[i];
}
bb.clear();
}
FileChannel
com alocação direta de ByteBuffer
Um ByteBuffer
criado com o método allocateDirect()
pode utilizar diretamente o storage na JVM ou no sistema operacional da máquina. Isso pode reduzir a cópia de dados para o array do seu aplicativo, evitando alguma sobrecarga.
FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocateDirect(SIZE);
long checkSum = 0L;
int nRead;
while ((nRead = ch.read(bb)) != -1) {
bb.position(0);
bb.limit(nRead);
while (bb.hasRemaining()) {
checkSum += bb.get( );
}
bb.clear();
}
FileChannel
com alocação direta de ByteBuffer
e busca por array de bytes
E claro, você pode recuperar arrays de bytes para reduzir a sobrecarga em chamada do método. O tamanho do buffer pode ser diferente do tamanho do array.
FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
ByteBuffer bb = ByteBuffer.allocateDirect(BIGSIZE);
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nRead, nGet;
while ((nRead = ch.read(bb)) != -1) {
if (nRead == 0) {
continue;
}
bb.position(0);
bb.limit(nRead);
while(bb.hasRemaining()) {
nGet = Math.min(bb.remaining(), SIZE);
bb.get(barray, 0, nGet);
for (int i = 0; i < nGet; i++) {
checkSum += barray[i];
}
}
bb.clear();
}
FileChannel
com MappedByteBuffer
e recuperando com bytes
O método da classe FileChannel
, map, pode retornar um MappedByteBuffer
que guarda em memória parte ou todo o arquivo em espaço de memória da aplicação. Isso permite mais acesso direto ao arquivo sem um buffer intermediário. Chame o método get()
da classe MappedByteBuffer
para recuperar o próximo byte.
FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
MappedByteBuffer mb = ch.map(ch.MapMode.READ_ONLY,
0L, ch.size());
long checkSum = 0L;
while (mb.hasRemaining()) {
checkSum += mb.get();
}
FileChannel
com MappedByteBuffer
e leitura de array de bytes
E recuperar arrays de bytes para diminuir a sobrecarga ao método.
FileInputStream f = new FileInputStream(name);
FileChannel ch = f.getChannel();
MappedByteBuffer mb = ch.map(ch.MapMode.READ_ONLY,
0L, ch.size());
byte[] barray = new byte[SIZE];
long checkSum = 0L;
int nGet;
while (mb.hasRemaining()) {
nGet = Math.min(mb.remaining(), SIZE);
mb.get(barray, 0, nGet);
for (int i = 0; i < nGet; i++) {
checkSum += barray[i];
}
}
FileReader
e BufferedReader
As duas classes leem caracteres ao invés de bytes. Por esse motivo precisam transformar os bytes em caracteres, levando mais tempo que qualquer uma das estratégias mostrada acima.
Mais rápido
Se formos escolher a estratégia mais rápida, seria uma dessas:
FileChannel
com MappedByteBuffer
e leitura de array de bytes.
FileChannel
com alocação direta de ByteBuffer
e busca por array de bytes.