Gostaria de uma explicação determinando as caraterísticas de On heap e Off heap Memory em Java.
On-Heap Java Memory é a memória gerenciada pela Java Virtual Machine (JVM), o java heap é estabelecido na inicialização do processo da virtual machine, e o seu tamanho pode ser especificado nesse momento:
java -Xmx2048m -Xms256m (... meus argumentos jvm ...)
Portanto java heap é um espaço em memória disponibilizado à instância da JVM para que esse seja utilizado durante a execução do programa (bytecode), o heap em questão é compartilhado com todas threads pertencentes à instância da JVM (processo).
Mas o que efetivamente "fica" no Java Heap?
Todas as instâncias de classes criadas pela aplicação.
Sendo direto, então temos o Java Heap como um ponto de armazenamento para todas alocações de memória efetuadas pela instância da JVM durante sua execução.
Quais as características mais marcantes desse "ponto de armazenamento"?
- Gerenciamento automático: "a limpeza" de memoria. (ou Garbage Collection)
- Não há necessidade de alocação de memória contínua para os elementos (objetos) dentro do Heap.
- Alocação (ocupação efetiva) de espaço pelo Heap ocorre dinamicamente (para maior ou menor), respeitando os limites especificados na inicialização da JVM e do endereçamento do SO/Arquitetura.
Sabemos que Thread Stacks, o código da nossa aplicação e os Buffers NIO são todos alocados Off heap. Mas afinal, o que significa este termo?
Para entender mais profundamente o conceito de "On Heap" e "Off Heap", vamos visualizar o contexto de execução da instância da JVM:
Como você observou, uma Thread Stack (ou melhor Java Virtual Machine Stack) estaria "Off Heap" pelo fato de sua área de execução estar dentro de uma Java Thread e não ocorrer dentro do Heap.
Agora quanto aos Buffers NIO, o assunto começa a se estreitar. Claramente não existe uma "runtime data area" específica (na arquitetura JVM) para que seja feita alocação de memória fora do jvm heap nativamente.
Digamos que eu queira fazer um caching de um extenso conjunto (Set) de informações, normalmente manteríamos uma instancia estática no heap, e todas as Threads poderiam referenciá-lo "On heap".
E sobre "new I/O APIs" ou ByteBuffer e o "Off Heap"?
A New I/O APIs entrega de um recurso potencial a uma implementação "Off Heap" Memory Mapped File, esse é o direct buffers.
Os pontos chave dele são:
- O conteúdo de um direct buffer pode residir em memória nativa, ou seja, fora do heap gerenciado pela JVM.
- Cada JVM deve implementar nativamente as novas operações:
NewDirectByteBuffer
GetDirectBufferAddress
GetDirectBufferCapacity
- As operações de direct buffers são definidas por um
ByteBuffer
.
Porque não "On Heap"?
Caso uma aplicação requeresse um volumoso conjunto de informações ao ponto que não seja prático ou viável o seu gerenciamento no heap, pelo excesso de pausas causados pelo Garbage Colletor (ou por estratégias de GC conflitantes em áreas distintas do Heap) podendo nos deixar em face a problemas de java heap memory leak.
Outro ponto seria a respeito de possíveis problemas a um não previsível (ou incompatível) volume de endereçamento de memória (lembre-se, para alocação de objetos no heap não é contínuo, mas para a JVM sim, o alcance/tamanho do heap deve ser especificado na criação do processo da JVM).
Assim como caso quiséssemos compartilhar esse mesmo heap entre instâncias de diferentes JVMs.
Nesses casos estratégia seria a alocação de memória "Off Heap".
A característica definitiva da alocação "Off Heap" é que ela não compartilha do Heap de arquitetura nativa da JVM e de todas suas características e gerenciamento por ela (Garbage Collection por exemplo).
Quais são as semânticas de alocacão de memória On Heap vs Off Heap?
Semântica de alocação On Heap:
public class OffHeap {
public static void main(String[] args) {
// TestObject é criado no jvm heap usando o operador new
// t variavel local no stack recebe referencia de TestObject
TestObject t = new TestObject();
}
}
semântica de alocação Off Heap:
Vou usar um exemplo de Peter Lawrey no Stack Overflow Java - Swapping Page. Nesse código é criado um HashMap
customizado suportando ser paginado em arquivos de memória "Off Heap".
class LongIntParallelHashMultimap {
private static final int NULL = 0;
private final FileChannel channel1, channel2;
private final LongBuffer keys;
private final IntBuffer values;
private final int capacity;
private int size;
public LongIntParallelHashMultimap(int capacity, String basename) throws IOException {
assert (capacity & (capacity - 1)) == 0 : "Capacity " + capacity + " must be a power of 2";
this.capacity = capacity;
channel1 = new RandomAccessFile(basename + ".keys", "rw").getChannel();
keys = channel1.map(FileChannel.MapMode.READ_WRITE, 0, capacity * 8).order(ByteOrder.nativeOrder()).asLongBuffer();
// load keys into memory
for(int i=0;i<capacity;i+=512) keys.get(i);
channel2 = new RandomAccessFile(basename + ".values", "rw").getChannel();
values = channel2.map(FileChannel.MapMode.READ_WRITE, 0, capacity * 4).order(ByteOrder.nativeOrder()).asIntBuffer();
for(int i=0;i<capacity;i+=1024) values.get(i);
}
public void put(long key, int value) {
long key1 = key + 1;
int index = indexFor(key1);
while (keys.get(index) != NULL) {
index = successor(index);
}
values.put(index, value);
keys.put(index, key1);
++size;
}
/**
* Uses a pre-allocated array and return the count of matches.
*/
public int get(long key, int[] hits) {
long key1 = key + 1;
int index = indexFor(key1);
int hitIndex = 0;
while (keys.get(index) != NULL) {
if (keys.get(index) == key1) {
hits[hitIndex] = values.get(index);
++hitIndex;
}
index = successor(index);
}
return hitIndex;
}
private int indexFor(long key) {
return Math.abs((int) ((key * 5700357409661598721L) & (capacity - 1)));
}
private int successor(int index) {
return (index + 1) & (capacity - 1);
}
public int size() {
return size;
}
public void close() {
try {
channel1.close();
channel2.close();
} catch (IOException ignored) {
}
try {
((DirectBuffer) keys).cleaner().clean();
((DirectBuffer) values).cleaner().clean();
} catch (Throwable notSupportedOnThisPlatform) {
}
}
}
Contexto de execução:
long heap = Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory();
RandomAccessFile raf = new RandomAccessFile("array.dat", "rw");
IntBuffer map = raf.getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1 << 30).order(ByteOrder.nativeOrder()).asIntBuffer();
for (int i = 0; i < map.capacity(); i++)
map.put(i, i);
long heap2 = Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory();
System.out.printf("Wrote %,d int values, heap used %,d bytes approx%n", map.capacity(), heap2 - heap);
Resultado:
Wrote 268,435,456 int values, heap used 0 approx