Meu professor da faculdade estava falando a respeito do termo overlay em relação a memória. Eu fiquei confuso a respeito deste termo.
Eu gostaria de saber o que é overlay e qual é a ligação que ele tem com a memória?
Isso é usado em sistemas operacionais primitivos. O famoso MS-DOS usava esta técnica. Hoje só é usado em dispositivos muito limitados, apesar de alguns estarem se tornando bastante populares com o IoT.
Em geral o sistema operacional não tem isso por falta de espaço para criar o mecanismo de memória virtual e principalmente porque é feito para rodar em hardware que não provê facilidades para gerenciar a memória de forma simples, transparente e com desempenho.
Pensa na DLL. É uma forma de quebrar um executável em partes. O overlay é a mesma coisa, só é feito de uma forma um pouco diferente. De fato uma das vantagens é quebrar o executável em partes para serem distribuídas separadamente, no passado mais útil que hoje já que os disquetes tinham bem pouco espaço e era o meio de transporte mais usado.
O mecanismo é útil quando o executável é grande demais para caber na memória. Ele divide o código em partes que podem ser carregadas de forma alternada conforme vai havendo necessidade. Geralmente há inserção de código para gerenciar a necessidade de carregar outra parte do código que ainda não está na memória.
Em sistemas operacionais mais completos em arquiteturas modernas existe o sistema de memória virtual, então não importa se o que precisa está na memória física ou não, basta dizer que está na memória que existe além dos limites da RAM, em geral uma parte pode estar em disco. A aplicação não precisa saber de nada disso, pra ela existe uma memória enorme limitada em 4GB em 32 bits ou quanto o SO permitir até o limite de 16EB em 64 bits. O SO gerencia se precisa colocar uma parte no armazenamento secundário ou manterá em RAM.
A memória virtual é um gerenciamento que determina onde as páginas de memória (comumente blocos de 4KB) está na memória. Essas páginas podem estar espalhadas por toda a RAM ou pode estar em outras partes. Em tese pode até estar em outra máquina. Ela controla isso, não é problema do usuário ou do desenvolvedor da aplicação. É uma abstração para facilitar um monte de coisa, inclusive proteger áreas da memória e ir atendendo as requisições de alocação de memória das aplicações de forma consistente.
Em geral um executável moderno costuma ser carregado com uma técnica de arquivo mapeado em memória, o que torna transparente se está em disco ou RAM. Fisicamente um trecho do executável precisa estar na RAM para ser executado, então sempre que tentar acessar e não conseguir ocorre um page fault (Wikipedia) e o SO trará a página que deve estar em disco para a RAM. Por isso um código ou dado que esteja sendo usado em dois processos diferentes não precisa ser duplicado, fisicamente ele só existe uma vez apesar de estar referenciado em dois espaços virtuais de memória. Por isso é complicado medir consumo de memória de aplicação, existe o consumo físico de RAM, o consumo total e o consumo virtual.
O overlay é uma memória virtual de pobre :) Ele não é tão sofisticado, serve só para a separação de parte do código, nada mais.