De acordo com o que entendi da Wikipedia, o gargalo de von Neumann ocorre ao acessar grandes quantidades de memória ao mesmo tempo que ocorre algum mínimo de processamento desses dados por parte da CPU. A CPU tem capacidade muito maior de processar dados do que a taxa de transferência de dados entre esta e a memória permitem ocorrer. Eu arriscaria dizer então que não é um gargalo que ocorre ou prejudica particularmente outras formas de processamento, por exemplo em situações de processamento intensivo de dados.
A imagem abaixo mostra a arquitetura de von Neumann com o gargalo decorrente do único barramento (canal de transferência de dados) entre a CPU e a memória, que guarda tanto instruções como dados.
Por que a taxa de transferência entre CPU e memória principal engargala o processamento? No meu entendimento é porque o acesso à memória principal pela CPU é mais lento (mais distante) que aos registradores internos, e também porque o ciclo de busca e execução (fetch-execute) em uma arquitetura de dados e instruções compartilhados provoca isso, pois requer minimamente dois passos, um que é o acesso à instrução (cerca de três ciclos de clock de um total de, digamos, seis ciclos de clock, de acordo com a arquitetura von Neumann de 8 bits do livro But How Do It Know?, que de acordo com meu limitado conhecimento é bem minimalista) pelo mesmo barramento que fica ocupado para ajudar a operar a instrução em si, que é um passo que precisa ser feito em seguida e em separado. Por exemplo, para um cenário de adicionar R0 a R1 e armazenar em R0 temos o seguinte ciclo de busca e execução, e operações de load (da memória para o registrador interno) e store (do registrador interno para a memória) ocupam igual ciclo, trocando apenas os três últimos ciclos de clock:
Ciclo de clock 1: IAR --> MAR (Move o endereço da instrução contido no registrador do endereço de instrução (IAR/PC) para o registrador de endereço da memória); ao mesmo tempo, já que IAR se encontra no barramento, incrementa IAR + 1 e o coloca no registrador acumulador ACC;
Ciclo de clock 2: Move o valor em RAM para o IR (registrador de instrução);
Ciclo de clock 3: Move conteúdo do ACC para IAR, efetivamente atualizando IAR/PC caso a instrução não cause um JUMP;
Ciclo de clock 4: R1 --> TMP (move o conteúdo do registrador R1 para o registrador TMP, que é um dos operandos da ALU);
Ciclo de clock 5: R0 habilitado no barramento + TMP --> ACC (a soma propriamente dita);
Ciclo de clock 6: ACC --> R0.
Dessa maneira, uma transferência de dados em grande quantidade com um mínimo de processamento envolve por exemplo um conjunto elevado de operações de load/store, o que significa quatro acessos à memória por palavra (tipicamente um byte) trafegada (dois para o fetch-execute da operação de load, e dois para o fetch-execute da operação de store).
Tanto esse gargalo na busca e execução é provocado que ele é eliminado ou mitigado (coforme a definição de gargalo adotada) na arquitetura de Harvard, a exemplo da que é implementada no curso From Nand to Tetris, que utiliza dois barramentos e duas memórias, um para dados e outro para instruções, permitindo assim que ambas as classes de dados sejam acessadas ao mesmo tempo (embora o número de passos para o ciclo de busca e execução seja algo entre dois e nove). A imagem dessa última arquitetura é reproduzida no final da pergunta.
Minhas dúvidas são duas (se a segunda atrapalhar ou tornar ampla leve em consideração somente a primeira, e a segunda poderá ser movida para outra pergunta):
O gargalo de von Neumann é isso mesmo? Se não for, o que é?
A arquitetura de Harvard possui esse gargalo, mitiga-o ou elimina-o? Aqui diz que tem o gargalo. Aqui sugere, conforme o meu entendimento do gargalo, que o mitiga ou elimina. No meu entendimento apenas mitiga, pois apesar de ser mais rápido acessar essas informações ao mesmo tempo ainda permanece a lentidão motivada pela distância entre processador e memória.
Para referência, pergunta semelhante, se não idêntica, na comunidade de Computer Science da rede Stack Exchange. Indaga se o gargalo é a lentidão no acesso à memória e ao mesmo tempo um gargalo intelectual, ou se é devido ao compartilhamento entre dados e instruções. Não sei bem o que concluir dela com base nas respostas, pois uma diz que a maior preocupação no comentário do John Backus (reproduzido abaixo na tradução da Wikipedia) era a carga cognitiva para os programadores, e a outra diz que são ambas as razões citadas, mas mais a lentidão.
Apenas para eliminar uma outra possível confusão, ambas as arquiteturas são de computadores de programa armazenado.
Referências
Para completude, reproduzo abaixo, e tento traduzir em seguida, o trecho relevante da Wikipedia.
Gargalo de von Neumann de acordo com a Wikipedia em inglês
The shared bus between the program memory and data memory leads to the von Neumann bottleneck, the limited throughput (data transfer rate) between the central processing unit (CPU) and memory compared to the amount of memory. Because the single bus can only access one of the two classes of memory at a time, throughput is lower than the rate at which the CPU can work. This seriously limits the effective processing speed when the CPU is required to perform minimal processing on large amounts of data. The CPU is continually forced to wait for needed data to move to or from memory. Since CPU speed and memory size have increased much faster than the throughput between them, the bottleneck has become more of a problem, a problem whose severity increases with every new generation of CPU.
The von Neumann bottleneck was described by John Backus in his 1977 ACM Turing Award lecture. According to Backus:
"Surely there must be a less primitive way of making big changes in the store than by pushing vast numbers of words back and forth through the von Neumann bottleneck. Not only is this tube a literal bottleneck for the data traffic of a problem, but, more importantly, it is an intellectual bottleneck that has kept us tied to word-at-a-time thinking instead of encouraging us to think in terms of the larger conceptual units of the task at hand. Thus programming is basically planning and detailing the enormous traffic of words through the von Neumann bottleneck, and much of that traffic concerns not significant data itself, but where to find it."
Mitigations
There are several known methods for mitigating the Von Neumann performance bottleneck. For example, the following all can improve performance:
- Providing a cache between the CPU and the main memory
- providing separate caches or separate access paths for data and instructions (the so-called Modified Harvard architecture)
- using branch predictor algorithms and logic
- providing a limited CPU stack or other on-chip scratchpad memory to reduce memory access
- Implementing the CPU and the memory hierarchy as a system on chip, providing greater locality of reference and thus reducing latency and increasing throughput between processor registers and main memory
(...)
As of 1996, a database benchmark study found that three out of four CPU cycles were spent waiting for memory. Researchers expect that increasing the number of simultaneous instruction streams with multithreading or single-chip multiprocessing will make this bottleneck even worse. In the context of multi-core processors, additional overhead is required to maintain cache coherence between processors and threads.
Minha tradução a partir da Wikipedia
O barramento compartilhado entre a memória do programa e a memória dos dados leva ao gargalo de von Neumman, a limitada taxa de vazão (taxa de transferência de dados) entre a unidade central de processamento (CPU) e a memória, comparado à quantidade de memória. Dado que o único barramento pode apenas acessar uma dentre duas classes de memória por vez, a taxa de transferência é mais baixa que a taxa à qual a CPU pode trabalhar. Isto limita seriamente a efetiva velocidade de processamento quando se requer que a CPU execute mínimo processamento em grandes quantidades de dados. A CPU é continuamente forçada a esperar pelos dados necessários a serem movidos de e para a memória. Uma vez que a velocidade da CPU e o tamanho da memória aumentaram muito mais rápido que a taxa de transferência entre eles, o gargalo se tornou mais problemático, um problema cuja severidade aumenta a cada nova geração de CPU.
O gargalo de von Neumann foi descrito por John Backus eu sua palestra no Prêmio Turing da ACM de 1977. De acordo com Backus:
"Certamente deve haver uma maneira menos primitiva de fazer grandes mudanças no armazenamento do que empurrando vastas quantidades de palavras de um lado para o outro através do gargalo de von Neumann. Não apenas é esse tubo um problema de gargalo literal para tráfego de dados, mas, com maior importância, é um gargalo intelectual que nos manteve presos a um pensamento de uma-palavra-por-vez em vez de nos encorajar a pensar em termos de unidades conceituais maiores da tarefa em foco. Com isso programação é basicaente planejar e detalhar o enorme tráfego de palavras através do gargalo de von Neumann, e muito desse tráfego diz respeito não aos próprios dados significativos, mas a onde encontrá-los."
Mitigações
Há diversos métodos conhecidos para mitigar o gargalo de desempenho de von Neumann. Por exemplo, todos os seguintes podem melhorar o desempenho:
- Fornecer um cache entre a CPU e a memória principal
- fornecer caches separados ou caminhos de acesso separados para dados e instruções (a chamada arquitetura de Harvard Modificada)
- usando algoritmos e lógica de predição de branch
- fornecer uma pilha de CPU limitada ou outra memória de rascunho on-chip a fim de reduzir o acesso à memória
- Implementar a CPU e a hierarquia de memória como um system-on-chip, fornecendo maior localidade de referência e assim reduzindo latência e aumentando a taxa de transferência entre registradores e memória principal
(...)
Em 1996, um estudo de benchmark de bancos de dados identificou que três de quatro ciclos de CPU eram gastos aguardando memória. Os pesquisadores esperam que aumentar o número de streams de instruções simultâneos com multithreading ou multiprocessamento em um único chip irão piorar esse gargalo. No contexto de processadores multicore, é requerido overhead adicional para manter a coerência de cache entre processadores e threads.
Arquitetura de Harvard do curso From Nand To Tetris
Imagem da arquitetura de Harvard do curso From Nand to Tetris, mostrando dois barramentos, um para instruções acessando a memória ROM e outro para dados acessando a memória RAM. O acesso a ambas é feito ao mesmo tempo.