Acho que a questão não seria nem de performance, mas sim de usabilidade.
Geralmente, vale mais a pena implementar um bom mecanismo de busca do que fazer isso que está propondo.
Usabilidade comprometida
Imagine uma barra de rolagem de 1000 pixels de altura (quase a altura de um monitor 1600 x 1200). Isso quer dizer que para cada pixel apontável, haverão 20.000.000 / 1.000
registros => 20.000
registros por pixel.
Acontece que ao rolar até os registros, você vai ir para os primeiros daquela sequência de 20000, você sempre irá mostrar quantos couberem na tela, e o resto dos 20000 fica escondido... ai vem a pergunta: Como você vai fazer para acessar o resto dos 20mil registros? Com a seta do teclado? Com a bolinha de rolagem do mouse? Teclas page down e page up. Isso é inviável. Além do mais, ficar caçando pixels na barra de rolagem já é algo meio contra-produtivo para inicio de conversa.
Alternativa:
Proponha algo inteligente, que será útil de verdade para quem pediu. Usuário geralmente é assim, não sabe direito o que quer... ele pensa: preciso ter acesso a qualquer registro, logo coloco todos os registros na mesma tela. Ele não pensa, preciso ter acesso a qualquer registro, logo preciso de uma forma eficaz de chegar até eles, logo preciso de um mecanismo de busca que atenda às minhas necessidades.