Qual a utilidade dessa prática atualmente?
Portabilidade. Em alguns casos você precisa garantir que o recurso estará disponível em qualquer situação: Se seu conteúdo HTML está sendo gerado dinamicamente em modo offline, sem acesso à internet ou operando em um protocolo (HTTPS por exemplo) que não lhe permite acessar recursos em modo híbrido.
Um exemplo são os Chrome URLs, onde todas as imagens presentes são base64:
Teste algumas destas URLs no Chrome:
chrome://ipc
chrome://inspect
chrome://media-internals
chrome://memory
Existe algum ganho em termos de desempenho em relação a
armazenar/transmitir dados binários em seus formatos originais (nesse
caso, bitmap)?
Na prática, a diferença é negligível. Uma vez que seu conteúdo esteja armazenado em cache, ele é tratado da mesma maneira pelos browsers modernos, seja sua origem uma resposta a um GET
ou interpretação de conteúdo inline base64.
(Vale mencionar que se você estiver embutindo conteúdo base64 em uma página gerada dinamicamente você estará reenviando o conteúdo a cada requisição.)
Quando armazenadas localmente, devemos utilizar bitmap ou string
base64?
Se por localmente você quer dizer o navegador, não existe razão para se preocupar com isso.
Caso você queira dizer o servidor, isso depende da sua estratégia de implementação; lembre-se que toda alteração do arquivo atômico (contendo HTML/CSS + base64) implicará em um flush/refresh do cache.
Quando é uma boa prática utilizar bitmap? E string base64?
Os formatos binários mais utilizados (JPEG, PNG) utilizam menos bytes do que uma string base64, mas essa diferença só é sentida em um acesso com o cache ainda vazio.
Se você está armazenando uma grande quantidade de imagens ou visualizando apenas um pequeno set da coleção, utilize arquivos binários.
Se sua aplicação utiliza poucos gráficos bitmap ou precisa rodar em modo offline, base64.