A pergunta é um pouco ampla, mas vamos lá.
Imagino que já leu a documentação dele. Pelo menos é isso que o programador faz quando vê algo novo que não conhece e deseja saber mais. Não vou falar o que já está lá, não parece ser o foco.
Cache é uma das estratégias mais importantes e mais usadas para fazer dados serem acessados mais rapidamente. Cache é mais simples do que as pessoas imaginam. Você fazer um cálculo e guardar em uma variável está fazendo cache. Quer mais simples que isso? Claro, aqui estamos falando de um mecanismo um pouco mais sofisticado.
Cache é extremamente complicado conforme vai saindo do trivial, principalmente quando precisa decidir sobre invalidação dele. Mas cache é apenas uma forma de entregar uma informação de um jeito mais rápido que a forma tradicional, não importa muito como. Um exemplo seria a memoização que é o padrão de projeto básico usado em grande parte dos mecanismos de cache.
Você pode ter vários níveis de cache na aplicação e no entorno dela. Pode ter algo que faz parte da sua aplicação ou que é feito por terceiros em infraestrutura que você usa direta ou indiretamente, algo de hardware ou software. Saber escolher quais usar e quais são exagero é uma arte. Alguns você não escolhe, existe e boa. Como é muito complicado fazer certos caches é melhor usar algum mecanismo pronto em boa parte dos casos.
Então a pergunta é mais embaixo, é quando usar o cache. Quando ele for necessário então o MemoryCache
deve ser sua escolha (mas pode ter outros níveis de cache fora da sua aplicação). Ele será correto, tem a forma que provavelmente é mais eficiente, controles de concorrência e principalmente já deve ter uma ou mais estratégias de invalidação que funcionam razoavelmente bem na maioria das situações. E uma das coisas mais importantes é ter um monitoramento para invalidar sob demanda, que é uma das invalidações mais consistentes que existe (com vantagens e desvantagens).
O exemplo real depende da situação, por isso é muito difícil colocar um exemplo. De qualquer forma não importa o mecanismo, importa entender todo o processo de desenvolvimento de software para absorver sobre a necessidade de cache. Não tem uma resposta mágica, a não ser que deve usar quando precisar de mais performance e um teste mostrar que o cache resolve parcial ou totalmente. Não existe nenhuma situação que dá para dizer que deve usar sempre ou deve usar nunca, inclusive porque o mesmíssimo problema pode mudar se o volume mudar.
Existem problemas que o cache ajuda pouco ou nada ou atrapalha. Se você tem acesso raro ao mesmo dado o cache é só um estorvo. Somente o padrão de repetição do acesso aos mesmos dados várias vezes é que te dá vantagem clara.
Já respondi sobre para PHP, continua válido aqui.
Coloquei no GitHub para referência futura.