Consolidando o que está nos comentários.
Qualquer decisão tem que passar por testes de carga e stress ou uso real em produção. Não adianta supor coisas. E vai ter que refazer estes testes conforme for adicionando funcionalidade.
De qualquer forma se não souber o que está fazendo vai ter problemas independente do sistema que crie e até do hardware que use.
Esse sistema de filas pra mim é algo esquisito. Eu acho que é barbeiragem, duvido do que ele seria necessário se soubesse o que está fazendo.
A rede Stack Exchange que você está usando agora tem muito acesso e não tem problemas. Eles usam basicamente a tecnologia que pretende usar. O MongoDB pode ser melhor que o SQL Server pro seu caso? Você sabe melhor que eu.
Tenho minhas dúvidas se deveria usar AngularJS, acho que há muito uso por moda, mas seria só minha opinião. Até acho que isto reduzirá os esforços necessários no servidor. Mas há outras implicações boas ou ruins.
Claro que em determinado momento a solução é adicionar hardware. Horizontal ou verticalmente. Não tem jeito. E sai absurdamente mais barato que implementar uma solução de software complexa demais para desenvolver ou suportar.
O erro maior que eu vejo nesta afirmação é especificar em qual hardware vai rodar. O hardware deve ser dimensionado de acordo com a necessidade, não ficar mudando o software para atender a limitação do hardware, até porque isto nem sempre é possível. Mesmo quando é, a opção é a pior possível.
Conforme vai tendo necessidade pode ir melhorando algumas coisas. Mas de início aprenderia muito sobre cache. Faça em vários níveis. Isto ajuda muito a ter escalabilidade e até lidar com alguns tipos de ataque.
Claro, o design da aplicação pode influenciar muito no desempenho. Não vou falar sobre isto porque não há detalhes que eu possa dizer algo adequado, mas eu vejo muito software ter problemas de desempenho porque foram mal projetados (nem estou falando de código mal escrito, que também gera problemas). Em determinado momento vai ter que pensar se quer uma funcionalidade. Tem coisas que fariam este site ser muito melhor do que é, mas ele não permite porque aumentaria muito o custo de processamento. Eles optaram pelo desempenho em detrimento da UX (ainda que o desempenho também seja um aspecto da UX). Tem muitos sites que fazem isto. Facebook e Google vivem tomando decisões assim. Mas lembre-se que você não é o Facebook.