Você pode usar o [OWIN][1] para ter um servidor HTTP embutido na aplicação sem ter que instalar nada extra. Na página *linkada* tem a informação inicial e outras tecnologias associadas que serão úteis, especialmente o [Katana][2] que eu acho que é a implementação do OWIN que você precisa (ele é um servidor para embutir na sua aplicação, ou seja, não precisa instalar nada a não ser a sua própria aplicação).

Também pode saber algo mais aqui mesmo no SOpt: https://pt.stackoverflow.com/questions/16139/owin-e-katana-como-realmente-funciona-e-como-usar e https://pt.stackoverflow.com/questions/14227/motiva%C3%A7%C3%A3o-para-owin.

Existem outras soluções mas eu não as usaria não ser que tenha um motivo que inviabilize o OWIN. Esta solução tem apoio da Microsoft, é moderna e ativa, não posso dizer o mesmo dos exemplos que você deu nos comentários.

>esse código tem que retornar o mesmo que o browser receberia se tivesse acessando o arquivo pelo IIS

Por outro lado se você quiser ler uma página servida para fazer alguma coisa com ela a melhor solução provavelmente seria o uso do [`WebClient`][3] que é mais simples ou [`HttpWebRequest`][4] se precisar de algo mais poderoso. Acredito que esta seja a segunda parte do que você deseja.


  [1]: http://owin.org/
  [2]: https://docs.microsoft.com/en-us/archive/msdn-magazine/2013/october/asp-net-getting-started-with-the-katana-project?WT.mc_id=DOP-MVP-5002397
  [3]: https://docs.microsoft.com/en-us/dotnet/api/system.net.webclient?WT.mc_id=DOP-MVP-5002397&view=netcore-3.1
  [4]: https://docs.microsoft.com/en-us/dotnet/api/system.net.httpwebrequest?WT.mc_id=DOP-MVP-5002397&view=netcore-3.1