É possível, claro. Se não fosse possível não existiram servidores web, certo?
Precisa ver se é isto que você quer mesmo. Raramente isto é necessário. Mas se quiser ir em frente eu digo que não é tarefa fácil, principalmente porque parece que você se preocupa com segurança. Fazer um servidor seguro é extremamente difícil e trabalhoso, em geral feito por equipes muito experientes e totalmente dedicadas ao assunto.
Talvez exista uma solução que resolva o que você quer sem tanto trabalho. Não é o mais adequado para sites de grande movimento mas resolve necessidades específicas. A Microsoft criou algo que faz boa parte do trabalho. É uma especificação (OWIN) e uma implementação (Katana) de um servidor para usar com aplicações .NET. Escrevi alguma coisa nessa outra resposta. Lá tem links para mais informações sobre a tecnologia. Agora existe também o Kestrel que é a implementação multiplataforma do OWIN.
Mas reafirmo, eu acho que você não precisa de nada disto. Um servidor padrão deve resolver o que você precisa. O que você pede é a função de qualquer servidor.
Veja o YARP.