O OWIN (Open Web Interface for .NET) é uma solução para generalizar o acesso da aplicação ao hospedeiro. Antes dele existir para rodar o ASP.NET era necessário o IIS ou teria que modificar os próprios componentes do ASP.NET para usar outro host. O IIS era uma dependência, e pior, os componentes que se comunicam com o IIS eram pesados.
Na nova filosofia do .NET de ter soluções mais abertas era necessário criar uma maneira padrão de comunicação entre a aplicação e o host, permitindo assim a utilização de outros hosts, inclusive a própria aplicação cuidar disto, e a comunicação pode ser feita de forma mais flexível, leve, personalizada para cada situação.
O OWIN é justamente a especificação de como essa comunicação funciona. Algumas implementações desta especificação são: Katana que permite o self-host da aplicação, o Helios que permite o uso com o IIS.
Tem uma resposta sobre o seu uso aqui no site.
O OAuth é um padrão também, uma especificação de como aplicações deve autorizar. Não importa se a aplicação é para a web, mobile ou desktop, desde que ela se comunique da forma padrão especificada e através de protocolo HTTP.
Você pode usar provedores de autorização diversos, fornecido por você de forma isolada, ou, o mais comum, através de terceiros. Assim você não precisa se preocupar com o processo todo, apenas precisa saber se o usuário está autorizado ou não.
Desta forma, dados que precisam estar seguros ficam fora da aplicação e provavelmente na mão de quem sabe mantê-los seguro e possui a confiança do dono da informação. A aplicação só recebe o que for relevante para ela.
Uma implementação do padrão para .NET é o DotNetOpenAuth. Com ele você só precisa aprender a API e não tem que se preocupar com o padrão em si. Existem outras implementações. O OWIN usa o OWIN OAuth 2.0 Authorization Server para isto.
Artigo na Wikipedia sobre ele.
Coloquei no GitHub para referência futura.