Sim pode utilizar o `SSLStream` mesmo que não seja um servidor Web, i.e, pode usa-lo quando estabelecer uma ligação TCP entre um servidor e um cliente.

Pode gerar o seu próprio certificado com o [OpenSSL](https://www.openssl.org/related/binaries.html) [(guia para criar um certificado auto assinado em OpenSSL)](http://www.madboa.com/geek/openssl/#cert-self).

De forma a facilitar o processo, fica um pedaço de código que gera um certificado através da linha de comandos (recomendo criar um .cmd/.bat para facilitar o processo):

    :: Se instalou o OpenSSL num local não-padrão, altere os caminhos abaixo.

    @echo off
    set OPENSSL_CONF=C:\OpenSSL-Win32\bin\openssl.cfg

    "C:\OpenSSL-Win32\bin\openssl" req -x509 -nodes -days 365 -subj /C=[código de duas letras do país]/ST=[estado]/L=[localidade]/CN=[Nome do servidor] -newkey rsa:1024 -keyout private.key -out cert.crt

    "C:\OpenSSL-Win32\bin\openssl" pkcs12 -export -in cert.crt -inkey private.key -out [nome do certificado].pfx -passout pass:[password do seu certificado]

    del .rnd
    del private.key
    del cert.crt

Com o certificado criado, pode utiliza-lo da seguinte forma no servidor:

    X509Certificate2 cert = new X509Certificate2([caminho para o certificado, [password do certificado]);
    SslStream sslStream = new SslStream(client.GetStream());
    sslStream.AuthenticateAsServer(cert);

Notas:
[(Documentação do AuthenticateAsServer)](http://msdn.microsoft.com/en-us/library/system.net.security.sslstream.authenticateasserver%28v=vs.110%29.aspx)