Ícaro,
Para ler dados que não são strings você não poderá utilizar um StreamReader como no exemplo que você colocou. É possível conter valores também dentro da string, mas isso vai depender da implementação de um protocolo próprio para tal.
Atualmente é possível fazer a leitura de qualquer tipo de dado através de socket utilizo a própria classe Socket e os métodos "Receive, ReceiveFrom, ReceiveMessageFrom" e suas variantes assíncronas.
Estes métodos recebem como parâmetro um array do tipo byte e retornam um inteiro correspondendo ao número de bytes recebidos.
Utilizada a função e armazenados os bytes você pode utilizar as funções de conversão contidas na classe BitConverter para gerar um dos tipos primitivos implementados pelo .NET Framework.
Segue exemplo (apenas com propósito educacional, código não adequado para ambiente de produção):
var listener = new TcpListener(8080);
listener.Start();
while (true)
{
const int buffer_length = 1024;
byte[] dados = new byte[buffer_length];
Socket cliente = listener.AcceptSocket();
if (!cliente.Connected) continue;
int recv_length = cliente.Receive(dados, buffer_length, SocketFlags.None);
if(recv_length > 0)
{
try
{
Int32 dado_recebido = BitConverter.ToInt32(dados, 0);
Console.WriteLine("Recebi um inteiro de 32 bits: " + dado_recebido.ToString());
}
catch(Exception ex)
{
Console.WriteLine("Não foi possível processar a mensagem recebida.");
Console.WriteLine("Motivo: " + ex.Message);
}
cliente.Close();
}
}
Espero ter conseguido ajudá-lo.