A máquina não identifica nada. Tipagem é conceito abstrato existente em linguagens de alto nível. "Elas" escolhem os tipos e as regras para eles. Para o computador só existem um monte de bits, ele espera que existam alguns conjuntos deles formando bytes ou palavras (veja mais abaixo).
Conceito de linguagem
Claro que ninguém vai inventar nada que não seja intuitivo, que fuja do padrão que crie dificuldades para a máquina manipular.
Em especificação a linguagem determina isso. Quando alguém cria uma linguagem de programação pensará nos tipos que podem ser considerados primitivos ou escalares, os derivados que formam um conjunto homogêneo ou heterogêneo de outros tipos e até se o usuário dela pode criar seus próprios tipos.
As primeiras linguagens eram simples demais e nem precisavam se preocupar com isso. Problemas mais complexos e códigos maiores exigiram a tipagem.
O que existem são bits, o resto é abstração, ainda que esse termo é complicado de ser usado já que sempre há um nível de abstração, até o bit é uma delas.
Tipos comuns
Os tipos primitivos tentam aproveitar alguma vantagem do processador. Então é comum um inteiro ser do tamanho do registrador do processador, assim ele pode fazer uma computação de forma atômica e rápida. Ou seja, é comum ser uma palavra (termo técnico).
Alguns processadores possuem instruções específicas para determinado formato de dados e seu funcionamento varia. Isso pode ajudar definir um tipo abstratamente. Essas instruções esperam algum formato específico. Você pode construir um dado bit a bit, mas no final para funcionar com essas instruções ele precisa estar no formato esperado, se não estiver o resultado não será o esperado e poderá até levantar alguma sinalização de problema em alguns casos, mas não na maioria.
Vou usar nomes de tipos comuns, mas que pode variar de linguagem para linguagem.
Integer
Ele é uma sequência de bits (o mais comum é 32) que pode ter um deles indicando o sinal e os demais o número em potência de 2. O normal é acharmos que os bits da direta sejam os menos significativos e os da esquerda são os mais significativos, como fazemos com números decimais. Isto realmente ocorrem em arquiteturas big-endian, como o ARM. Mas arquiteturas como Intel usam little-endian, o mais significativo vem por último, o que é contra intuitivo para nós, mas é vantajoso para o mecanismo. Isso é conhecido como endianess.


Veja detalhes na Wikipedia.
Float
Os processadores modernos possuem registradores especiais para certas operações, como cálculo de ponto flutuante binário. Isso dá um bom tipo, mas mesmo quando isto não existe o tipo é útil porque a forma como os seus bits são dispostos tem características próprias.

Veja detalhes na Wikipedia.
Vector
Há também registradores e instruções especiais para vetorização de dados. Poucas aplicações fazem uso disto e era comum as linguagem não fornecem suporte direto nelas, mas cada vez mais em bibliotecas ou otimizações de compilador.
Em tese a linguagem poderia não ter tipo algum e deixar tudo para biblioteca, mas pode haver perda de performance fazendo assim.
Byte
O byte existe por ser a menor unidade possível de informação que se armazena diretamente na memória (8 bits). Muitas vezes é confundido com o caractere, mas isso não é uma verdade absoluta há muito tempo.
Bit
Tipo booleano costuma ser um byte mesmo. Mas se tiver uma sequência deles pode tratar como bit e armazenar até 8 por byte.
Short
Outros tipos inteiros são criados para gerar economia em memória e não ocupar bits além do necessário que o valor máximo que ele deva carregar.
Long
Há tipos que precisam passar do tamanho do registrador, não é o ideal, mas há motivos semânticos para fazê-lo. Em alguns casos tipos maiores podem caber no registrador.
Pointer
Um outro tipo comum é o ponteiro, afinal ter um endereçamento de onde está uma informação é uma das coisas mais importantes que existe. Ele não deixa de ser um inteiro, não tem nada de especial nele a não ser o que espera que ele faça.
Veja detalhes na Wikipedia.
Primitivos compostos
Muitos tipos são formados por alguns conjuntos de bits, onde cada um possui algum significado, carrega uma informação específica.
Data, por exemplo [é só uma forma específica de usar um tipo inteiro ou um conjunto de inteiros, ou ainda com conjuntos de bits segurando cada informação, o formato específico varia.
Tipo decimal ou monetário é o mesmo. Esses são bem diferentes dos tipos de ponto flutuante e cada linguagem tem uma forma diferente de montá-los. Algumas possuem tipos decimais de tamanhos diferentes.
Tipos compostos
Os tipos não escalares, chamados de compostos, são formados pelos tipos primitivos, seja em sequência (array - [Wikipedia], por exemplo), seja em conjunto com outros tipos (estrutura, classe, por exemplo) ou os Abstract Data Types. Incluindo a string.
Cada linguagem ou biblioteca pode ter sua forma de manipular uma string, mas o básico é ter um ponteiro (endereço) e uma sequência de bytes (caracteres).
A linguagem e principalmente a biblioteca padrão vão criando tipos novos conforme a necessidade ou conveniência que deseja fornecer para o programador.
Daí você vai tendo coisas bem mais complexas como Stream
, HashTable
, Window
, Cliente
e qualquer outra classe.
Sistema de tipos
Em linguagem de tipagem dinâmica costuma haver vários tipos para o dado, só que a variável não possui tipo fixo, então precisa de uma estrutura para controlar isso, afinal na memória, no registrador tem um formato específico de bits.
Em linguagens de tipagem forte uma sequência de bits só pode ser interpretada como um tipo, se quiser que seja outro tipo tem que converter, possivelmente gravando o resultado em outro lugar. Em linguagem de tipagem fraca, de acordo com a necessidade pode considerar aqueles bits como uma coisa ou outro. Em algumas linguagens é comum fazer um ponteiro ser lido como se fosse um inteiro, só para ficar no exemplo básico.
Há linguagens monotipo ou até mesmo sem tipo - acessa tudo de forma bruta. Claro que não faz sucesso.
Complemento
Tem uma pergunta no SO específica para o Java.
Coloquei no GitHub para referência futura.