Você quer que a função COUNT()
seja agregadora, quer que contecontar todos os elementos encontrados dentro de um grupo de dados, essesesse grupo é definido pelo atributo andar
, então use a cláusula GROUP BY
.
SELECT andar, COUNT(*) AS quantidade FROM andares GROUP BY andar
Veja funcionando no SQL Fiddle. Também coloquei no GitHub para referência futura.