Um bit (BInary digiT) é a menor unidade que podemos encontrar na abstração da computação. Os computadores trabalham com pulsos (todos de uso real desde o final da segunda guerra mundial são elétricos) com um indicativo de estado ligado ou desligado. Nos computadores modernos isso se dá por uma voltagem maior ou menor. A lógica do computador é binária, por isso ele é rápido e preciso. Ao contrário do decimal que usamos (baseados nos nossos dedos) o binário só tem dois estados, falso ou verdadeiro e tudo é composto através disso.
Então temos a base 2, e representamos todos os dígitos possíveis com 0 e 1. O próximo número seria 2 no decimal, no binário será o 10, porque para representar um terceiro número só com um dígito extra. Aí o próximo será 11, e depois virá 100, que é o mesmo que 4 em decimal.
Quando você tem 8 dígitos diferentes você tem um byte (em todas arquiteturas atuais é assim, mas poderiam ter escolhido outro tamanho). Foi definido assim porque é um número redondo (programador trabalha pensando em binário e números redondos são 2, 4, 8, 16, 32, etc.) que atende bem as necessidades dos principais números. Um dos motivos é que ele pode ser usado para mapear os caracteres que precisamos usar, a tal da tabela ASCII, que tem 128 caracteres diferentes. Isto daria 7 dígitos para representar tudo (2 elevado a 7 dá 128), arredondaram para 8.
Há a nomenclatura de nibble para 4 bits, mas não existe dado real só com essa quantidade de bits, ele é usado porque alguns coisas podem ser representadas só com eles, o que pode até haver alguma compactação e manter dois valores no mesmo byte (BinarY TErm), assim como podemos manter 8 valores booleanos diferentes em 1 byte. No passado já teve arquiteturas com 4 ou 8 bits em cada byte.
Daí tudo o que fazemos é composto por bytes, inclusive alguns tipos de dados já são compostos por uma quantidade específica de bytes, por exemplo um inteiro tem 4 bytes (tipicamente), ou um caractere estendido em formato UTF-16 tem 2 bytes, ou uma data costuma ter 8 bytes, ou um pixel pode ter 1, 2, 3 ou 4 bytes (os dois últimos os mais comuns hoje me dia) e assim por diante. Em um inteiro de 4 bytes temos 32 bits, portanto é 2 elevado a 32, ou pouco mais de 4 bilhões, que é a quantidade máxima de números diferentes que isso pode ser representado neste tipo.
Um tipo de ponto flutuante tem um cálculo mais complexo, mas ele tem 32 ou 64 bits e é possível representar cerca de 4 bilhões ou 16 quintilhões de números diferentes, embora pareça que é mais pela forma como ele calcula isto, ele chega mais longe mas pula muito número.
Os processadores são capazes de lidar melhor com certos tipos de dados com esses formatos e quantidade bytes.
O tamanho mínimo que podemos armazenar, lidar ou transportar é 1 byte. Na prática dependendo do que for fazer pode ser no mínimo uma palavra, ou até algo maior. Tem caso que o mínimo é 4KB. Então um tipo que só precise de 1 bit (porque ele é booleano) ocupará 1 byte, no mínimo.
Uma curiosidade é que escrever KB está errado. KB seriam 1000 bytes. Mas como precisamos de números redondos em binário um quilo de bytes para nós são 1024 bytes, e aí deve ser representado corretamente por KiB. Claro, todo mundo entende que KB é 1024 e não 1000. Só que aí a pessoa compra um HDD e ele vem medido em KB de verdade e a pessoa acha que o fabricante está roubando ele.
Outra curiosidade: 1 KiB são 1024 bytes, 1 KB são 1000 bytes e 1 Kb são 1000 bits, e claro, 1Kib são 1024 bits. As pessoas intercambiam isso erradamente.
O assunto é simples mas dá um capítulo de um livro se for falar de tudo, imagino que só queria um resumo. E o site está cheio de informação extra, como já mostrei em alguns links.
Bytes são usados para medir o espaço ocupado por algum dado, e ele sempre será um conjunto de 8 bits (estados de verdadeiro ou falso). É um termo abstrato que foi criado para dar entendimento à unidade mínima de valor que lidamos de fato no computador.
Coloquei no GitHub para referência futura.