O conceito de ["módulo"][1] é semelhante ao de ["resto da divisão [inteira]"][2]:

    Dividendo ou numerador: 23
    Divisor ou denominador: 10
    Quociente: 2
    Resto: 3

Não é exatamente o mesmo conceito (segundo a Wikipedia, as linguagens de programação mais comuns - inclusive JavaScript - implementam o resto da divisão no seu operador `%`, e não o módulo), mas é próximo o bastante, principalmente quando todos os números envolvidos são inteiros e positivos (como nos seus exemplos). Entretanto, não é sempre o caso:

<!-- begin snippet: js hide: false -->

<!-- language: lang-js -->

    // Em JavaScript, o dividendo determina o sinal do resto
    log(23 % 10);   // 3
    log(-23 % 10);  // -3
    log(23 % -10);  // 3
    log(-23 % -10); // -3

    // Se o dividendo não for inteiro, o resto também não é inteiro
    log(23.5 % 10); // 3.5

    // Se o divisor não for inteiro, não importa, o quociente é que sempre tem de ser inteiro
    log(23 % 10.5);   // 2
    log(23.5 % 10.5); // 2.5

    function log(x) { document.body.innerHTML += "<p>" + x + "</p>"; }

<!-- end snippet -->

Outras linguagens podem seguir convenções diferentes ou possuir restrições diferentes quanto ao tipo dos operandos (não sei dizer se isso é padronizado ou não). Sobre como o cálculo é feito, creio que a [resposta do bigown][3] já explica muito bem (sendo consistente com o operador `%` em todos os casos citados acima).

Sobre o módulo em si, caso tenha curiosidade, trata-se de uma relação de equivalência entre vários valores segundo um critério bem definido. Não faz sentido perguntar "qual o valor de X módulo Y?", na verdade X é equivalente a infinitos números módulo Y:

    23 ≡ 3 ≡ 13 ≡ -7 ≡ -17 ≡ ... (mod 10)

Apenas um deles - o `3` - satisfaz à relação `0 <= 3 < 10`, de modo que é comumente considerado o valor "canônico", mas isso só faz sentido (e é útil) quando o módulo (`10`) é positivo e inteiro.


  [1]: https://pt.wikipedia.org/wiki/Aritm%C3%A9tica_modular
  [2]: https://pt.wikipedia.org/wiki/Resto_da_divis%C3%A3o_inteira
  [3]: https://pt.stackoverflow.com/a/93095/215