Você pode restringir para que o usuário não digite nenhum outro caractere a não ser números através de uma máscara para cada campo. Com a máscara você consegue definir quantos dígitos onuméricos cada campo deverá ter, no. No exemplo abaixo os campos estão restritos a 4, 5, 6 e 7 dígitos, respectivamente.
jQuery(function($){
$("#numero1").mask("9999");
$("#numero2").mask("9999""99999");
$("#numero3").mask("9999""999999");
$("#numero4").mask("9999""9999999");
});
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
<script type="text/javascript" src="https://cdnjs.cloudflare.com/ajax/libs/jquery.mask/1.14.0/jquery.mask.js"></script>
Número 1 <input type="text" id="numero1" name="numero" maxlength="4" placeholder="4 dígitos numéricos"/><br><br>
Número 2 <input type="text" id="numero2" name="numero" maxlength="4"maxlength="5" placeholder="5 dígitos numéricos"/><br><br>
Número 3 <input type="text" id="numero3" name="numero" maxlength="4"maxlength="6" placeholder="6 dígitos numéricos"/><br><br>
Número 4 <input type="text" id="numero4" name="numero" maxlength="4"maxlength="7" placeholder="7 dígitos numéricos"/><br><br>
Ou, se preferir utilizar somente o HTML5, utilize o campo do tipo number
.
Número <input type="number" name="numero">