Fiz a paginação disponível no código abaixo, seguindo um exemplo aqui do stack, porém não funciona como eu preciso que é: exibir no máximo 5 registros por página e assim ir criando as outras páginas. Este código conta todos os registros da tabela, digamos que seja 8, a partir disso cria 8 páginas e 8 blocos de páginas, sendo que caberia 5 em uma e 3 em outra. Aceito sugestões de como ajustar.
$page = (isset($_GET['pagina'])) ? (int)$_GET['pagina'] : 1;
$limit = 5;
$offset = ($page * $limit) - $limit;
$sql = "SELECT * FROM registros LIMIT $limit OFFSET $offset";
$resp = mysqli_query($conexao, $sql);
$res = mysqli_fetch_assoc($resp);
$sql2 = "SELECT count(*) as count FROM registros";
$resultado = mysqli_query($conexao, $sql2);
$row = mysqli_fetch_assoc($resultado);
$total_de_paginas = $row['count'];
echo '<div>
<ul class="pagination pagination-sm pull-right">
<li><a href="#" id="anterior"><<</a></li>';
for($i = 1; $i <= $total_de_paginas; $i++){ ?>
<li><a href="?<?php echo http_build_query(array('page' => $i)) ?>"><?php echo $i ?></a></li>
<?php }
echo '<li><a href="#" id="próxima">>></a></li>
</ul>
</div> ';