Você deve começar a enumerar as suas paginas a partir do zero(Somando +1 para a exibição).
O if para exibir o botão da pagina anterior precisa de mais uma regra para não exibir quando estiver na primeira pagina.
O primeiro if de dentro do for não é necessário, sendo que você só possui dois casos, pagina ativa e não ativa.
O ultimo if não é necessário pois nunca será chamado.
$pagina_atual = (!isset($_GET['p'])) ? 1 : $_GET['p'];
$max_results = 1;
$prev = ($pagina_atual - 1);
$next = ($pagina_atual + 1);
$total_pages = ceil($paginas / $max_results);
$pagination = '';
if ($paginas > 1 && $pagina_atual > 1) {
$pagination .= '<li class="pagination_reborn"><a class="page " href="logacesso?p=' . $prev . '">«</a></li> ';
}
for ($i = max(0, $pagina_atual - 4); $i < min($pagina_atual + 4, $total_pages); $i++) {
$page = $i + 1;
if ($pagina_atual == $page) {
$pagination .= '<li id="active_page" class="pagination_reborn"><a class="page" href="logacesso?p=' . $page . '">' . $page . ' ativo</a></li>';
} else {
$pagination .= '<li class="pagination_reborn"><a class="page" href="logacesso?p=' . $page . '">' . $page . '</a></li>';
}
}
if ($pagina_atual < $total_pages) {
$pagination .= '<li class="pagination_reborn"><a href="logacesso?p=' . $next . '">»</a></li>';
}
if ($next == $i) {
$pagination .= '<li class="pagination_reborn"><a class="page" href="logacesso?p=' . $i . '">' . $i . '</a></li>';
}