Sem banco de dados eu faria assim:

    <?php
    session_save_path('/caminho/para/suas/sessoes'); //padrao é /temp
    
    //inicia sessao
    session_start();
    
    
    function getUsuariosOnline()
    { 
        $count = 0; 
        $d = dir(session_save_path()) or die("Diretorio invalido.");
        while (false !== ($entry = $d->read())) 
        {
            if($entry != '.' && $entry != '..')
            {
                $count++; //Conta a qtde de arquivos dentro do diretorio de sessao
            }
        }
        $d->close();
        return $count;  
    } 
    
    $usuarios_online = getUsuariosOnline();
    echo $usuarios_online;
    ?>

Ref: http://php.net/manual/pt_BR/function.session-save-path.php