0

Estou ajudando um amigo a desenvolver um sistema de visitas, como o Rede Grana ex: Grana Social. Acontece que faremos pagamentos por visitas reais na página, e como sabemos que existem pessoas mal intencionadas e que tentarão burlar o sistema para tirar vantagem e ganhar visualizações, como por exemplo usar um usuário fictício, um bot (HitLeap).

Preciso saber diferenciar uma visualização real de uma visualização por bot. Já procurei uma solução com o HTTP_USER_AGENt mas não conseguir nada, também comparei ele com visualizações reais e não encontrei nada que possa usar.

Qual seria a melhor solução para se proteger deste tipo de caso, algo como o YouTube já consegue realizar, distinguir os acessos reais dos não reai.

Desde já agradeço...

P.S.: Sei como detectar os indexadores comuns! Então não me mostre artigos que falem do googlebot.

7
  • como disse, Daniel, você pode verificar se é um robô através do recaptcha Commented 30/05/2016 às 20:02
  • É algo desagradável para o usuário isto. Pois o proposito não interagir com a página, somente visualiza-la.
    – Helmesvs
    Commented 30/05/2016 às 20:07
  • Veja se isso te ajuda. Commented 30/05/2016 às 20:08
  • Como você sabe que eu não sou um bot comentando aqui pra você no SOPT? Commented 30/05/2016 às 21:28
  • 1
    Um bot suficientemente bem feito poderia perguntar isso. Na verdade tem outros indicativos de que eu não sou um bot que são melhores do que a minha mensagem anterior ou mesmo essa. Vc pode olhar, por exemplo, o meu histórico de participação no site. O meu ponto com essa brincadeira (desculpe por ela, aliás, era só uma brincadeira) é que sem analisar algum histórico de interação vai ser difícil detectar algo. A não ser que você faça como as respostas que você tem já sugerem, e ignore origens sabidamente de bots. São soluções muito boas, mas não necessarimaente infalíveis. :) Commented 31/05/2016 às 1:40

2 Respostas 2

2

Eu acho que a única maneira eficaz é usando Captcha, outras maneiras são fáceis de burlar.

Existem boas maneiras de estimar o número de visitantes, um exemplo é o view count do SO, mas mesmo esse método pode ser burlado com bots distribuídos ou usando Proxy.

1
  • Essa resposta era inicialmente um comentário, mas, se não tiver nada melhor, acho que ela já é boa para te indicar um caminho pra pesquisar mais. Commented 30/05/2016 às 19:58
1

Uma maneira de fazer isso, é criando regras no .htaccess, que impeçam alguns agentes conhecidos que são robôs, daí você teria que ter uma lista completa ou buscar uma lista complexa destes agentes:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} facebookexternalhit [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Twitterbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MetaURI [NC,OR]
RewriteCond %{HTTP_USER_AGENT} mediawords [NC,OR]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy [NC]
RewriteCond %{REQUEST_URI} !\/sem_crawler.htm
RewriteRule .* http://seusite.com.br/sem_crawler.htm [L]

Outra maneira é fazendo uso do PHP:

<?php 
class CrawlerDetect
{
   //lista de robôs
  private $agentsInvalids = array(
    'Google'=>'Google',
    'MSN' => 'msnbot',
    'Rambler'=>'Rambler',
    'Yahoo'=> 'Yahoo',
    'AbachoBOT'=> 'AbachoBOT',
    'accoona'=> 'Accoona',
    'AcoiRobot'=> 'AcoiRobot',
    'ASPSeek'=> 'ASPSeek',
    'CrocCrawler'=> 'CrocCrawler',
    'Dumbot'=> 'Dumbot',
    'FAST-WebCrawler'=> 'FAST-WebCrawler',
    'GeonaBot'=> 'GeonaBot',
    'Gigabot'=> 'Gigabot',
    'Lycos spider'=> 'Lycos',
    'MSRBOT'=> 'MSRBOT',
    'Altavista robot'=> 'Scooter',
    'AltaVista robot'=> 'Altavista',
    'ID-Search Bot'=> 'IDBot',
    'eStyle Bot'=> 'eStyle',
    'Scrubby robot'=> 'Scrubby',
    ...
    );
//lista de navegadores válidos
private $agentsValids = array(
    'Mozilla' => 'Mozilla',
    'Chrome'  => 'Chrome',
    'Safari'  => 'Safari',
    'Opera'   => 'Opera',
     ...
);


public function __construct($USER_AGENT)
{
    $invalids =  implode('|',$this->agentsInvalids);
    $valids =  implode('|',$this->agentsValids);
    /* aqui você escolhe como prefere,
    acredito que basta testar uma única lista */
    if (strpos($invalids, $USER_AGENT) !== false ||
        strpos($valids, $USER_AGENT) === false) {
       return true;
    } else {
       return false;
    }
}

//verifica o navegador

$crawler = new CrawlerDetect($_SERVER['HTTP_USER_AGENT']);

//se for robô ele verifica
if ($crawler) {
  echo "acesso inválido!";
} else {
  echo "acesso válido!"; 
}

Neste site tem uma lista completa ou próxima disso, que mostra uma listas completa de brownsers e Crawlers.

3
  • Meu problema é com outros tipos de bots. Google, Yahoo, Facebook tem um HTTP_USER_AGENT unico, ja os usando com o HitLeap o HTTP_USER_AGENT é como de um usuario comum. Google=> Mozilla/5.0 (compatible; Googlebot/2.1; +google.com/bot.html) Usuario comum e usuarios com HitLeap => Mozilla/5.0 (Linux; Android 4.4.4; SM-G530BT Build/KTU84P) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/33.0.0.0 Mobile Safari/537.36 [FB_IAB/FB4A;FBAV/77.0.0.20.66;] É muito facil identificar um bot de um indexador, agora esses criados pelos proprios usuarios ja não sei como.
    – Helmesvs
    Commented 31/05/2016 às 0:46
  • Então por que você não indexa somente os permitidos, assim barra todos os outros. Veja que publiquei o endereço do site que tem navegadores comuns. Commented 31/05/2016 às 18:41
  • Uma maneira de você evitar BOTS é obtendo informações pessoais, não existem maneiras melhores que esta. Outra forma é você obter um raciocínio lógico do usuário, ou seja, criar algo que só um usuário poderia acessar. Commented 31/05/2016 às 18:45

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .