3

Queria saber se tem como diferenciar o click do java.awt.Robot do click do mouse...

Preciso saber se foi o Robot que clicou ou se foi o mouse.

5
  • 3
    a que nivel você está falando, um bot que controla o mouse, ou um programa que manda requests automaticamente ?, pode descrever onde você quer usar isso e com qual finalidade ? 19/02/2015 às 18:07
  • Talvez teria que partir de alguns princípios que somente um usuário faria, um robot apenas pega o elemento DOM por código e clica nele, já um usuário passa o mouse por cima (hover, move) e dá o click, uma validação de eventos combinados. 19/02/2015 às 18:17
  • Qual o motivo dessa verificação? Talvez exista alguma alternativa melhor. 19/02/2015 às 18:27
  • 2
    A sua pergunta tinha originalmente "Java" no título e "javascript" na tag. Como você está falando de Robot, que não tem sentido em javascript, eu editei a sua pergunta e arrumei a tag para evitar de confundir os demais usuários. 19/02/2015 às 18:34
  • Quero que quando o robot clique faça uma ação diferente de quando é click do mouse
    – pauloabr
    19/02/2015 às 23:19

1 Resposta 1

4

Não tenho plena certeza disso, mas a classe java.awt.Robot deve inserir eventos de clique na fila do sistema operacional. Tanto que você pode utilizá-lo para clicar em outros programas, arrastar-e-soltar na área de trabalho ou qualquer coisa assim. Com isso, a única forma de poder diferenciar isso seria se você fuçasse nas entranhas do sistema operacional, e portanto não espere que o código seja portável.

Mas não dá para tentar mesmo assim usando apenas código java? Bem, eu tentei e cheguei a conclusão que não dá, pelo menos não com 100% de certeza. Eis o código do que tentei:

import java.awt.AWTException;
import java.awt.EventQueue;
import java.awt.MouseInfo;
import java.awt.Robot;
import java.awt.event.ActionEvent;
import java.awt.event.InputEvent;
import java.awt.event.MouseEvent;
import java.awt.event.MouseListener;
import java.awt.event.MouseMotionListener;
import java.awt.event.MouseWheelEvent;
import java.awt.event.MouseWheelListener;
import java.lang.reflect.InvocationTargetException;
import java.util.concurrent.atomic.AtomicBoolean;
import javax.swing.JButton;
import javax.swing.JFrame;

/**
 * @author Victor
 */
public class DetectRobot {
    public static void main(String[] args) {
        EventQueue.invokeLater(DetectRobot::go);
    }

    private static void go() {
        try {
            Mouser m = new Mouser();
            Robot r = new Robot();
            JFrame jf = new JFrame("Teste");
            JButton jb = new JButton("Clique aqui");
            jb.addActionListener(DetectRobot::clicked);
            jb.addMouseListener(m);
            jb.addMouseWheelListener(m);
            jb.addMouseMotionListener(m);
            jf.add(jb);
            jf.setBounds(10, 10, 250, 250);
            jf.setDefaultCloseOperation(JFrame.DISPOSE_ON_CLOSE);
            jf.setVisible(true);
            Thread t = new Thread(() -> clicker(jf, r));
            t.start();
        } catch (AWTException e) {
            throw new RuntimeException(e);
        }
    }

    private static void clicker(JFrame jf, Robot r) {
        Thread t = Thread.currentThread();
        try {
            while (!Thread.interrupted()) {
                Thread.sleep(5000);
                System.out.println("Robo clicando");
                EventQueue.invokeAndWait(() -> {
                    if (jf.isDisplayable()) {
                        r.mouseMove(150, 150);
                        r.mousePress(InputEvent.BUTTON1_DOWN_MASK);
                    } else {
                        t.interrupt();
                    }
                });
                Thread.sleep(50);
                EventQueue.invokeAndWait(() -> {
                    r.mouseRelease(InputEvent.BUTTON1_DOWN_MASK);
                    if (!jf.isDisplayable()) t.interrupt();
                });
                Thread.sleep(50);
                System.out.println("Robo terminou");
            }
        } catch (InterruptedException e) {
            // Ignora e deixa a Thread morrer naturalmente.
        } catch (InvocationTargetException ex) {
            ex.printStackTrace();
        }
    }

    private static void clicked(ActionEvent e) {
        log(e);
    }

    // Para simplificar a saída do log. Não precisamos mostrar no System.out qual foi o JButton clicado, apenas os eventos.
    private static void log(Object x) {
        String a = x.toString();
        int i = a.indexOf(" on javax.swing.JButton[");
        System.out.println(a.substring(0, i));
    }

    private static class Mouser implements MouseListener, MouseMotionListener, MouseWheelListener {

        @Override
        public void mouseClicked(MouseEvent e) {
            log(e);
        }

        @Override
        public void mousePressed(MouseEvent e) {
            log(e);
        }

        @Override
        public void mouseReleased(MouseEvent e) {
            log(e);
        }

        @Override
        public void mouseEntered(MouseEvent e) {
            log(e);
        }

        @Override
        public void mouseExited(MouseEvent e) {
            log(e);
        }

        @Override
        public void mouseDragged(MouseEvent e) {
            log(e);
        }

        @Override
        public void mouseMoved(MouseEvent e) {
            log(e);
        }

        @Override
        public void mouseWheelMoved(MouseWheelEvent e) {
            log(e);
        }
    }
}

Eis o resultado:

Robo clicando
java.awt.event.MouseEvent[MOUSE_ENTERED,(132,109),absolute(150,150),button=0,clickCount=0]
java.awt.event.MouseEvent[MOUSE_MOVED,(132,109),absolute(150,150),clickCount=0]
java.awt.event.MouseEvent[MOUSE_PRESSED,(132,109),absolute(150,150),button=1,modifiers=Button1,extModifiers=Button1,clickCount=1]
java.awt.event.ActionEvent[ACTION_PERFORMED,cmd=Clique aqui,when=1424373236982,modifiers=Button1]
java.awt.event.MouseEvent[MOUSE_RELEASED,(132,109),absolute(150,150),button=1,modifiers=Button1,clickCount=1]
java.awt.event.MouseEvent[MOUSE_CLICKED,(132,109),absolute(150,150),button=1,modifiers=Button1,clickCount=1]
Robo terminou
Robo clicando
java.awt.event.MouseEvent[MOUSE_PRESSED,(132,109),absolute(150,150),button=1,modifiers=Button1,extModifiers=Button1,clickCount=1]
java.awt.event.ActionEvent[ACTION_PERFORMED,cmd=Clique aqui,when=1424373242084,modifiers=Button1]
java.awt.event.MouseEvent[MOUSE_RELEASED,(132,109),absolute(150,150),button=1,modifiers=Button1,clickCount=1]
java.awt.event.MouseEvent[MOUSE_CLICKED,(132,109),absolute(150,150),button=1,modifiers=Button1,clickCount=1]
Robo terminou
Robo clicando
java.awt.event.MouseEvent[MOUSE_PRESSED,(132,109),absolute(150,150),button=1,modifiers=Button1,extModifiers=Button1,clickCount=1]
java.awt.event.ActionEvent[ACTION_PERFORMED,cmd=Clique aqui,when=1424373247185,modifiers=Button1]
java.awt.event.MouseEvent[MOUSE_RELEASED,(132,109),absolute(150,150),button=1,modifiers=Button1,clickCount=1]
java.awt.event.MouseEvent[MOUSE_CLICKED,(132,109),absolute(150,150),button=1,modifiers=Button1,clickCount=1]
Robo terminou
java.awt.event.MouseEvent[MOUSE_MOVED,(132,108),absolute(150,149),clickCount=0]

... Mais um monte de eventos MOUSE_MOVED disparados praticamente ao mesmo tempo, a medida que eu ia movendo o mouse ...

java.awt.event.MouseEvent[MOUSE_MOVED,(192,21),absolute(210,62),clickCount=0]
java.awt.event.MouseEvent[MOUSE_PRESSED,(192,21),absolute(210,62),button=1,modifiers=Button1,extModifiers=Button1,clickCount=1]
java.awt.event.ActionEvent[ACTION_PERFORMED,cmd=Clique aqui,when=1424373250075,modifiers=Button1]
java.awt.event.MouseEvent[MOUSE_RELEASED,(192,21),absolute(210,62),button=1,modifiers=Button1,clickCount=1]
java.awt.event.MouseEvent[MOUSE_CLICKED,(192,21),absolute(210,62),button=1,modifiers=Button1,clickCount=1]
java.awt.event.MouseEvent[MOUSE_MOVED,(191,25),absolute(209,66),clickCount=0]

... Mais um monte de eventos MOUSE_MOVED disparados praticamente ao mesmo tempo, a medida que eu ia movendo o mouse ...

java.awt.event.MouseEvent[MOUSE_MOVED,(159,67),absolute(177,108),clickCount=0]
java.awt.event.MouseEvent[MOUSE_PRESSED,(159,67),absolute(177,108),button=1,modifiers=Button1,extModifiers=Button1,clickCount=1]
java.awt.event.ActionEvent[ACTION_PERFORMED,cmd=Clique aqui,when=1424373250629,modifiers=Button1]
java.awt.event.MouseEvent[MOUSE_RELEASED,(159,67),absolute(177,108),button=1,modifiers=Button1,clickCount=1]
java.awt.event.MouseEvent[MOUSE_CLICKED,(159,67),absolute(177,108),button=1,modifiers=Button1,clickCount=1]
java.awt.event.MouseEvent[MOUSE_PRESSED,(159,67),absolute(177,108),button=1,modifiers=Button1,extModifiers=Button1,clickCount=2]
java.awt.event.ActionEvent[ACTION_PERFORMED,cmd=Clique aqui,when=1424373251059,modifiers=Button1]
java.awt.event.MouseEvent[MOUSE_RELEASED,(159,67),absolute(177,108),button=1,modifiers=Button1,clickCount=2]
java.awt.event.MouseEvent[MOUSE_CLICKED,(159,67),absolute(177,108),button=1,modifiers=Button1,clickCount=2]
java.awt.event.MouseEvent[MOUSE_PRESSED,(159,67),absolute(177,108),button=1,modifiers=Button1,extModifiers=Button1,clickCount=3]
java.awt.event.ActionEvent[ACTION_PERFORMED,cmd=Clique aqui,when=1424373251309,modifiers=Button1]
java.awt.event.MouseEvent[MOUSE_RELEASED,(159,67),absolute(177,108),button=1,modifiers=Button1,clickCount=3]
java.awt.event.MouseEvent[MOUSE_CLICKED,(159,67),absolute(177,108),button=1,modifiers=Button1,clickCount=3]
java.awt.event.MouseEvent[MOUSE_MOVED,(160,66),absolute(178,107),clickCount=0]

... Mais um monte de eventos MOUSE_MOVED disparados praticamente ao mesmo tempo, a medida que eu ia movendo o mouse ...

java.awt.event.MouseEvent[MOUSE_MOVED,(228,0),absolute(246,41),clickCount=0]
java.awt.event.MouseEvent[MOUSE_EXITED,(230,-1),absolute(248,40),button=0,clickCount=0]
Robo clicando
java.awt.event.MouseEvent[MOUSE_ENTERED,(132,109),absolute(150,150),button=0,modifiers=Button1,extModifiers=Button1,clickCount=0]
java.awt.event.MouseEvent[MOUSE_MOVED,(132,109),absolute(150,150),clickCount=0]
java.awt.event.MouseEvent[MOUSE_RELEASED,(132,109),absolute(150,150),button=1,modifiers=Button1,clickCount=3]
Robo terminou
java.awt.event.MouseEvent[MOUSE_MOVED,(131,109),absolute(149,150),clickCount=0]

... Mais um monte de eventos MOUSE_MOVED disparados praticamente ao mesmo tempo, a medida que eu ia movendo o mouse ...

java.awt.event.MouseEvent[MOUSE_MOVED,(198,1),absolute(216,42),clickCount=0]
java.awt.event.MouseEvent[MOUSE_EXITED,(199,-1),absolute(217,40),button=0,clickCount=0]

Observe que não há forma simples de distinguir os eventos do Robot dos eventos do usuário. O melhor que acho que dá para fazer é verificar se o mouse está "pulando" e não "andando". Para fazer isso, você pode rastrear a posição do mouse usando java.awt.MouseInfo.getPointerInfo().getLocation(), que fornece a posição do mouse no dispositivo gráfico aonde ele está e java.awt.MouseInfo.getPointerInfo().getDevice() para dizer qual é o dispositivo gráfico aonde ele está (importante se houver mais do que um monitor). Com isso, não é difícil detectar se o mouse está "pulando" e não "andando" e se ele clicar logo após o pulo, provavelmente foi um Robot. Mas obviamente isso não resolve diretamente o problema, pois pode ser contornado por um Robot que faça o mouse andar e não pular e não resolve o caso do mouse ser clicado sem que seja movido.

Também é possível buscar outros padrões de comportamento típicos de robôs, como sempre clicar na exata mesma posição, sempre mover o mouse com um mesmo padrão, sempre ter um mesmo intervalo ou duração de cliques ou qualquer coisa assim. Mas apenas usando o java, sem entrar dentro das entranhas do sistema operacional, não acho que o que você queira é possível com 100% de garantia.

O principal problema aqui é que a intenção do Robot é exatamente a de se passar pelo usuário usando o computador. Ou seja, uma das finalidades dele é exatamente a de ser indistinguível a de um usuário operando o sistema, mas o que você precisa é exatamente distinguí-los!

Entretanto, se você tiver acesso ao código do Robot (ou para ser mais preciso, da classe que controla o Robot), então o problema se torna fácil. Observe aqueles System.out.println("Robo clicando"); e System.out.println("Robo terminou");, se o seu controlador do Robot avisar de alguma forma a sua aplicação que ele vai dar um clique, então a sua aplicação saberá que o clique que logo se seguir veio do Robot e não do usuário.

5
  • A nivel kernel, sei que você pode saber o pid tid do processo que está utilizando uma operação de entrada ou saída em um determinado momento, então não seria possível pesquisar quem estava controlando esse dispositivo nesse intervalo ? 19/02/2015 às 20:10
  • @IsvaldoFernandes Não sei, mas se você puder elaborar uma resposta em cima disso, siga em frente, eu adoraria saber isso. Talvez dê para "sentir o cheiro de um robô" se você detectar que algum processo inesperado mexeu com o mouse no nível do sistema operacional. :) 19/02/2015 às 20:16
  • Obrigado por comentar, deve ter dado trabalho para fazer este comentario... mas quero que quando o robot clique faça uma ação diferente de quando é click do mouse
    – pauloabr
    19/02/2015 às 23:24
  • @paulobr Acrescentei dois parágrafos no final da minha resposta. 19/02/2015 às 23:55
  • Já consegui arrumar, só mudei as preferencias, acho que consegui, a classe robot editada ta funcionando, agora tenho que fazer o sistema pra detectar...
    – pauloabr
    20/02/2015 às 0:16

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .