1

Estou precisando criar uma função no python que consiga criar um click segurando-o enquanto um segundo click é iniciado e terminado durante a duração do primeiro.

Utilizando o mouse, isso não é possível, porém, quando é utilizado o touchscreen, é possível.

Imagine que enquanto seguro a tecla W, quero que mantenha clicado na posição 100,100 e enquanto seguro a tecla A, mantenha clicado a posição 200,200.

Tentei criar uma versão no pyxhook e pyautogui, mas não é possível paralelizar clicks.

def OnKeyboardUpEvent(event):

    #Verifica se a tecla W foi solta
    if (event.ScanCode == 25):
        pyautogui.mouseUp()

    #Verifica se a tecla A foi solta
    elif (event.ScanCode == 38):
        pyautogui.mouseUp()

def OnKeyboardDownEvent(event):

    #Verifica se a tecla W foi pressionada
    if (event.ScanCode == 25): #Tecla S
        pyautogui.mouseDown(100,100)

    #Verifica se a tecla A foi pressionada
    elif (event.ScanCode == 38): #Tecla A
        pyautogui.mouseDown(200,200)

hookman = pyxhook.HookManager()
hookman.KeyUp = self.OnKeyboardUpEvent
hookman.KeyDown = self.OnKeyboardDownEvent
hookman.HookKeyboard()
hookman.start()

Eu imagino que utilizando o pyautogui não seja possível realizar o processo dessa forma, mas que talvez exista alguma biblioteca (imagino que para simular toques touch screen) que conseguiria criar essa função 100% paralelizável, vocês sabem se exite alguma biblioteca que consiga fazer este controle?

Obs: Estou utilizando linux (Arch Linux)

2
  • Dê uma olhada no módulo "puautogui", você consegue simular clique de mouse, clicar e arrastar, digitação... pyautogui.readthedocs.io/en/latest 2/12/2019 às 11:29
  • @HugoSalvador, o problema é que não dá para fazer cliques em paralelo
    – Eric Gomes
    2/12/2019 às 18:49

1 Resposta 1

0

de fato, Pyautogui não tem APIs para simular multi-touch. O frmework Kivy tem APIs para receber e gerenciar multi-touch - mas não para enviar eventos.

resumo - fiz uma pesquisa com o caminho detalhado abaixo, e a coisa pode ser que seja tão simples quando copiar, no seu código, as funções abaixo do Pyautogui, e colocar a mais o parâmetro detail que você recebe e enviar o id do "touch" desejado nesse parâmetro. As funções estão aqui - já as coloco com as alteraçoes sugeridas para você:

https://github.com/asweigart/pyautogui/blob/737192e18878aa81d922b592c99e32073aee0f54/pyautogui/_pyautogui_x11.py#L84


from Xlib.display import Display
from Xlib import X
from Xlib.ext.xtest import fake_input

_display = _display = Display(os.environ['DISPLAY'])


def moveTo(x, y, detail=0):
    fake_input(_display, X.MotionNotify, x=x, y=y, detail=detail)
    _display.sync()


def mouseDown(x, y, button, detail=0):
    moveTo(x, y, detail=detail)
    button = BUTTON_NAME_MAPPING[button]
    fake_input(_display, X.ButtonPress, button, detail=detail)
    _display.sync()


def mouseUp(x, y, button, detail=0):
    moveTo(x, y, detail=detail)
    button = BUTTON_NAME_MAPPING[button]
    fake_input(_display, X.ButtonRelease, button, detail=detail)
    _display.sync()

pesquisa até aqui

Eu acho que o único caminho que você vai ter vai ser pegar o código fonte da Py-auto-gui, e verificar lá dentro como ele faz para enviar eventos de mouse em sistemas X11, e aí, explorar as bibliotecas que ele mesmo chama e verificar se existem chamadas para multi-touch.

O arquivo do Pyautogui é esse aqui: https://github.com/asweigart/pyautogui/blob/master/pyautogui/_pyautogui_x11.py

Dá par ver que ele usa a Xlib (wrappers de Python) - que tem o código aqui:

https://github.com/python-xlib/python-xlib


BOm, continuando a análise - nao é algo simples, mas basicamente essas chamadas a Xlib deixam você passar um "detail" para a chamada de "clique" - e esse detail é o "touchID" - um valor usado internamente pelo driver de cada dispositivo multi-touch para o primeiro, segundo, terceiro... toques no disposivo - Acredito que não haja motivos para esse "detail" ser diferente deuma numeração sequêncial - "0, 1, 2..." (detalhe que não achei documentação sobre isso - no código fonte da Xlib mesmo, em C, dá pra ver que ele pega esse touchid a partir do event->detail): https://github.com/ec1oud/multitouch-xinput/blob/6df6739f5557e72ef9ac87304e12e7dc27e651a9/multitouch.c#L299

Então agora vocẽ tem que entender como criar os touchs com eventos de click manualmente e chamar essa função Xlib.ext.xtest.fake_input com os dados necessários para criar os eventos (dica - use o código do pyautogui, no primeiro link acima, para criar funçoes práticas que chamem o fake_input sem você precisar passar todos os parâmetros, toda vez). Então, você chama o fake_input com eventos de "ButtonPress, ButtonRelease e MotionNotify", passando no campo "detail" o ID de qual "ponto" do multi-touch você está acessando. Note que ele já aceita o "detail" como parâmetro - então talvez seja até simples.

Como não tenho um setup simples para receber eventos multi-touch e fazer alguns testes, não tenho como colocar algum código de teste aqui -

-- E, fique sabendo que você vai estar fazendo um trabalho mais ou menos pioneiro -- Quando estiver funcionando, vai valer a pena você escrever um post sobre isso - e, de um toque (pode ser num comentário aqui), se funcionar - de repente podemos enviar um PR para o Pyautogui .

1
  • Nossa, esperava algo mais imples (embora não tenha achado nada na pesquisa inicial que fiz. De qualquer forma, obrigado pela excelente resposta! Vou ver com carinho isso!
    – Eric Gomes
    2/12/2019 às 18:51

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .