13

Resumo

    Para resumir tudo que eu falei aqui embaixo, eu preciso abrir o Whatsapp Web ler o QR Code e salvar os cookies para que na próxima inicialização do Selenium eu não precise ler o QR Code novamente.
    Eu encontrei uma solução utilizando profile, a ideia é boa, mas preciso de algo escalável, e os cookies seriam a melhor opção.

O início da grande jornada

Eu consigo pegar alguns cookies em uma determinada página, mas em outra não, existe "tipo" de cookie diferente?

Estou utilizando o seguinte código para salvar os cookies:

import pickle
import selenium.webdriver 

driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"))

E este outro para carregar os cookies:

import pickle
import selenium.webdriver 

driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
    driver.add_cookie(cookie)

Fonte: How to save and load cookies using python selenium webdriver.

Da forma que esta funciona perfeitamente com o Google, mas o que eu preciso é pegar os cookies do Whatsapp Web. A princípio pensei que poderia ser por causa do tempo, já que os cookies são criados somente depois que o QR Code é lido, mas coloquei um time de 20 segundos, tempo suficiente para leitura, mas mesmo assim não funcionou:

import pickle
import selenium.webdriver
import time

driver = selenium.webdriver.Firefox()
driver.get("https://web.whatsapp.com/")
time.sleep(20)
pickle.dump(driver.get_cookies(), open("cookies.pkl", "wb"))

E os cookies são criados, já verifiquei no navegador:

inserir a descrição da imagem aqui

Eu não estou entendendo porque que ele consegue pegar no Google e no Whatsapp Web não. Existe algum tipo de cookie protegido ou diferente? Se tem como posso pega-lo? O que eu estou precisando é iniciar o Firefox com o QR Code já lido, a ideia é pegar o cookie na primeira inicialização e nas outras "exporta" este cookie para não precisar ler de novo já que o Selenium inicializa um navegador limpo.

Update 1 - A esperança no JavaScript

Fiz um novo teste utilizando um script JavaScript.

Utilizei o seguinte script:

var getCookies = function(){
  var pairs = document.cookie.split(";");
  var cookies = {};
  for (var i=0; i<pairs.length; i++){
    var pair = pairs[i].split("=");
    cookies[pair[0]] = unescape(pair[1]);
  }
  return cookies;
}

return getCookies();

Obs: Este 'return' é para o Selenium conseguir pegar o retorno do script.

Fonte: I need to get all the cookies from the browser

Assim eu faço o Selenium executar este script e pegar o resultado:

import selenium.webdriver
import os
from pprint import pprint
import time

driver = selenium.webdriver.Firefox()
driver.get("https://web.whatsapp.com/")
#driver.get("https://www.google.com/")

time.sleep(20)
print 'Pegando os cookies'

script_path = os.path.dirname(os.path.abspath(__file__))
script = open(os.path.join(script_path, "js_scripts/get_all_cookies.js"), "r").read()
cookies = driver.execute_script(script)
pprint(cookies)

print 'Pegou!'

Utilizando o Whatsapp o resultado é (cmd):

Pegando os cookies
{u'': u'undefined'}
Pegou!

E quando eu utilizo o Google o resultado é (cmd):

Pegando os cookies
{u'1P_JAR': u'2017-11-21-12'}
Pegou!

Será que há algum tipo de bloqueio, ou algum tipo de cookie diferente como falei anteriormente? Eu consigo ver o conteúdo dele nas configurações do Firefox:

Cookie 1: inserir a descrição da imagem aqui

Cookie 2: inserir a descrição da imagem aqui

É possível pegar estes cookies de alguma forma, ou guardar esta sessão para não precisar fazer a leitura do QR Code novamente?

Update 2 - Profile, uma solução não escalável

Cheguei perto de uma solução, não sei se isso vai ajudar, mas de qualquer forma vou postar:

import selenium.webdriver
from selenium.webdriver.firefox.webdriver import FirefoxProfile
profile = FirefoxProfile('C:\Users\meu_usuario\AppData\Roaming\Mozilla\Firefox\Profiles\oedq4f8r.default')
driver = selenium.webdriver.Firefox(firefox_profile=profile)
driver.get("https://web.whatsapp.com/")

O que este código faz, ele pega o profile default e abre o Firefox com ele, então se eu ler o QR Code antes, e mando o Selenium abrir funciona, mas se eu ler o QR Code com o Selenium e abro de novo não funciona, ou seja de alguma forma o Selenium não consegue salvar os cookies no profile/sessão.

Update 3 - Os cookies estão protegidos?

Estava verificando os cookies, reparei que os que eu consigo pegar tem a seguinte descrição em "enviar" "Qualquer tipo de conexão", enquanto os que eu não consigo pegar esta assim "Só conexões criptografadas".

inserir a descrição da imagem aqui

Update 4 - Será que é possível acessar estes cookies?

Instrui o navegador para nunca enviar o cookie sob uma requisição HTTP sem que esta esteja em um canal de comunicação cifrado. O cookie só pode ser enviado através de HTTPS. Isso funciona mesmo se o usuário digitar manualmente um pedido de HTTP. A solicitação HTTP será enviada, mas o navegador não enviará quaisquer cookies marcados como "seguro". Esta medida visa minimizar o cenário no qual um usuário malicioso induz a vítima a realizar uma requisição HTTP, o que poderá permitir a captura do cookie de sessão da vítima. Tal captura pode ser feita através de ferramentas que analisam o tráfego de rede, como sniffers ou através do log de acesso da aplicação.

Ou seja se eu estive utilizando uma comunicação http eu não vou conseguir pegar estes cookies, não sei como funciona o acesso do drive do Selenium, a princípio achei que era realmente como um drive de hardware, servido apenas como uma ponte, mas quando eu fui utilizar o drive para o Chrome ele parecia um endereço local HTTP com uma porta, será que existe alguma forma de acessar utilizando HTTPS? Seria diferente a comunicação do Google Chrome e do Firefox, pois ao rodar o drive do Firefox esta informação não aparece.

Update 5 - Como funciona esta proteção?

Fiz mais alguns teste, pensei, vou criar um cookie secure, assim vou ter a certeza que é isso, mas ai me vem a surpresa, ele consegue pegar o cookie secure que eu criei, mas não consegue pegar qualquer cookie com o valor encriptado (pelo menos eu acho que esta encriptado, vou mostrar aqui as imagens).

Executei o seguinte código no Python:

#!/usr/bin/env python2
import selenium.webdriver
from pprint import pprint
import os


def prepara_script(nome_script):
    try:
        script_path = os.path.dirname(os.path.abspath(__file__))
    except NameError:
        script_path = os.getcwd()
    return open(os.path.join(script_path, nome_script + ".js"), "r").read()

os.system('cls')
driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
script = prepara_script("get_cookies")
Store = driver.execute_script(script)
pprint(Store)

O JavaScript usado foi este:

var getCookies = function(){
  var pairs = document.cookie.split(";");
  var cookies = {};
  for (var i=0; i<pairs.length; i++){
    var pair = pairs[i].split("=");
    cookies[pair[0]] = unescape(pair[1]);
  }
  return cookies;
}
document.cookie = "tagname = test;secure";
var cookies = getCookies();
console.log(cookies);
console.log(document.cookie);

Resultado no console:

inserir a descrição da imagem aqui

Cookies do navegador:

Cookie 1
inserir a descrição da imagem aqui

Cookie 2
inserir a descrição da imagem aqui

Cookie 3
inserir a descrição da imagem aqui

Cookie 4
inserir a descrição da imagem aqui

Como vocês podem ver, todos os cookies com o valor encriptado eu não consigo pegar, fiz este teste utilizando o Google, já que para fazer testes utilizando o Whatsapp Web eu tenho que ler em todo momento o QR Code.

Update 6 - O retorno do Update 4

"Será que é possível acessar estes cookies?"

Também existem os supercookies extremamente invasivos. A operadora americana Verizon é uma das companhias que está apoiando esse tipo de rastreamento. Esses cookies são inseridos ao nível do ISP (Provedor de Serviço Internet), então eles não ficam na sua máquina, mas identificam os sites que você visita. Por eles estarem no nível ISP e não no nível PC é impossível erradicá-los rapidamente apagando o seu histórico. Depois de uma checada do FCC (órgão regulamentar dos EUA, equivalente à Anatel) ano passado, os supercookies da Verizon agora são opcionais e mais fáceis de configurar pelos usuários.

Eu consigo pelo menos saber se estes cookies que estou tentando pegar é um "supercookie"?

Fonte: http://gizmodo.uol.com.br/guia-completo-cookies-navegadores/

1
  • Parabéns pelo detalhe de sua pergunta. De acordo com meus testes, os cookies tok e ref ficam armazenados no path /pp e o selenium.get_cookies(), por alguma razão, não retorna cookies em paths diferentes de /. Se na janela aberta você editar os cookies gerados pelo web.whatsapp.com para que o path seja /, o get_cookies retorna esses cookies. Commented 15/07/2018 às 0:13

1 Resposta 1

4
+50

Isso é um cookie HTTP(S) Only, ou seja, ele não pode ser acessado via javascript.

Para pegar ele, você pode acessar os cabeçalhos HTTP da requisição. Eu uso para isso a lib em python seleninum-requests, que é parecida com a lib requests do Python.

from seleniumrequests import Firefox
webdriver = Firefox()

response = webdriver.request('GET', 'https://www.google.com/')
print (response.cookies)

Mas testando no web.whatsapp.com, realmente não pega nenhum cookie, porque o web.whatsapp.com não envia nenhum cookie, pelo menos não via HTTP. O que significa que ele só pode estar setando isso no Javascript.

Dando uma olhada nos códigos javascript procurando por Cookie, descobri um dos métodos de uma classe javascript chamado setRefTokCookies. O método está minificado, mas eu dei uma formatada nele e ele ficou assim:

setRefTokCookies:function(e, p){
    d.setCookie({
        name:g.COOKIE_REF,
        value:e,
        path:g.PP_REF,
        domain:g.COOKIE_DOMAIN,
        secure:!0
    });

    var n={
        name:g.COOKIE_TOK,
        value:p,
        path:g.PP_TOK,
        domain:g.COOKIE_DOMAIN,
        secure:!0
    };
    d.setCookie(n)
}

Opa, agora ficou interessante. Esse método seta 2 cookies, sendo o nome de um vindo da constante COOKIE_REF e o outro vindo da constante COOKIE_TOK. Bem parecidas com os nomes dos cookies armazenados, né?

Agora temos que descobrir quem é o valor p e e passados pra esse método. O problema é que, como o código está minificado, não é trivial entender ele.

Olhando com calma esse código, para ver se descobria o nome da classe desse método, eu percebi que ele sempre fazia um teste antes de continuar chamando o restante do código. Esse teste é:

if (!Store.Conn.me)
    return r.error("userPrefs: Me has not loaded yet.")

Bacana. Temos um cara agora chamado Store, global, que parece ter dados interessantes e é usado pela nossa classe de interesse. Abrindo o Developer Toolbar na pagina do https://web.whatsapp.com e analisando o conteúdo do objeto Store.Conn, temos uma agradável surpresa. 2 variáveis contem o conteúdo exato desses 2 tokens, são elas Store.Conn.__x_ref e Store.Conn.__x_serverToken. Sabendo isso, fazer o código que pega essas informações fica trivial:

import selenium.webdriver

driver = selenium.webdriver.Firefox()
driver.get("https://web.whatsapp.com/")

driver.execute_script('console.log(Store.Conn.__x_ref);')
driver.execute_script('console.log(Store.Conn.__x_serverToken)')

Depois de passado o QR Code, ele traz os valores iguais aos dos cookies.

ps: Existem outros dados interessantes de autenticação nessa Store.Conn, talvez o mais interessante seja salvar ele inteiro e depois apenas reatributir o conteúdo na Store.Conn, já que essa variável é global.

2
  • Funcionou para pegar a informação, mas não conseguir setar para deixar logado, já que esta acabando o tempo da recompensa vou atribuir a você, já que foi genial a sua resposta, obrigado pelo esforço em me ajudar Commented 7/12/2017 às 10:28
  • ótima resposta! especialmente pelas dicas de executar javascript no selenium :-) Commented 15/07/2018 às 0:14

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .