Resumo
Para resumir tudo que eu falei aqui embaixo, eu preciso abrir o Whatsapp Web ler o QR Code e salvar os cookies para que na próxima inicialização do Selenium eu não precise ler o QR Code novamente.
Eu encontrei uma solução utilizando profile, a ideia é boa, mas preciso de algo escalável, e os cookies seriam a melhor opção.
O início da grande jornada
Eu consigo pegar alguns cookies em uma determinada página, mas em outra não, existe "tipo" de cookie diferente?
Estou utilizando o seguinte código para salvar os cookies:
import pickle
import selenium.webdriver
driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"))
E este outro para carregar os cookies:
import pickle
import selenium.webdriver
driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
driver.add_cookie(cookie)
Fonte: How to save and load cookies using python selenium webdriver.
Da forma que esta funciona perfeitamente com o Google, mas o que eu preciso é pegar os cookies do Whatsapp Web. A princípio pensei que poderia ser por causa do tempo, já que os cookies são criados somente depois que o QR Code é lido, mas coloquei um time de 20 segundos, tempo suficiente para leitura, mas mesmo assim não funcionou:
import pickle
import selenium.webdriver
import time
driver = selenium.webdriver.Firefox()
driver.get("https://web.whatsapp.com/")
time.sleep(20)
pickle.dump(driver.get_cookies(), open("cookies.pkl", "wb"))
E os cookies são criados, já verifiquei no navegador:
Eu não estou entendendo porque que ele consegue pegar no Google e no Whatsapp Web não. Existe algum tipo de cookie protegido ou diferente? Se tem como posso pega-lo? O que eu estou precisando é iniciar o Firefox com o QR Code já lido, a ideia é pegar o cookie na primeira inicialização e nas outras "exporta" este cookie para não precisar ler de novo já que o Selenium inicializa um navegador limpo.
Update 1 - A esperança no JavaScript
Fiz um novo teste utilizando um script JavaScript.
Utilizei o seguinte script:
var getCookies = function(){
var pairs = document.cookie.split(";");
var cookies = {};
for (var i=0; i<pairs.length; i++){
var pair = pairs[i].split("=");
cookies[pair[0]] = unescape(pair[1]);
}
return cookies;
}
return getCookies();
Obs: Este 'return' é para o Selenium conseguir pegar o retorno do script.
Fonte: I need to get all the cookies from the browser
Assim eu faço o Selenium executar este script e pegar o resultado:
import selenium.webdriver
import os
from pprint import pprint
import time
driver = selenium.webdriver.Firefox()
driver.get("https://web.whatsapp.com/")
#driver.get("https://www.google.com/")
time.sleep(20)
print 'Pegando os cookies'
script_path = os.path.dirname(os.path.abspath(__file__))
script = open(os.path.join(script_path, "js_scripts/get_all_cookies.js"), "r").read()
cookies = driver.execute_script(script)
pprint(cookies)
print 'Pegou!'
Utilizando o Whatsapp o resultado é (cmd):
Pegando os cookies
{u'': u'undefined'}
Pegou!
E quando eu utilizo o Google o resultado é (cmd):
Pegando os cookies
{u'1P_JAR': u'2017-11-21-12'}
Pegou!
Será que há algum tipo de bloqueio, ou algum tipo de cookie diferente como falei anteriormente? Eu consigo ver o conteúdo dele nas configurações do Firefox:
É possível pegar estes cookies de alguma forma, ou guardar esta sessão para não precisar fazer a leitura do QR Code novamente?
Update 2 - Profile, uma solução não escalável
Cheguei perto de uma solução, não sei se isso vai ajudar, mas de qualquer forma vou postar:
import selenium.webdriver
from selenium.webdriver.firefox.webdriver import FirefoxProfile
profile = FirefoxProfile('C:\Users\meu_usuario\AppData\Roaming\Mozilla\Firefox\Profiles\oedq4f8r.default')
driver = selenium.webdriver.Firefox(firefox_profile=profile)
driver.get("https://web.whatsapp.com/")
O que este código faz, ele pega o profile default e abre o Firefox com ele, então se eu ler o QR Code antes, e mando o Selenium abrir funciona, mas se eu ler o QR Code com o Selenium e abro de novo não funciona, ou seja de alguma forma o Selenium não consegue salvar os cookies no profile/sessão.
Update 3 - Os cookies estão protegidos?
Estava verificando os cookies, reparei que os que eu consigo pegar tem a seguinte descrição em "enviar" "Qualquer tipo de conexão", enquanto os que eu não consigo pegar esta assim "Só conexões criptografadas".
Update 4 - Será que é possível acessar estes cookies?
Instrui o navegador para nunca enviar o cookie sob uma requisição HTTP sem que esta esteja em um canal de comunicação cifrado. O cookie só pode ser enviado através de HTTPS. Isso funciona mesmo se o usuário digitar manualmente um pedido de HTTP. A solicitação HTTP será enviada, mas o navegador não enviará quaisquer cookies marcados como "seguro". Esta medida visa minimizar o cenário no qual um usuário malicioso induz a vítima a realizar uma requisição HTTP, o que poderá permitir a captura do cookie de sessão da vítima. Tal captura pode ser feita através de ferramentas que analisam o tráfego de rede, como sniffers ou através do log de acesso da aplicação.
Ou seja se eu estive utilizando uma comunicação http eu não vou conseguir pegar estes cookies, não sei como funciona o acesso do drive do Selenium, a princípio achei que era realmente como um drive de hardware, servido apenas como uma ponte, mas quando eu fui utilizar o drive para o Chrome ele parecia um endereço local HTTP com uma porta, será que existe alguma forma de acessar utilizando HTTPS? Seria diferente a comunicação do Google Chrome e do Firefox, pois ao rodar o drive do Firefox esta informação não aparece.
Update 5 - Como funciona esta proteção?
Fiz mais alguns teste, pensei, vou criar um cookie secure, assim vou ter a certeza que é isso, mas ai me vem a surpresa, ele consegue pegar o cookie secure que eu criei, mas não consegue pegar qualquer cookie com o valor encriptado (pelo menos eu acho que esta encriptado, vou mostrar aqui as imagens).
Executei o seguinte código no Python:
#!/usr/bin/env python2
import selenium.webdriver
from pprint import pprint
import os
def prepara_script(nome_script):
try:
script_path = os.path.dirname(os.path.abspath(__file__))
except NameError:
script_path = os.getcwd()
return open(os.path.join(script_path, nome_script + ".js"), "r").read()
os.system('cls')
driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
script = prepara_script("get_cookies")
Store = driver.execute_script(script)
pprint(Store)
O JavaScript usado foi este:
var getCookies = function(){
var pairs = document.cookie.split(";");
var cookies = {};
for (var i=0; i<pairs.length; i++){
var pair = pairs[i].split("=");
cookies[pair[0]] = unescape(pair[1]);
}
return cookies;
}
document.cookie = "tagname = test;secure";
var cookies = getCookies();
console.log(cookies);
console.log(document.cookie);
Resultado no console:
Cookies do navegador:
Como vocês podem ver, todos os cookies com o valor encriptado eu não consigo pegar, fiz este teste utilizando o Google, já que para fazer testes utilizando o Whatsapp Web eu tenho que ler em todo momento o QR Code.
Update 6 - O retorno do Update 4
"Será que é possível acessar estes cookies?"
Também existem os supercookies extremamente invasivos. A operadora americana Verizon é uma das companhias que está apoiando esse tipo de rastreamento. Esses cookies são inseridos ao nível do ISP (Provedor de Serviço Internet), então eles não ficam na sua máquina, mas identificam os sites que você visita. Por eles estarem no nível ISP e não no nível PC é impossível erradicá-los rapidamente apagando o seu histórico. Depois de uma checada do FCC (órgão regulamentar dos EUA, equivalente à Anatel) ano passado, os supercookies da Verizon agora são opcionais e mais fáceis de configurar pelos usuários.
Eu consigo pelo menos saber se estes cookies que estou tentando pegar é um "supercookie"?
Fonte: http://gizmodo.uol.com.br/guia-completo-cookies-navegadores/