0

Possuo o seguinte código:

$url = 'https://twitter.com/' . $username;

$user = curl_init();
curl_setopt_array($user, [
      CURLOPT_URL             => $url,
      CURLOPT_CUSTOMREQUEST   => 'GET',
      CURLOPT_CAINFO          => 'cacert-2017-06-07.pem',
      CURLOPT_RETURNTRANSFER  => true,
      CURLOPT_SSL_VERIFYPEER  => false,
      CURLOPT_SSL_VERIFYHOST  => 2,
      CURLOPT_HTTPHEADER      => [
        "Content-type:text/html;charset=utf-8",
      ],
      CURLOPT_USERAGENT       => $_SERVER['HTTP_USER_AGENT'],
      CURLOPT_HEADER          => true,
      CURLOPT_FOLLOWLOCATION  => true,
      CURLOPT_MAXREDIRS       => 2,
      CURLOPT_REDIR_PROTOCOLS => CURLPROTO_HTTP | CURLPROTO_HTTPS,
      CURLOPT_POSTREDIR       => 2,
      CURLOPT_AUTOREFERER     => 1,
      CURLOPT_ENCODING        => "gzip"
  ]
);
$user_info = json_encode(curl_exec($user));
//$user_info = json_decode(curl_exec($user));

var_dump($user_info);
echo $user_info;

Bom, isto me retorna:

inserir a descrição da imagem aqui

Gostaria de extrair informações como:

Screen_name, Name, Profile_img, etc

Um amigo dono de um site disse que é possível, mas ele não quis dar o braço a torcer e me ensinar, qual a lógica por trás? É possível?

Monitorando o network obtive isto:

-H "accept-encoding: gzip, deflate, br"
-H "accept-language: pt-BR,pt;q=0.8,en-US;q=0.6,en;q=0.4"
-H "upgrade-insecure-requests: 1"
-H "user-agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
-H "accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8"
-H "cache-control: max-age=0"
-H "authority: twitter.com"
5
  • Eu já fiz de tudo estou desde ontem tantando debugar isso, e não entendi esta parte "Algum motivo em especial para não utilizar cURL?"
    – user76271
    Commented 2/07/2017 às 23:03
  • 1
    Li o título errado. Erro meu. Tinha lido "Obter informações sem cURL". Perdão.
    – Woss
    Commented 2/07/2017 às 23:04
  • 1
    De uma olhada: pt.stackoverflow.com/a/218866/3635
    – Syzoth
    Commented 7/07/2017 às 21:09
  • Opa, aqui já está resolvido, mas vou ler.
    – user76271
    Commented 8/07/2017 às 9:44
  • @GuilhermeNascimento, vou abrir uma pergunta, sobre cURL e token será que pode me ajudar?
    – user76271
    Commented 8/07/2017 às 9:49

1 Resposta 1

1

A página do Twitter aparentemente possui um campo input[type=hidden] com o JSON dos dados, o que facilita muito a nossa vida. O resultado obtido em:

$user_info = curl_exec($user);

Nada mais é que a resposta HTTP obtida quando feita a requisição. Para pegar apenas o corpo da resposta, isto é, o código HTML, basta fazer:

$header_size = curl_getinfo($user, CURLINFO_HEADER_SIZE);
$header = substr($user_info, 0, $header_size);
$body = substr($user_info, $header_size);

Assim, $header será os cabeçalhos da resposta HTTP e $body o código HTML. Para analisar este código, utilizamos a classe nativa DOMDocument (nunca utilize regex):

$dom = new DOMDocument();
@$dom->loadHTML($body);

O @ na segunda linha é para ocultar mensagens de avisos geradas devido à erros no HTML da página do Twitter (vários elementos com mesmo id). O campo supracitado que possui o JSON é:

<input type="hidden" id="init-data" class="json-data" value="..." />

Então basta buscarmos pelo id init-data no DOM:

$json = $dom->getElementById("init-data")->getAttribute("value");

Assim, utilizamos json_decode para converter para um objeto:

$data = json_decode($json);

E podemos acessar as informações desejadas:

echo "Nome: ", $data->profile_user->name, PHP_EOL;
echo "Usuário: ", $data->profile_user->screen_name, PHP_EOL;
echo "Foto de perfil: ", $data->profile_user->profile_image_url, PHP_EOL;

No meu caso, a saída foi:

Nome: Anderson Carlos Woss
Usuário: acwoss
Foto de perfil: http://pbs.twimg.com/profile_images/827606791592747008/9EdeoXRp_normal.jpg

O código inteiro seria algo como:

<?php

$url = 'https://twitter.com/' . $username;

$user = curl_init();
curl_setopt_array($user, [
      CURLOPT_URL             => $url,
      CURLOPT_CUSTOMREQUEST   => 'GET',
      CURLOPT_CAINFO          => 'cacert-2017-06-07.pem',
      CURLOPT_RETURNTRANSFER  => true,
      CURLOPT_SSL_VERIFYPEER  => false,
      CURLOPT_SSL_VERIFYHOST  => 2,
      CURLOPT_HTTPHEADER      => [
        "Content-type:text/html;charset=utf-8",
      ],
      CURLOPT_USERAGENT       => $_SERVER['HTTP_USER_AGENT'],
      CURLOPT_HEADER          => true,
      CURLOPT_FOLLOWLOCATION  => true,
      CURLOPT_MAXREDIRS       => 2,
      CURLOPT_REDIR_PROTOCOLS => CURLPROTO_HTTP | CURLPROTO_HTTPS,
      CURLOPT_POSTREDIR       => 2,
      CURLOPT_AUTOREFERER     => 1,
      CURLOPT_ENCODING        => "gzip"
  ]
);

$user_info = curl_exec($user);

$header_size = curl_getinfo($user, CURLINFO_HEADER_SIZE);
$header = substr($user_info, 0, $header_size);
$body = substr($user_info, $header_size);

$dom = new DOMDocument();
@$dom->loadHTML($body);

$json = $dom->getElementById("init-data")->getAttribute("value");
$data = json_decode($json);

echo "Nome: ", $data->profile_user->name, PHP_EOL;
echo "Usuário: ", $data->profile_user->screen_name, PHP_EOL;
echo "Foto de perfil: ", $data->profile_user->profile_image_url, PHP_EOL;
11
  • Cara, show!!! Funcionou perfeitamente, além do mais super bem explicado, mas, PHP_EOL é necessário mesmo?
    – user76271
    Commented 2/07/2017 às 23:59
  • 1
    Não, utilizei apenas para quebrar a linha e exibir cada informação em linhas diferentes. Como serão utilizados vai depender da sua aplicação.
    – Woss
    Commented 3/07/2017 às 0:01
  • 1
    Olhando o código fonte da página do Twitter e procurando pelo meu nome, encontrei esse elemento na linha 21801 do HTML. É um dos últimos elementos na página.
    – Woss
    Commented 3/07/2017 às 0:05
  • 1
    Quem seria $data->user_info? Ou seria $data->profile_user?
    – Woss
    Commented 3/07/2017 às 0:33
  • 1
    Pode fazer var_dump($data->profile_user).
    – Woss
    Commented 3/07/2017 às 0:35

Você deve fazer log-in para responder a esta pergunta.