1

Gostaria de saber como faço para válidar (saber se existem) URL's de redes socias, estou usando o AngularJS, AJAX e http requests porém consigo pegar o status de uma URL que eu criei em um mock, mas não consigo verificar uma URL caso seja externa.

$http({
  method: 'GET',
  // url: 'http://private-e5528d-alugueme.apiary-mock.com/api/v1/categories/1'
  // url: 'http://pt.stackoverflow.com/'
  // url: 'https://twitter.com/pmargreff'
}).then(function successCallback(response) {
  console.log(response);
}, function errorCallback(response) {
  console.log(response);
});

Quando minha URL é a primeira o que vem na resposta do console é:

Object { data: Object, status: 200, headers: fd/<(), config: Object, statusText: "OK" }

Já quando tento pegar uma URL pública como Stack Overflow ou meu próprio perfil twitter a resposta é a seguinte:

Object { data: null, status: -1, headers: fd/<(), config: Object, statusText: "" }

Apesar disso, se eu verifico na aba Network do meu navegador a URL foi verificada e seu status lá é 200 quando existe, ou 404 se a URL é inválida. Primeiramente pensei que fosse algum tipo de bloqueio do próprio AngularJS, e tentei a válidação via AJAX da seguinte maneira:

$.ajax({
  // url: 'http://private-e5528d-alugueme.apiary-mock.com/api/v1/categories/1',
  // url: 'http://pt.stackoverflow.com/',
  // url: 'https://twitter.com/pmargreff',
  type:'HEAD',
  error: function()
  {
    alert('não existe');
  },
  success: function()
  {
    alert('existe');
  }
});

Tive o mesmo tipo de resposta, quando tento válidar meu pool eu consigo, já url externas não consigo e minha aba de network continua a mostrar resultados corretos.

Tentei com promisses e o resultado foi o mesmo:

$.get(url)
    .done(function() { 
      alert('existe');
    }).fail(function() { 
      alert('não existe');
    })

Estou cometendo algum erro no código ou os erros são causados dos próprios sites que bloqueiam a requisição ? E caso seja a segunda opção, tenho como contornar isso?


Estou tentando não usar as API's do facebook e twitter, então gostaria de uma resposta que não use essas opções.

2 Respostas 2

3

Diretamente você não pode fazer isso.

Todos os sites em navegadores modernos apenas podem ter requisições para ele mesmo. Para que permita que outro site se conecte ao seu é necessário que defina o Access-Control-Allow-Origin, pode ler mais sobre isso aqui.


Qual solução?

A solução seria adicionar o Header necessário (Access-Control-Allow-Origin: *), por exemplo.

PHP:

header('Access-Control-Allow-Origin: *');  

Mas... Como percebeu: quem deve inserir o Header é quem é requisitado, portanto você deveria alterar os códigos do Twitter e adicionar acrescentar o Access-Control-Allow-Origin. Convém que isso não é possível!


Game over?

Não exatamente. Essa limitação só ocorre no client-side, ou seja o seu site não pode conectar com outro. Mas, isso não impede que o servidor do seu site se conecte com outro servidor.

Por isso, pode fazer isso:

PHP:

function verificarURL($url) {

    // Inicia CURL
    $curl = curl_init($url);
    curl_setopt_array($curl, [
            // Permite obter retorno:
            CURLOPT_RETURNTRANSFER => 1,

            // Define para retornar false se for <200 >=400:
            CURLOPT_FAILONERROR => 1,
            
            // Autoriza seguir o `Location`:
            CURLOPT_FOLLOWLOCATION => 1,

            // Limita o número de `Location:` a ser seguido:
            CURLOPT_MAXREDIRS => 2,

            // Adiciona o `Referer` baseado no Location:
            CURLOPT_AUTOREFERER => 1,

            // Verifica o SSL do website (Previne contra MITM):
            CURLOPT_SSL_VERIFYPEER => 1,
            CURLOPT_SSL_VERIFYHOST => 2,
            
            // Define o local do CA (as autoridades confiaveis, pode baixar em https://curl.haxx.se/ca/cacert-2017-06-07.pem):
            CURLOPT_CAINFO => __DIR__ . DIRECTORY_SEPARATOR . 'cacert-2017-06-07.pem',

            // Limita para protocolos HTTP/HTTPS (Previne contra outros protocolos, como `file//`, inclusive em redicionamento):
            CURLOPT_REDIR_PROTOCOLS => CURLPROTO_HTTPS | CURLPROTO_HTTPS,

            // Limita para TLSv1.2:
            CURLOPT_SSLVERSION => CURL_SSLVERSION_TLSv1_2,

            // Define um timeout em segundos (contra Slow HTTP Attack e afins):
            CURLOPT_TIMEOUT => 4,
            CURLOPT_CONNECTTIMEOUT => 2,
            //CURLOPT_LOW_SPEED_LIMIT =>
            //CURLOPT_LOW_SPEED_TIME =>
        ]
    );
    
    // Executa a requisição:
    $dados = curl_exec($curl);
    // Fecha o CURL
    curl_close($curl);

    // Se o HTTP CODE for menor que 200 e maior que 400 ele será false;
    return $dados !== false;
}

verificarURL('http://seusite.com');

/!\ SEGURANÇA:

A maior parte dos problemas de segurança do cURL já foram corrigidos e está minimamente seguro para uso público, onde usuário informa o $url.

Entretanto ainda existem alguns problemas. O seu IP (do servidor) estará exposto para o alvo do cURL, obviamente, isso pode ser um problema caso use CloudFlare e afins, que escondem o IP do seu servidor. Um outro problema é que o redirecionamento (e também o próprio domínio) pode apontar para um outro dispositivo da rede local, por exemplo https://malicioso.com manda um Location: 192.0.0.1, o seu código irá seguir e irá dizer "192.0.0.1" existe, o que pode ser relevante.


Existe outra alternativa?

Infelizmente você precisa fazer essa solicitação em server-side, não pode fazer com que o cliente faça isso.

Mas... Você pode "terceirizar" o serviço usando o Yahoo!

O Yahoo possui um recurso chamado XPath, ao menos aqui foi o que encontrei sobre isso, pode ver em https://developer.yahoo.com/yql/guide/yql-select-xpath.html. Lembre-se que o XPath não é do Yahoo, mas o Yahoo lhe permite fazer o XPath, se quiser leia mais sobre isso aqui também, em resumo o XPath permite a manipulação de XML.

Nesse caso você pode fazer uma requisição usando a seguinte query:

SQL/YQL:

Essa API foi descontinuada, deve utilizar o htmlstring, veja aqui, mas é bem instável.

select * from html where url="http://seusite.com"

Então, isso irá retornar (porque seusite.com existe!):

{"query":{"count":1,"created":"2016-04-18T12:16:44Z","lang":"pt-BR","results":{"body":{"script":{"language":"JavaScript","src":"js/redirect-min.js","type":"text/javascript"}}}}}

O results irá dizer se existe ou não.

Portanto:

$(':button').click(function() {
  var url = $(':input').val();

  $.ajax({
    url: 'https://query.yahooapis.com/v1/public/yql?q=select * from html where url="' + url + '"&format=json',
    type: "get",
    dataType: "json",
    success: function(data) {
      alert(data.query.results != null ? 'Existe' : 'Nao existe');
    }
  });
});
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
<input type="text" value="http://stackexchange.com">
<button>VERIFICAR</button>

Isso irá efetuar a query mostrada acima e irá comparar o result, se for null é porque não existe.

Entretanto isso possui falsos-negativos, como por exemplo o https://facebook.com, que registra como não existente. Isso não iria ocorrer na primeira solução.

1
  • Resposta bem formulada, alternativas, exemplo demonstrativo. Grato :)
    – pmargreff
    Commented 18/04/2016 às 22:00
0

Por motivos de segurança o navegador não permite conexões para outros servidores. Da mesma forma que por padrão, servidores negarão acesso a seus recursos dessa forma.

1) Se o seu o site que você quer verificar é de sua propriedade, você poderia habilitar o CORS nele.

2) Você poderia usar JSONP que prevê o acesso a recursos externos.

3) Essa limitações se restringem ao client-side, você poderia através de ajax, acessar um recurso no seu próprio domínio, enviando por parâmetro a url que você quer checar, e esse recurso back-side verificaria a url e retornaria um true ou false por exemplo:

$.ajax({
  url: 'http://seudominio.com.br/ValidadorSite/',
  method: 'get',
  data: {
    urlParam1: "sitequevocequerverificar.org.br"
  },
  success: function(data) {
    if (data.url1) {
      alert("Site 1 existe");
    }
  }
});

C#

URL url;
url = new URL("urlParam1");
HttpURLConnection con = (HttpURLConnection ) url.openConnection();
System.out.println(con.getResponseCode());

O bom dessa última prática, é que você poderia enviar um conjunto de url a serem verificadas e executar uma ação especifica em cima de cada retorno "existe ou não existe".

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .