3

Contexto:
Tenho uma lista de ISBN (International Standard Book Number) com cerca de 100 registros, todos livros brasileiros, e queria obter as informações sobre o livro de uma maneira mais rápida, mas não precisa ser em tempo real.

Para fazer a pesquisa do livro via ISBN, acesso o site do ISBN Brasil na parte de pesquisa e informo o ISBN e me retorna os dados, e então preencho em uma planilha, para ser bem básico isso.

Para fazer essa pesquisa um pouco mais rápido, so preciso digitar o Captcha uma vez e as demais consulto pela url abaixo, somente alterando o ISBN:

http://www.isbn.bn.br/website/consulta/cadastro/isbn/9788566250299

Necessidade:
Com base nisso, tive a ideia, informa 1 vez o captcha e depois posso pesquisar qualquer livro, alterando o ISBN da URL, mas queria fazer isso da forma automatica, e salvar em um TXT mesmo separado por espaço os valores dos campos.

Via console.log consego as informações que preciso, de modo bem simples, mas funciona:

    String.prototype.trim = function() {
        return this.replace(/^\s+|\s+$/g, '');
    };


var livro = '"' + document.getElementsByClassName("conteudo")[0].getElementsByTagName('div')[5].childNodes[3].nodeValue.trim() + 
            '" "' + document.getElementsByClassName("conteudo")[0].getElementsByTagName('div')[6].childNodes[3].nodeValue.trim() + 
            '" "' + document.getElementsByClassName("conteudo")[0].getElementsByTagName('div')[7].childNodes[3].nodeValue.trim() + 
            '" "' + document.getElementsByClassName("conteudo")[0].getElementsByTagName('div')[8].childNodes[3].nodeValue.trim() + 
            '" "' + document.getElementsByClassName("conteudo")[0].getElementsByTagName('div')[10].childNodes[3].nodeValue.trim() + 
            '" "' + document.getElementsByClassName("conteudo")[0].getElementsByTagName('div')[12].childNodes[3].nodeValue.trim() + 
            ';' + document.getElementsByClassName("conteudo")[0].getElementsByTagName('div')[12].childNodes[5].nodeValue.trim() + '"';

console.log(livro);

Retorno:

"978-85-66250-29-9" "Começando com o linux: comando, serviços e administração" "1" "2013" "135" "Adriano Henrique de Almeida (Organizador);Paulo Eduardo Azevedo Silveira (Organizador);Daniel Romero ( Autor);"

Problema:
Tenho que fazer livro a livro, e to enjoado de fazer isso :/, queria saber se tem alguma forma bem simples de automatizar isso, talvez percorrer um array como exemplo abaixo, e retornar as informações mesmo que seja em um TXT simples com espaços conforme retorno acima.

Obrigado

var isbn = ["9788566250299", "9788555191459", "9788555191039"];

Observação:
Utilizando a API do google Google Books APIs alguns livros não retornam resultado, como mostrado nessa pergunta Buscar detalhes de um livro com google-books-api-em-php, por isso, gostaria de fazer dessa forma acima, da qual o resultado pode ser obtido pela URL:

https://www.googleapis.com/books/v1/volumes?q=isbn:9788566250299

Mas não tem retorno, já pelo site do ISBN Brasil, tem.

9
  • Se eu fôr testar esse site preciso de me cadastrar? Tens sempre de inserir um captcha por cada livro?
    – Sergio
    13/05/2016 às 21:56
  • Não precisa se cadastrar, o link estava errado arrumei, basta fazer a pesquisa uma unica vez informando o captch, depois pelo link http://www.isbn.bn.br/website/consulta/cadastro/isbn/ + ISBN retorna os dados do livro, de um novo ISBN sem digitar novamente o captch.
    – David
    13/05/2016 às 22:07
  • 1
    Ok, consegui fazer uma procura mas é preciso um captcha novo a cada procura certo?
    – Sergio
    13/05/2016 às 22:16
  • Ai que tá, o site não valida se usado a URL acima e adicionar o ISBN da nova procura
    – David
    13/05/2016 às 23:41
  • 1
    David isso é bem mais interessante... vou dar uma olhada mais logo, mas dessa maneira podes ter um crawler que vai buscar as páginas todas.
    – Sergio
    17/05/2016 às 19:48

1 Resposta 1

2

Aqui fica uma sugestão :)

Faz uma primeira busca manual, para passar o captcha e ficar em sessão o teu IP.

Depois coloca este script na consola:

var isbns = ["9788566250299", "9788555191459", "9788555191039"];

function trim(str) {
    return str.replace(/^\s+|\s+$/g, '');
};

function iterator(numbers, done) {
    var ISBNdata = [];
    var calls = numbers.length;
    isbns.forEach(function(isbn, i) {
        fetch(isbn, i, function(data, index) {
            calls--;
            ISBNdata[index] = data;
            if (calls == 0) done(ISBNdata)
        });
    });
}

function fetch(nr, index, cb) {
    $.ajax('/website/consulta/cadastro/isbn/' + nr).done(function(raw) {
        var data = process(raw);
        console.log('Recebido index', index);
        cb(data, index);
    });
}

function process(raw) {
    var body = raw.match(/<body>([\s\S]+)<\/body>/);
    if (!body) return;
    var proxy = document.createElement('div');
    proxy.innerHTML = body[1];
    var elements = proxy.querySelector('.conteudo').getElementsByTagName('div');
    var data = [5, 6, 7, 8, 10, 12].map(function(i) {
        return elements[i].childNodes[3].nodeValue;
    });
    data.push(elements[12].childNodes[5].nodeValue);
    return data.map(trim);
}

iterator(isbns, function(data) {
    console.log('---------------')
    console.log(JSON.stringify(data));
});

e o resultado é este:

[
    ["978-85-66250-29-9", "Começando com o linux: comando, serviços e administração", "1", "2013", "135", "Adriano Henrique de Almeida (Organizador)", "Paulo Eduardo Azevedo Silveira (Organizador)"],
    ["978-85-5519-145-9", "Componentes reutilizáveis em Java com reflexão e anotações", "1", "2014", "378", "Eduardo Guerra ( Autor)", "Vivian Matsui (Editor)"],
    ["978-85-5519-103-9", "Containers com Docker: do desenvolvimento à produção", "1", "2015", "127", "Daniel Romero ( Autor)", "Vivian Matsui (Editor)"]
]

Sobre o script:

A função iterator é a que separa cada ISBN numa chamada de função separada, a partir daqui tudo ocorre assincrono. Cada numero é passado a fetch que faz um pedido ajax e quando rebeber a resposta pede a process para filtar os resultados. A função fetch chama de volta a callback e quando todas as callbacks tiverem sido chamadas, então a "callback mãe" (a que passamos no inicio a iterator) é chamada com os dados cetinhos :)


Nota: somente utilize esta técnica se a licença de uso do referido site permitir o uso de seu conteúdo da forma que você pretende

1

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .