Introdução
Os pesquisadores brasileiros possuem, desde 1999, um site onde podem colocar informações sobre as sua carreira acadêmica. Estas informações são conhecidas como Currículos Lattes. Eu desejo baixar alguns milhares deste currículos e escrever, junto com alguns colaboradores, um artigo a este respeito.
Este link vai para o currículo da pesquisadora Suzana Carvalho Herculano Houzel. Perceba que, ao clicar no link, o browser foi direcionado para uma página com um captcha. Este é o meu primeiro problema. Como passar por isso? Tentei duas abordagens diferentes: uma utilizando python, outra utilizando R.
python
Aparentemente há um módulo de python bastante conhecido chamado scriptLattes. Em teoria, ele seria capaz de baixar uma série de currículos lattes, desde lhe fosse fornecida uma lista de IDs de currículos (por exemplo, a ID do currículo que coloquei acima é 4706332670277273).
Entretanto, o módulo não recebe atualizações desde 2015. De lá pra cá, o lattes implementou o captcha em suas páginas. Creio que este seja um problema para o módulo, pois tentei rodar um dos exemplos em meu Ubuntu e recebi o seguinte resultado:
$ ./scriptLattes.py ./exemplo/teste-01.config
[ROTULO] [Sem rotulo]
[LENDO REGISTRO LATTES: 1o. DA LISTA]
<urlopen error [Errno 110] Connection timed out>
<urlopen error [Errno -2] Name or service not known>
<urlopen error [Errno 110] Connection timed out>
<urlopen error [Errno -2] Name or service not known>
Este comando só parou depois de eu cancelá-lo manualmente com Ctrl+C. Imagino que o problema seja, justamente, o captcha implementado depois da última versão deste módulo ter sido publicada.
Eu tenho alguma experiência com web scraping no python. Conheço os módulos scrapy
e beautifulsoup
, mas não sou um especialista neles.
R
O R possui um pacote chamado GetLattesData. Entretanto, a seguinte notícia está postada no seu repositório:
**ATTENTION: The package is not working as of 2017-11-26. The Lattes website, where the xml files were available, is offline. **
De fato, este servidor com os arquivos xml está fora do ar desde novembro do ano passado e nunca mais voltou. Testei o pacote hoje e ele continua não funcionando.
Encontrei outros pacotes do R que trabalham com o lattes, como o CochoLattes, por exemplo. O problema é que preciso baixar os dados manualmente, entrando com os captchas um por um.
Tenho experiência com web scraping no R, trabalhando com o pacote rvest
.
Escavador
O site Escavador faz, ele próprio, um scrap dos currículos lattes. Entrei em contato com a equipe do site e os dados não são disponibilizados. Entretanto, eles vendem acesso à API deles através de um sistema de créditos. Eu sou contra pagar para obter informação gratuita, mas caso nada mais funcione, talvez eu tenha que fazer isto mesmo.
Conclusão
Vejam que meu problema nem é com a organização e a raspagem dos dados em si, mas é anterior a isto: como acessar as páginas com os currículos dos pesquisadores? Eu tenho experiência com raspagem de dados, mas nunca enfrentei um problema como este, com o captcha.
Além disso, não possuo uma lista com todos os IDs de todos os currículos que desejo. Cada currículo possui dois IDs únicos. No caso deste currículo, os IDs são 4706332670277273 e K4727050Y3, cada um acessado por uma url diferente:
Embora os IDs sejam diferentes, as páginas acima possuem o mesmo conteúdo.
O que fazer neste caso? Creio que obter a lista de currículos que desejo não é difícil. Este link possui o endereço de mais de 5 milhões de currículos lattes. Eu poderia fazer um crawl e um scrap nele pra obter os IDs que preciso.
Portanto, o meu problema é baixar os dados de currículos (ou seja, páginas do tipo http://lattes.cnpq.br/4706332670277273) de forma automática, sem precisar entrar com os captcha. Como eu poderia fazer isto? R ou python, tanto faz pra mim.