Estou tentando baixar todos os PDF's do Diário oficial do DF para uma pesquisa acadêmica. O site é de domínio público, obviamente, então não é algo que seja incorreto fazer.
O problema é que se eu tiver que baixar clique a clique estou lascado (são mais de 700 DODF's por ano) então estou usando wget
.
Depois de muita pesquisa acabei chegando nessa linha de comando, usando post-data, porquê o site é dinâmico (usa form & asp):
wget -r --no-parent --post-data "ano=2005&mes=11_Novembro" http://www.buriti.df.gov.br/ftp/default.asp
Claro que dessa forma terei que rodar o wget uma vez pra cada mês e pra cada ano. Mas dá trabalho mas muito menos do que se eu tiver que baixar um por um.
O código ficou dessa forma porque o site é em ASP e usa um form
pra passar o mes e o ano e retornar os diários relacionados. A execução acima vai para a página certa (a estrutura que o wget
recebe é a do mês correto, e o wget
encontra os arquivos PDF nos subdiretórios).
O problema é que ao tentar baixar os PDF's retorna o erro:
405 - Method not Allowed.
Se alguem puder me ajudar fico muito grato.