0

Tenho como objetivo criar um script que obtenha dados como bugs,issues entre outros da seguinte pagina do Spring Framework, infelizmente não tenho nenhum código para mostrar pois de fato não faço muita ideia de como obter esses dados.

A duvida e: Como obter os dados mostrados na pagina e gerar um arquivo json com os mesmos? de preferencia utilizando python ou javascript.

1 Resposta 1

1

Seria melhor você entrar em contato com o site e pedir acesso a alguma API para conseguir esses dados.
Usar um "parser" no site deles, pode gerar muitos requests, assim eles podem bloquear o acesso para o seu IP. Mas se tiver que ser assim, em python pode usar a biblioteca BeautifulSoup.

Um exemplo bem simples:

from bs4 import BeautifulSoup
import urllib.request

fp = urllib.request.urlopen(
    "https://jira.spring.io/browse/spr/?selectedTab=com.atlassian.jira.jira-projects-plugin:issues-panel")
html = fp.read().decode("utf8")
fp.close()

soup = BeautifulSoup(html, 'html.parser')
table = soup.find(id='fragstatussummary')
nome = table.h3
print(nome.contents[0])
for linha in table.find_all('tr'):
    name = linha.a
    count = linha.find('td', class_='cell-type-collapsed')
    if name:
        print('{}: {}'.format(name.contents[0], count.contents[0]))


Resultado:

Status Summary
Open: 1542
In Progress: 12
Reopened: 49
Resolved: 4740
Closed: 9299
Waiting for Feedback: 45
Investigating: 56

Você deve fazer log-in para responder a esta pergunta.