Estou com um projeto que "recupera" certas informações de uma página HTML, faz um parse com ajuda do Beautiful Soup e devolve os valores em forma de dictionary, para que em outro método eu gere um objeto JSON.
O problema é que pela peculiaridade da página, muito mal escrita e com excesso de tags, além de problemas com a organização das próprias informações, eu preciso tratar tudo com muito uso de laços e condicionais. O método atual tem 91 linhas.
Eu não consigo separar logicamente esses blocos de código em outros métodos, tudo me parece "parte de uma mesma operação". Fica ainda mais difícil porque também não parece que sejam úteis em outra situação.
Alguém tem alguma sugestão de quando e como posso dividir meu código?
Como exemplo, um método que fiz para "brincar", que compartilha do mesmo problema (pra deixar menos estranho, explico: ele pega as informações de uma página de cardápio do RU da minha universidade):
def parse_cardapios(self):
"""Interpreta as tabelas de cardápio no site do restaurante"""
pag = urllib2.urlopen(self.url + '/' + self.campus).read();
soup = BeautifulSoup(pag)
resultado = []
# Percorre as refeições e suas respectivas tabelas de cardápio
nomes_ref = soup.find('section', id='post-content').find_all('h2')
tabelas_card = soup.find('section', id='post-content').find_all('table')
for ref, tab in zip(nomes_ref, tabelas_card):
refeicao = tratar_chave(ref)
# Percorre todos os dias disponíveis
nome_colunas = tab.find_all('th')
linhas = tab.find_all('tr', class_=True)
for lin in linhas: # Cada linha é um dia diferente
dia_repetido = False # Para controlar a repetição
obj_refeicoes = {refeicao: {}}
obj_temp = {'data': '', 'refeicoes': {}}
# Percorre cada dado
celulas = lin.find_all('td')
for meta, dado in zip(nome_colunas, celulas):
meta = tratar_chave(meta)
dado = tratar_valor(dado)
if meta == 'data':
dado = dado.translate(None, 'aábcçdefghijklmnopqrstuvzwxyz- ,')
if not resultado:
obj_temp['data'] = dado
else:
for r in resultado:
if r['data'] == dado:
dia_repetido = True
r['refeicoes'].update(obj_refeicoes)
break
else:
obj_temp['data'] = dado
else:
obj_refeicoes[refeicao].update({meta: dado})
obj_temp['refeicoes'].update(obj_refeicoes)
if not dia_repetido:
resultado.append(obj_temp)
# Junta as refeições vegetarianas no mesmo cardápio que as outras
for r in resultado:
for s in r['refeicoes'].keys():
if '-vegetariano' in s:
veg = {}
for t in r['refeicoes'][s].keys():
if not '-vegetariano' in t:
veg.update({t + '-vegetariano': r['refeicoes'][s][t]})
else:
veg.update({t: r['refeicoes'][s][t]})
sem_sufixo = s.replace('-vegetariano', '')
r['refeicoes'][sem_sufixo].update(veg)
for u in r['refeicoes'].keys():
if '-vegetariano' in u:
del r['refeicoes'][u]
return dict({'campus': self.campus, 'dia-cardapio': resultado})
extractProductInfo()
,extractDescriptionBody()
,extractComments()
, etc. Também pode ser possivel escrever o que você está fazendo com menos linhas. Difícil dizer sem ver o código.