0

Gostaria de extrair campos para uma base de dados a partir de ficheiros de texto. No entanto os campos estão posicionados de formas diferentes em cada texto sendo difícil obter os valores por métodos comuns, exemplo:

ficheiro 1:

PROVA: 2º Corta Mato    

LOCAL:  Pinhal da Paz
ORGANIZAÇÃO:    
AAP 

ESTADO TEMPO: Bom   
DATA:   28-01-2007  

ficheiro 2:

PROVA: MEGA SPRINTER         LOCAL: E.B.I. DE ARRIFES
ASSOCIACAO: AASM/SDSM
TEMPO: Nublado c/ vento
DIA: 22 de Março de 2006

ficheiro 3:

AASM
ESTADO TEMPO: Nublado/Ventoso c/ alguma chuva
DATA: 19 de Novembro de 2005
1º Triatlo Técnico + P. de Preparação
C. D. DAS LARANJEIRAS

São milhares de ficheiros, multiplos campos por ficheiro e cada campo pode ter um ou multiplos valores por texto, logo fazer a extração de dados à mão está fora de questão.

1 Resposta 1

1

Para esse efeito criei o pacote MassTextExtractor para o carregar basta instalar, através do pip, na linha de comandos:

sudo pip install MassTextExtractor

Um exemplo da sua utilização para os campos "local" e "prova", das amostras dos ficheiros demonstrados, seria:

from MassTextExtractor import TextsParser

# marcar linhas do campo prova
file_dirs = ["./ficheiro_1.txt", "./ficheiro_2.txt", "./ficheiro_3.txt"]
flags = ["Triatlo", "PROVA:"]
prova = TextsParser(file_dirs, flags)

# limpar partes da linha
prova.switchers = [("PROVA:", "")]
prova.switch_texts_field_lines()

# partir parte da linha
prova.breakers = [("LOCAL", 0)]
prova.break_texts_field_lines()


# marcar linhas do campo local
file_dirs = ["./ficheiro_1.txt", "./ficheiro_2.txt", "./ficheiro_3.txt"]
flags = ["LARANJEIRAS", "LOCAL:"]
local = TextsParser(file_dirs, flags)

# partir parte da linha
local.breakers = [("LOCAL:", 1)]
local.break_texts_field_lines()

# limpar partes da linha
local.switchers = [("LOCAL:", "")]
local.switch_texts_field_lines()


print prova.return_texts_field_lines()
print local.return_texts_field_lines()

Pode parecer excessivamente pedante, no entanto, creio que pode ser bastante útil quando usado como um último recurso para obter dados de grandes quantidades de texto semi desestruturado.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .