0

Digamos que eu tenha uma a seguinte amostra de um banco de dados mais extenso.

146.204.224.152 - feest6811 [21/Jun/2019:15:45:24 -0700] "POST /incentivize HTTP/1.1" 302 4622
197.109.77.178 - kertzmann3129 [21/Jun/2019:15:45:25 -0700] "DELETE /virtual/solutions/target/web+services HTTP/2.0" 203 26554
156.127.178.177 - okuneva5222 [21/Jun/2019:15:45:27 -0700] "DELETE /interactive/transparent/niches/revolutionize HTTP/1.1" 416 14701
100.32.205.59 - ortiz8891 [21/Jun/2019:15:45:28 -0700] "PATCH /architectures HTTP/1.0" 204 6048
168.95.156.240 - stark2413 [21/Jun/2019:15:45:31 -0700] "GET /engage HTTP/2.0" 201 9645
71.172.239.195 - dooley1853 [21/Jun/2019:15:45:32 -0700] "PUT /cutting-edge HTTP/2.0" 406 24498
180.95.121.94 - mohr6893 [21/Jun/2019:15:45:34 -0700] "PATCH /extensible/reinvent HTTP/1.1" 201 27330
144.23.247.108 - auer7552 [21/Jun/2019:15:45:35 -0700] "POST /extensible/infrastructures/one-to-one/enterprise HTTP/1.1" 100 22921

Eu preciso ordenar as informações da seguinte forma, criando um dicionário:

example_dict = {"host":"146.204.224.152", 
            "user_name":"feest6811", 
            "time":"21/Jun/2019:15:45:24 -0700",
            "request":"POST /incentivize HTTP/1.1"}

Esse é meu progresso atual:

import re
match = []
def logs():
    with open("assets/logdata.txt", "r") as file:
        logdata = file.read()
        match ={"host": re.findall(r"\d{1,3}.\d{1,3}.\d{1,3}", logdata)}
        
       
    return match


logs()

1 Resposta 1

1

Primeiro, se você criar apenas um dicionário como esse:

example_dict = {"host":"146.204.224.152", 
            "user_name":"feest6811", 
            "time":"21/Jun/2019:15:45:24 -0700",
            "request":"POST /incentivize HTTP/1.1"}

Ele só vai corresponder a um único registro. Se a ideia é obter esta estrutura para todos os registros, então é melhor criar uma lista de dicionários (sendo que cada um dos dicionários corresponde a um registro).

E como eu já disse em sua outra pergunta, read() carrega todo o conteúdo do arquivo para a memória, e isso pode não ser uma boa se o arquivo for muito grande (afinal, já iremos guardar tudo em uma grande lista de dicionários, o que irá gastar bastante memória, então vamos pelo menos tentar economizar na leitura do arquivo: como cada registro está em uma linha, lê-lo linha a linha me parece uma alternativa melhor).

Se o formato é fixo (IP - username [horário] "request"), podemos fazer assim:

import re

r = re.compile(r'(\S+) - (\S+) \[([^]]+)\] "([^"]+)"')
registros = []
with open("logdata.txt") as arquivo:
    for linha in arquivo: # para cada linha do arquivo
        dados = r.match(linha)
        if dados: # se encontrou algo
             host, username, data, request = dados.groups()
             registros.append({ 'host': host, 'user_name': username, 'time': data, 'request': request })

O atalho \S é qualquer caractere que não seja \s (que por sua vez, corresponde a espaços, quebras de linha, entre outros). E o quantificador + indica "uma ou mais ocorrências". Portanto, \S+ é um ou mais caracteres que não sejam espaço. Assim eu pego tudo até o primeiro espaço (e depois na regex temos um espaço, o hífen e outro espaço).

Depois temos outra ocorrência de \S+, pois entendo que o username não pode ter espaços.

Em seguida temos os colchetes (que devem estar escapados com \), e dentro deles temos [^]]+, que é "um ou mais caracteres que não sejam ]". Isso garante que vou pegar tudo que está entre os colchetes.

Depois temos as aspas, e dentro delas temos [^"]+ (um ou mais caracteres que não sejam "), assim eu pego tudo que está entre aspas.

Cada uma das partes está entre parênteses para formar grupos de captura, assim eu consigo pegá-los depois com o método groups().

E eu compilo a regex apenas uma vez, antes do for, e a reutilizo no loop. Não precisa criá-la novamente a cada iteração. A própria documentação diz:

"saving the resulting regular expression object for reuse is more efficient when the expression will be used several times in a single program"


salvar a expressão regular em um objeto para reuso é mais eficiente quando a expressão é usada muitas vezes no mesmo programa (o que é exatamente o caso aqui).

Ao final, a lista registros terá vários dicionários, cada um correspondendo a uma linha do arquivo, com as chaves "host", "user_name", "time" e "request" e seus respectivos valores.


Essa é uma forma "preguiçosa", pois se eu já "sei" que o arquivo tem esse formato específico, não preciso ficar validando as informações. Mas se quiser ser mais específico e usar um formato um pouco mais "garantido", pode usar algo assim:

r = re.compile(r'(\d{1,3}(?:\.\d{1,3}){3}) - ([a-zA-Z0-9]+) \[(\d{2}/[A-Za-z]{3}/\d{4}:\d{2}:\d{2}:\d{2} [-+]\d{4})\] "((?:POST|DELETE|PUT|PATCH|GET) [^"]+)"')

Para o IP, usei (\d{1,3}(?:\.\d{1,3}){3}: 1 a 3 dígitos, seguido por "ponto e 1 a 3 dígitos" (e todo este trecho se repete 3 vezes). Mas para os parênteses não criarem outro grupo, tive que usar (?: para criar um grupo de não-captura (senão o trecho correspondente seria retornado por groups e bagunçaria tudo).

Para o username usei [a-zA-Z0-9]+ (um ou mais letras ou números). Para a data eu coloquei as quantidades de dígitos e letras em cada trecho, e para o request coloquei os métodos aceitos, seguidos de vários caracteres que não sejam aspas.

Talvez seja uma complicação desnecessária se você não precisa validar os dados do arquivo (por exemplo, se ele foi gerado de uma fonte que "garante" que o formato e as informações estão corretas, não precisaria ser tão rígido na regex).

Até porque a regex ainda é "ingênua": para validar IP é um pouco mais complicado que isso, para datas então, é pior ainda. Na verdade, se precisar validar os dados, eu faria cada um separadamente, usando a ferramenta adequada para cada caso (para IP, é melhor não usar regex, para datas, idem, etc). Mas se for só para ler o arquivo e montar os dicionários, a primeira opção já me parece o suficiente.


Sem regex

Mas talvez nem precise de regex. Você pode usar o método partition, que separa a string em partes, para obter cada parte que precisa:

def extrair_registros(linha):
    host, _, resto = linha.partition(' - ')
    username, _, resto = resto.partition(' [')
    data, _, resto = resto.partition('] "')
    request, _, resto = resto.partition('"')
    return { 'host': host, 'user_name': username, 'time': data, 'request': request }

registros = []
with open("logdata.txt") as arquivo:
    for linha in arquivo: # para cada linha do arquivo
         registros.append(extrair_registros(linha))

Por exemplo, ao fazer linha.partition(' - '), o retorno é uma tupla contendo 3 strings: a parte que tem antes do ' - ', o próprio ' - ' e a parte que vem depois. Então ao fazer:

host, _, resto = linha.partition(' - ')

Eu pego o IP e o restante da linha (a variável _ conterá o próprio separador ' - ', e usar _ é uma convenção do Python para indicar que não vou usar aquela variável).

Depois eu faço outra partition, usando o separador ' [', assim eu obtenho o username e o restante da string conterá da data em diante. E assim vou seguindo, cada hora usando um separador diferente para obter o trecho que eu quero.

Daria para fazer a função extrair_registro de forma mais genérica, recebendo os separadores e os respectivos campos que devem ser criados:

def extrair_registros(linha, separadores):
    registro = {}
    resto = linha
    for sep, campo in separadores.items():
        registro[campo], _, resto = resto.partition(sep)
    return registro

separadores = { # mapear separadores e respectivos campos
    ' - ': 'host',
    ' [': 'user_name',
    '] "': 'time',
    '"': 'request'
}
registros = []
with open("logdata.txt") as arquivo:
    for linha in arquivo: # para cada linha do arquivo
         registros.append(extrair_registros(linha, separadores))

E para construir a lista, ainda é possível usar list comprehension:

def extrair_registros(linha, separadores):
    registro = {}
    resto = linha
    for sep, campo in separadores.items():
        registro[campo], _, resto = resto.partition(sep)
    return registro

separadores = { # mapear separadores e respectivos campos
    ' - ': 'host',
    ' [': 'user_name',
    '] "': 'time',
    '"': 'request'
}
with open("logdata.txt") as arquivo:
    registros = [ extrair_registros(linha, separadores) for linha in arquivo ]
1
  • Ficou muito claro agora com essa explicação, muito obrigado novamente, amigo! 17/09/2020 às 23:03

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .