2

Utilizando-se dos anexos lista.txt e cve.xml desenvolva um script em Python que:

  1. abra e leia o arquivo de extensão ".xml" disponibilizado ao final;

  2. procure no arquivo todas as ocorrências de CVE ID no formato: “”, onde YYYY é o ano, com 4 dígitos, e NNNN é o número do CVE, que pode ter 4, 5, 6 ou 7 dígitos;

  3. confirme se os CVEs recuperados do arquivo existem em uma lista localmente armazenada (arquivo "lista.txt" ). Se esse CVE não estiver na lista.txt, o script deve incluí-lo no final da lista, salvando 01(um) campo "CVE-YYYY-NNNN" por linha; e

  4. imprima na tela "Novo CVE encontrado: CVE-xxxx-yyyy" para cada novo CVE gravado no arquivo "lista.txt". Caso não seja encontrado nenhum novo CVE no ".xml", imprima na tela "Sem CVE Novo".

lista.txt : https://drive.google.com/open?id=1RBbcrXQkfymjkXC-sP_nuiz9S3qO15dZ

cve.xml : https://drive.google.com/open?id=10l4oC9rmbdz4CbXwDukMk1gG5yANFdcY

Eu só consegui abrir o arquivo XML:

import xml.etree.ElementTree as ET

tree = ET.parse('cve.xml')

Alguem poderia ajudar?

Acho que dá pra resolver também apenas usando regex. Se alguem puder mostrar as duas soluções, ajudará muito no meu aprendizado!

2 Respostas 2

2

Primeiro você carrega a lista de CVE's do arquivo lista.txt:

# carregar lista de CVE
with open('lista.txt') as arq:
    # remover as quebras de linha do final das linhas
    cve_list = [ linha.rstrip() for linha in arq ]

Repare no uso de with para garantir que o arquivo é fechado ao final.

Depois você percorre o XML e para cada CVE você verifica se ele já está na lista. Se não estiver, adiciona em uma lista de novos CVE's encontrados:

novos = [] # guardar os novos CVE's encontrados

import xml.etree.ElementTree as ET

tree = ET.parse('cve.xml')
root = tree.getroot() # root (ExploitPackList)
for canvas in root: # para cada CANVASExploitPack 
    exploits = canvas[0] # pega a tag Exploits
    for exploit in exploits: # para cada Exploit
        cve = exploit.attrib['cve']
        if cve not in cve_list and cve not in novos:
            print('Novo CVE encontrado:', cve)
            novos.append(cve)

Aqui estou assumindo que a estrutura é exatamente a que está no arquivo:

<ExploitPackList>
    <CANVASExploitPack date="Fri Jul  5 11:03:08 2013" name="White_Phosphorus">
        <Exploits>
            várias tags <Exploit> contendo o CVE...
        </Exploits>
    </CANVASExploitPack>
    <CANVASExploitPack date="Fri Jul  5 11:03:08 2013" name="CANVAS">
        <Exploits>
            <Exploit cve="CVE-2019-5056" desc="Open-Realty &lt;= 2.4.3 Remote Code Execution" name="openrealty_exec"/>
            várias tags <Exploit> contendo o CVE...

Ou seja, dentro de <ExploitPackList> pode ter vários <CANVASExploitPack>, que por sua vez só tem um <Exploits>, contendo várias tags <Exploit>.

Também estou verificando se o CVE não está na lista obtida de lista.txt e também não está na lista de novos CVE's encontrados (não sei se há repetição nesse arquivo, então pode ser que checar na lista de novos seja redundante).

Depois você pega a lista dos novos CVE's e adiciona no final do arquivo (ou imprime a mensagem que nenhum foi encontrado, caso a lista esteja vazia):

if novos: # se a lista de novos não está vazia: https://docs.python.org/3/library/stdtypes.html#truth-value-testing
    with open('lista.txt', 'a') as arq: # opção "a" para adicionar conteúdo no final do arquivo
        for cve in novos:
            arq.write(f'\n{cve}')
else:
    print('Sem CVE Novo')

Claro que você poderia verificar com if len(novos) > 0:, mas como uma lista vazia é considerada False, eu posso fazer simplesmente if novos para saber se a lista novos tem algum elemento.

Eu vi que o arquivo lista.txt não termina com quebra de linha, por isso eu incluí o \n antes do CVE. Assim o último CVE não terá a quebra de linha depois dele, e sucessivas execuções do programa manterão o arquivo com um CVE por linha.


Um detalhe é que no XML há vários CVE's que não começam com "CVE-". Se quiser validar também esse formato, pode usar uma regex:

import xml.etree.ElementTree as ET
import re

r = re.compile(r'^CVE-\d{4}-\d{4,7}$')
tree = ET.parse('cve.xml')
root = tree.getroot()
for canvas in root:
    exploits = canvas[0]
    for exploit in exploits:
        cve = exploit.attrib['cve']
        if r.match(cve) and cve not in cve_list and cve not in novos:
            print('Novo CVE encontrado:', cve)
            novos.append(cve)

No caso, os marcadores ^ e $ indicam respectivamente o início e fim da string, garantindo assim que ela só tem o que está indicado na regex.

O atalho \d corresponde a dígitos e os quantificadores {4} e {4,7} indicam, respectivamente, "exatamente 4" e "no mínimo 4, no máximo 7".

Eu usaria regex somente para esta validação. Sei que muita gente deve pensar que também poderia usar para buscar os dados do XML, algo como:

r = re.compile(r'<Exploit cve="(CVE-\d{4}-\d{4,7})"')
with open('cve.xml') as arq:
    for linha in arq:
        m = r.search(linha)
        if m: # se encontrou CVE no formato indicado
            cve = m.group(1)
            # verifica se está na lista, etc...

Para casos simples pode até funcionar, mas regex não é a ferramenta adequada para esta tarefa. Basta mudar um pouco o XML que já não funciona mais. Por exemplo, e se tiver um trecho comentado:

    <!--
    <Exploit cve="CVE-2020-2240" desc="IBM Lotus Domino Web Server Accept-Language HTTP Header Buffer Overflow Vulnerability" name="d2sec_lotus_domino_http"/>
    <Exploit cve="CVE-2016-0915" desc="IBM Lotus Domino iCalendar Meeting Request Stack Overflow Vulnerability" name="d2sec_lotuscal2"/>
    <Exploit cve="CVE-2019-4467" desc="Oracle JInitiator ActiveX Buffer Overflow" name="d2sec_jinitiator"/>
-->

O xml.etree.ElementTree consegue detectar e ignorar corretamente as tags acima, mas a regex não. Isso porque o parser consegue analisar o contexto no qual cada tag está, mas a regex só avalia o trecho que indicamos (<Exploit cve="etc...).

Até é possível fazer uma regex que verifique se o trecho está dentro de um comentário, mas será que vale a pena fazer algo assim, enquanto que usando o parser o código é o mesmo (além de ser bem mais simples)?

E esse é só um caso, pois tem várias outras situações que exigirão que você mude a regex, e ela vai se tornando cada vez mais complicada (veja alguns exemplos aqui e aqui - apesar desses links tratarem de HTML, as mesmas explicações valem para XML).

Regex é legal, eu gosto bastante, mas nem sempre é a melhor solução.

2

A regex que você deve usar é:

CVE-\d{4}-\d{4,7}

Como ela funciona:

  • Ela procura pela sequencia "CVE -"
  • Se sucesso ela verifica se existem 4 dígitos em seguida "\d{4}"
  • Se sucesso ela verifica se existe a sequencia "-"
  • Se sucesso ela captura de 4 a 7 dígitos em seguida, dando prioridade para capturar mais dígitos "\d{4,7}"

Logo seu código deve ficar assim, incluí alguns comentários explicando o processo:

import lxml.etree as et
import re

#Declarando variáveis que usaremos para controlar se já encontramos novos CVE's

matchCounter = 0
newCveList = []

#Parte 1
#Vamos abrir o xml e transforma-lo em uma string para conseguirmos usar regex nele
xml = et.parse(
    './cve.xml')
contentXmlOnBytes = et.tostring(xml, pretty_print=False)
contentXmlOnString = contentXmlOnBytes.decode("utf-8")

#Parte 2
#Vamos pegar todos os CVE's do xml com regex e do arquivo txt
allXmlCve = re.findall(r'CVE-\d{4}-\d{4,7}', contentXmlOnString)

with open('./lista.txt') as arq:
    txtCveList = [linha.rstrip() for linha in arq]

#Parte 3 e 4
#Vamos comparar os resultados das listas e utilizar as 
#variaveis de controle para verificarmos se houveram novos CVE's 
#e imprimir os resultados
for cve in allXmlCve:
    if cve not in txtCveList and cve not in newCveList:
        print('Novo CVE encontrado:', cve)
        newCveList.append(cve)
        matchCounter = matchCounter + 1

if (matchCounter > 0):  
    with open('./lista.txt', 'a') as arq:
        for newCve in newCveList:
            arq.write(f'\n{newCve}')


if(matchCounter == 0):
    print('Sem CVE Novo')

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .