Existem algumas maneiras de fazer parsing em arquivos, e cada uma funciona para uma finalidade.
i. A mais simples é user o open, que é nativo do Python.
my_file = []
openfile = open('file.txt')
lines = openfile.readlines()
for i in lines:
temp = i.split(sep="|")
my_file.append(temp)
**O método readlines é muito bom porque retorna um chunk com todas as linhas, a partir daí você pode transformar em lista ou qualquer outro tipo. Se for um arquivo grande, você vai precisar ler as linhas uma a uma.
ii. Outra opção é usar o Numpy, que retorna um array, que possibilita várias funcionalidades no que diz respeito a manipulação de números.
import numpy as np
my_np_file = np.loadtxt('file.txt',delimiter = '|', dtype=str)
iii. Uma terceira seria o Pandas, que já foi descrito acima. Ele é muito bom pois você pode trabalhar com séries temporais e indexação de linha e coluna.
**O Numpy e o Pandas tem problemas com arrays muito grandes(~ > 2gb ), então se esse for o caso, possivelmente você tenha que escolher entre outras soluções mais específicas para esse tamanho de arquivo.