0

Quero processar os dados em um caderno unsupervised.py. No entanto, toda vez que eu inicio, meu computador quase congelar e parece que o kernel morre. Parece ser gerado por causa de um erro de gerenciamento de memória. Em particular, é quando eu executo o ** passo 3 ** da seguinte função:

>>>train.shape
(130318, 4)
>>>len(dict_emb)
179862
>>>def process_data(train):

    print("step 1")
    train['sentences'] = train['context'].apply(lambda x: [item.raw for item in TextBlob(x).sentences])

    print("step 2")
    train["target"] = train.apply(get_target, axis = 1)

    print("step 3")
    train['sent_emb'] = train['sentences'].apply(
        lambda x: [dict_emb[item][0] 
        if item in dict_emb 
        else np.zeros(4096) for item in x)

>>>train = process_data(train)

Talvez seja um problema de memória? Existem soluções online? Por enquanto, vou experimentar o Google Collaboratory ...

Talvez transformar isso em um loop que irá lidar com um problema por pacote de linhas? Minha tentativa:

for i in range(0,len(train.shape[0]-200,200)):
    print(i)
    train['sent_emb'] = train['sentences'].iloc[i,i+200].apply(
        lambda x: [dict_emb[item][0] 
        if item in dict_emb 
        else np.zeros(4096) for item in x])      

Mas isso me dá vários erros:

step 1
step 2
step 3

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-26-d3e879a8c753> in <module>()
----> 1 train = process_data(train)

<ipython-input-25-7063894d5c9a> in process_data(train)
     10     #train['sent_emb'] = train['sentences'].apply(lambda x: [dict_emb[item][0] if item in\
     11     #                                                       dict_emb else np.zeros(4096) for item in x])
---> 12     train['quest_emb'] =[]
     13     for i in range(0,len(train.shape[0]-200,200)):
     14         print(i)

~/Documents/programming/mybot/mybotenv/lib/python3.5/site-packages/pandas/core/frame.py in __setitem__(self, key, value)
   3117         else:
   3118             # set column
-> 3119             self._set_item(key, value)
   3120 
   3121     def _setitem_slice(self, key, value):

~/Documents/programming/mybot/mybotenv/lib/python3.5/site-packages/pandas/core/frame.py in _set_item(self, key, value)
   3192 
   3193         self._ensure_valid_index(value)
-> 3194         value = self._sanitize_column(key, value)
   3195         NDFrame._set_item(self, key, value)
   3196 

~/Documents/programming/mybot/mybotenv/lib/python3.5/site-packages/pandas/core/frame.py in _sanitize_column(self, key, value, broadcast)
   3389 
   3390             # turn me into an ndarray
-> 3391             value = _sanitize_index(value, self.index, copy=False)
   3392             if not isinstance(value, (np.ndarray, Index)):
   3393                 if isinstance(value, list) and len(value) > 0:

~/Documents/programming/mybot/mybotenv/lib/python3.5/site-packages/pandas/core/series.py in _sanitize_index(data, index, copy)
   3999 
   4000     if len(data) != len(index):
-> 4001         raise ValueError('Length of values does not match length of ' 'index')
   4002 
   4003     if isinstance(data, ABCIndexClass) and not copy:

ValueError: Length of values does not match length of index
5
  • Já tentou executar a linha em um subset do DataFrame? Ex.: train['sent_emb'] = train['sentences'].iloc[:200].apply( ... Commented 11/08/2018 às 12:54
  • @PedrovonHertwig talvez eu não tenha entendido nada, mas eu substituí meu código com o seu com .iloc [] e funcionou! Eu não entendo! Commented 11/08/2018 às 14:02
  • @PedrovonHertwig Então, se eu quiser fazer isso em todos os exemplos que eu faço train['sent_emb'] = train['sentences'].iloc[:130318].apply( ...? Commented 11/08/2018 às 14:15
  • o iloc seleciona por índices. O intuito de usar o iloc[:200] era que ele aplicasse a operação só nas primeiras 200 linhas pra ver se o problema é realmente a memória; me parece estranho que funcione com .iloc[:130318] e não sem iloc. Bizarro! Commented 11/08/2018 às 14:30
  • @PedrovonHertwig Não, você está certo, não funciona usando iloc em tamanho real. Este é um problema de memória. Talvez eu pudesse cortar em vários pedaços? Commented 11/08/2018 às 14:49

0

Você deve fazer log-in para responder a esta pergunta.

Pesquise outras perguntas com a tag .