O ideal seria fazer um exemplo mínimo, completo e verificável, assim poderia dar uma resposta mais adequada, na falta disto vai a resposta genérica conforme a [documentação][1].

    a = {}
    b = {}
    setmetatable(a, b)
    b.__mode = "v"
    tabela = {}
    a[1] = tabela
    tabela = {}
    a[2] = tabela
    collectgarbage()
    for k, v in pairs(a) do print(v) end

Veja [funcionando no ideone][2]. Também [coloquei no Github para referência futura][3].

O modo `v` atribuído com `setmetatable` torna os valores da tabela como referências fracas que é o que deseja. A letra `k` faz o mesmo com as chaves.


  [1]: https://www.lua.org/pil/17.html
  [2]: http://ideone.com/rHXYDv
  [3]: https://github.com/bigown/SOpt/blob/master/Lua/WeakReferences.lua