Vou deixar aqui como resolvi o problema, é uma gambiarra e provavelmente não é a solução ideal, mas funciona.
Primeiro peguei o elemento que ficava embaixo dessa div (A div estava tampando esse elemento). Vou chamá-lo de imagem aqui.
imagem.onmouseover = function(){
minhaDiv.classList.add("classe");
};
Esse evento só acontece depois que a div já é removida, ou seja, não vai acontecer se o context menu já não tiver sido chamado. Aí é só o usuário passar o mouse na imagem
que a classe é readicionada.
Só foi possível resolver assim porque a tal classe continha as informações de tamanho da div, então a div basicamente sumia sem ela.
minhaDiv.classList.add("classe")
?