Uma das forma válidas para resolver este problema é realizando uma cópia profunda de listaUm.
Este processo pode ser obtido utilizando o método deepcopy da biblioteca copy
OBSERVAÇÃO:
Uma cópia profunda constrói um novo objeto composto e então, recursivamente, insere nele cópias dos objetos encontrados no original.
Desta forma podemos implementar o seguinte código:
from copy import deepcopy
listaUm = [1, 2, 3, 4]
listaDois = deepcopy(listaUm)
listaDois.remove(3)
print(listaUm)
print(listaDois)
Observe que este código, inicialmente, define listaDois como sendo uma cópia profunda da listaUm. Dessa forma, listaDois é uma cópia fiel de listaUm só que em outro endereço de memória.
Então, a partir deste momento poderemos remover quaisquer valor de listaDois sem interferir em listaUm.
Executando o referido código, obtemos como saída:
[1, 2, 3, 4]
[1, 2, 4]