Creio que na pergunta complicou a regex demais. Veja assim.  
Primeiro ficar só com o que está entre `(` e `)`. Como estes caracteres são caracteres especiais é preciso usar `\\(` e `\\)`. É isso que o `sub` faz.  
Depois substituir o ponto e vírgula `;` por um espaço. Como pode (?) haver mais que um `;`, usei o `gsub`.

    gsub(";", " ", sub("^.*\\((.*)\\)", "\\1", XLOCAL))
    #[1] "04°27'S 71°30'W" "02°15'N 55°59'W" "02°26'S 47°30'W"
    #[4] "02°04'S 47°33'W"

Isto é equivalente (é exatamente a mesma coisa) ao seguinte, dividido em duas instruções para ser mais legível.

    tmp <- sub("^.*\\((.*)\\)", "\\1", XLOCAL)
    XLOCAL <- gsub(";", " ", tmp)

**Dados em formato `dput`.**  

    XLOCAL <-
    c("Estirão do Equador, Rio Javari (04°27'S;71°30'W)", 
    "Alto Rio Paru de Oeste, Posto Tiriós (02°15'N;55°59'W)", 
    "Ipixuna do Pará, Rodovia Belém-Brasília km 92/93 (02°26'S;47°30'W)", 
    "Aurora do Pará, Rodovia Belém-Brasília km 86 (02°04'S;47°33'W)")

Esta instrução cria um **vetor**. Se quiser uma dataframe, depois de correr a instrução acima, faça

    dados <- data.frame(XLOCAL)

A seguir, no código onde está apenas `XLOCAL` deverá ser `dados$XLOCAL`.