Neste exemplo, você pode definir na função que, caso os valores ultrapassem a restrição, ela recebe valor infinito:

    fr <- function(x){
      if(x[1]+4*x[2] > 3 ){value<-Inf}
      else{
        x1 <- x[1]
        x2 <- x[2]
        -(5-(x1-2)^2-2*(x2-1)^2)
      }
    }

Resolvendo:

    optim(c(1,0),fr)
    $par
    [1] 1.6666193 0.3333452
    
    $value
    [1] -4