Neste exemplo, você pode definir na função que, caso os valores ultrapassem a restrição, ela recebe valor infinito:
fr <- function(x){
if(x[1]+4*x[2] > 3 ){value<-Inf}
else{
x1 <- x[1]
x2 <- x[2]
-(5-(x1-2)^2-2*(x2-1)^2)
}
}
Resolvendo:
optim(c(1,0),fr)
$par
[1] 1.6666193 0.3333452
$value
[1] -4