Consegui fazer, obrigado @AugustoVasques, eu acabei encontrando o caminho a partir do que você disse:
var bound = current.getBoundingRect(),
ang = Math.round(current.get('angle')),
distance = (ang > 72 && ang < 102) ? 50 : 24;
btnLeft = area_x + ((bound.left + bound.width + distance) * $scope.zoomParams.scale);
btnTop = area_y + ((bound.top) * $scope.zoomParams.scale);