Boa noite, use a função do jquery keypress
keycode = 13 para o enter.
A função .slice(-8)
vai recuperar os últimos 8 carácteres digitados para a verificação "/regras"
<!DOCTYPE html>
<html>
<head>
<title>Exemplo</title>
</head>
<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.3.1/jquery.min.js">
</script>
<script>
$( document ).ready(function() {
$("#emsg").keypress(function (e) {
var key = e.which;
if(key == 13) {
console.log($("#emsg").val().slice(-8));
if ($("#emsg").val().slice(-8) == "/regras") {
window.open('www.google.com.br', '_blank');
}
}
});
});
</script>
<body>
<textarea id="emsg"></textarea>
</body>
</html>
Lembre-se que ao usar o jquery você deve colocar seus métodos dentro de $( document ).ready(function() {});