É necessário definir a propriedade [`AllowUserToAddRows`][1] do `DataGridView` para *false*.

E para evitar uma exceção [`OutOfRangeException`][2], verifique antes se o índice da linha é válido.

    var index = e.RowIndex;
    if (index >= 0) {
        dataGridView1.Rows.RemoveAt(index);
    }


  [1]: https://msdn.microsoft.com/pt-br/library/system.windows.forms.datagridview.allowusertoaddrows%28v=vs.110%29.aspx
  [2]: https://msdn.microsoft.com/pt-br/library/system.argumentoutofrangeexception%28v=vs.110%29.aspx