Se continuar optando pelo jQuery vc poderia fazer dessa forma:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    $(document).ready(function(){
      $("button").click(function(){
          $("button").removeClass("buttonClicked");
          $(this).addClass("buttonClicked");
      });
    });

<!-- language: lang-css -->

    .button-group{
        display: flex;
        justify-content: center;
        align-items: center;
    }
    .button-group > button {
        box-shadow: none;
        border: 1px solid #cecece;
        background: #ffffff;
        padding: 10px;
        cursor: pointer;
        margin: 5px;
    }

    .buttonClicked {
        background-color: #628cea !important;
        color: #fff;
    }

<!-- language: lang-html -->

    <script src="https://code.jquery.com/jquery-3.2.1.min.js"></script>

    <div class="button-group">
        <button>PRIMEIRO BOTÃO</button>
        <button>SEGUNDO BOTÃO</button>
        <button>TERCEIRO BOTÃO</button>
    </div>

<!-- end snippet -->