Para o seu cenário utilize a função do JQuery prev(). Esta função retorna o elemento irmão precedente.
function getValor(button) {
const $button = $(button); //Convertendo objeto JS para objeto JQuery
const value = $button.prev().val(); //Utilizando método prev() e val() do JQuery
alert(value);
};
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
<input value="1" name="valor[]" class="produtos" type="text"><button onclick="getValor(this)">GetValor</button><br>
<input value="2" name="valor[]" class="produtos" type="text"><button onclick="getValor(this)">GetValor</button><br>
<input value="3" name="valor[]" class="produtos" type="text"><button onclick="getValor(this)">GetValor</button><br>
<input value="4" name="valor[]" class="produtos" type="text"><button onclick="getValor(this)">GetValor</button><br>
<input value="5" name="valor[]" class="produtos" type="text"><button onclick="getValor(this)">GetValor</button>