Uma forma de fazer isso e colocando um container por fora do input
e button
para agrupar, e modificando um pouco seu javascript veja abaixo
function getValor(button){
var $button = $(button),
$input = $button.parent().find("input"),
/// ; ^ ^ buscar por input
/// ; pega a div que esta agrupando
valor = $input.val();
alert(valor)
}
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
<div>
<input value="1" name="valor[]" class="produtos" type="text">
<button onclick="getValor(this)">GetValor</button>
</div>
<div>
<input value="2" name="valor[]" class="produtos" type="text">
<button onclick="getValor(this)">GetValor</button>
</div>
<div>
<input value="3" name="valor[]" class="produtos" type="text">
<button onclick="getValor(this)">GetValor</button>
</div>
<div>
<input value="4" name="valor[]" class="produtos" type="text">
<button onclick="getValor(this)">GetValor</button>
</div>
<div>
<input value="5" name="valor[]" class="produtos" type="text">
<button onclick="getValor(this)">GetValor</button>
</div>