Fiz a primeira forma seguindo o exemplo colocado na pergunta original, repetindo o valor. Já duvidada que fosse isto, mas respondi assim mesmo. Tem maneiras mais simples de fazer isto.
A segunda é o jeito de fazer o que realmente deseja, de acordo com os comentários e edição da pergunta. E a terceira é a forma simplificada para obter o mesmo resultado.
//solução baseada na pergunta original
$tam = 4;
$minhastring = '';
$valor = 'teste';
for ($i = 0; $i < $tam; $i++) $minhastring .= $valor . ',';
$minhastring = substr($minhastring, 0, -1);
echo $minhastring . "\n";
//solução para a pergunta real
$minhastring = '';
$valor = Array('teste0', 'teste1', 'teste2', 'teste3');
$tam = count($valor);
for ($i = 0; $i < $tam; $i++) $minhastring .= $valor[$i] . ',';
$minhastring = substr($minhastring, 0, strlen($minhastring) - 1);
echo $minhastring . "\n";
//a mesma solução com função pronta - recomendada
$minhastring = implode($valor, ",");
echo $minhastring;
Veja funcionando no ideone. E no repl.it. Também coloquei no GitHub para referência futura.
$valor
uma quantidade de vezes? Ou essa variável está errada aí?