A impressão final está imprimindo as 10 posições do array de notas que estiveram acima da média, só pode imprimir a quantidade de notas que foram inseridas lá, ou seja, só pode ir até j
(nome ruim para variável já que não indica o que ela é). Uma outra solução seria só marcar como dado inválido as posições não utilizadas e depois verificar se é inválido (poderia até marcar a primeira posição inválida e fazer parar a leitura das outras), mas não gosto disto. Já não gosto nem de usar um array fixo para isso, mas entendo o uso em exercício. Talvez tenha algum problema de lógica também, mas não posso falar sobre isso. Algo assim:
#include <stdio.h>
int main(void) {
double notas[10];
for (int i = 0; i < 10; i++) {
printf("Digite %d: ", i);
scanf("%lf", ¬as[i]);
}
int j = 0, count = 0;
double soma = 0;
for (int i = 0; i < 10; i++) {
if (notas[i] > 5) {
soma = soma + notas[i];
count++;
}
}
double media = soma / count;
int P[10];
for (int i = 0; i < 10; i++) {
if (notas[i] >= media) {
P[j] = i;
j++;
}
}
printf("%.2lf\n", media);
for (int i = 0; i < j; i++) {
printf("%d ", P[i]);
}
}
Veja funcionando no ideone. E no repl.it. Também coloquei no GitHub para referência futura.
Os números "grandes" que aparecem é lixo de memória, já que está acessando posições do array que não foram inicializados no programa ele pega qualquer porcaria que tinha na memória antes de sua execução. Em C o gerenciamento integral de memória tem que ser feito manualmente.