Este é um placeholder para uma consulta parametrizada (parameterized query).
É um parâmetro anônimo para a query. Ele é usado para evitar SQL Injection mesmo, mas não só. Com ele não dá para injetar partes de uma query dentro da sua query.
Seria algo como usar "SELECT * FROM tabela WHERE username = $par1 OR username = $par2"
mas tem a vantagem que é controlado pelo banco de dados através da API do PHP ao invés de puramente pelo PHP, portanto é bem mais seguro. O banco de dados terá a query pronta esperando o parâmetro. Não é uma string com a query. O SQL injection ocorre por causa da manipulação de strings que, por acaso, contém queries.
Uma das formas de usar seria:
$stmt = $mysqli->prepare("SELECT * FROM tabela WHERE username = ? OR username = ?");
$stmt->bind_param('ss', $userName, $userName);
Desta forma há a vinculação da variável $userName do PHP para os dois parâmetros que a query SQL está esperando.
Este é um recurso disponível no banco de dados. Isto é chamado de prepared query. Originalmente é usado para agilizar a execução da query. Com ele uma query é cacheada pelo planejador do banco de dados permitindo algumas otimizações já que apenas os parâmetros são diferentes mas a execução segue o mesmo esquema sempre. Em alguns casos o ganho pode ser considerável.
Como consequência você ganha uma segurança maior contra SQL injection. Mas é importante notar que a segurança vem mais por um efeito colateral do recurso. Você evita que algo assim possa acontecer sem o programador perceber:
$query = "SELECT * FROM tabela WHERE username = $userName";
Suponha que alguém digite e $userName
receba "" OR 1 = 1; DROP TABLE tabela;
. Pronto, sua tabela foi para o espaço.
Este recurso de prepared query é disponibilizado pela API mysqli do PHP e é usado da forma indica acima.
Usei o exemplo do MySQL que é o banco de dados mais usado com PHP mas pode ser usado com qualquer outro banco de dados que forneça alguma forma de "consultas preparadas". Portanto não precisa usar apenas a mysqli
. Se o banco de dados e a API do PHP que faz o acesso fornecerem o recurso, é possível usá-lo de forma padronizada. Portanto não é algo que o PHP faz por você, isto vem do banco de dados.
Só para complementar:
$stmt = $pdo->prepare("SELECT * FROM tabela WHERE username = :user OR username = :user");
$stmt->bindParam(':user', $userName);
Coloquei no GitHub para referência futura.
Isto é o PDO onde você tem mais controle como o parâmetro é usado, você coloca mais significado do que está passando e onde ele é usado. Não estou dizendo que o PDO é necessariamente melhor. Em alguns casos a sintaxe pode ser um pouco diferente.
Referência.
Sintaxe do SQL do MySQL se for usar o recurso independente do PHP ou quiser entender melhor o recurso.