Na verdade para enviar o `Last-Modified` não precisa do `If-Modified-Since`, o `If-Modified-Since` na verdade já é consequência do `Last-Modified`, então se a pretensão é de enviar apenas o `filemtime($arquivo)` como `Last-Modified` para a resposta HTTP, bastaria um `gmdate` com os parametros na ordem correta, pois o `filemtime` já trabalha com Unix time, algo como:

    $modified = filemtime(<arquivo>);

    header('Last-Modified: ' . gmdate('D, d M Y H:i:s', $modified) . ' GMT');

Você pode escapar o GMT com `\G\M\T` ou usar o `T`, mas é irrelevante, o valor esperado deve ser GMT mesmo, faça como achar mais agradável.

O `If-Modified-Since` sendo consequencia do último `Last-Modified` será usado se precisar comparar o que tem no servidor com o que tem no cliente, então é por isso que nas próximas requisições ao mesmo endereço poderá trabalhar esse valor, comparando você poderá diminuir a carga de download, usando o código 304:

    $modified = filemtime(<arquivo>);

    if (<If-Modified-Since> >= $modified) {
        http_response_code(304);
        exit;
    }

    header('Last-Modified: ' . gmdate('D, d M Y H:i:s', $modified) . ' GMT');

    readfile(<arquivo>);

Nesse pseudocódigo enviamos o arquivo para a resposta HTTP somente se o arquivo tiver sido modificado, caso contrário o navegador (ou outro sistema de cliente que trabalhe com HTTP) deve entender que nada mudou e portanto deverá reaproveitar o cache existente.

É possível também trabalhar em conjunto com `E-tag` ou usar apenas `E-tag`, não necessariamente é obrigado a trabalhar com ambos, a ideia do `E-tag` é ter um meio de confirmar se não houve mesmo modificação, ele pode conter a versão ou uma "hash" (valor ASCII), existe o indicado do E-tag se está usando um validador fraco ou não, mas tudo isso é outra história e vai muito além.

Voltando ao foco, então só se realmente o objetivo é usar o `304 Not Modified` que o código a seguir será útil:

    $data = date_create_from_format('D, d M Y H:i:s T', <If-Modified-Since>);
    
    if ($data && filemtime(<arquivo>) > $data->getTimestamp()) {
        etc...
    }

O objetivo disso seria validar o valor enviado no header, já que o header da requisição HTTP pode ser manipulado, então uma ideia de implementação semi-funcional seria:

    $modified = filemtime($arquivo);

    $data = date_create_from_format('D, d M Y H:i:s T', <If-Modified-Since>);
    
    if ($data && $data->getTimestamp() >= $modified) {
        http_response_code(304);
        exit;
    }

    header('Last-Modified: ' . gmdate('D, d M Y H:i:s', $modified) . ' GMT');

    readfile($arquivo);

Pela lógica tem que ser `>=` e não `>` porque se o arquivo não mudou os valores serão "iguais".

Essa implementação toda pode ser feita até mesmo em "frameworks" que tem interface própria de HTTP e prévalidar o header de requisição `If-Modified-Since` em algum tipo de middleware, ou talvez o próprio framework ou o servidor HTTP valide isso, mas não posso afirmar por todas tecnologias, só quero dizer que dependendo do cenário talvez a validação possa ser dispensável nesse ponto da execução se outra tecnologia já implementar.

Vale lembrar que no exemplo usei a função `readfile`, mas até aonde usei ela foi problemática com arquivos grandes, o ideal para arquivos grandes seria usar `fopen` + `flush`, mas isso é questão de otimização, que vai muito além do que é perguntando.