Você pode utilizar a função file para abrir o arquivo e jogar todo o conteúdo dele em um array.
Depois basta utilizar a função array_unique para remover as linhas idênticas.
01.txt
valdeir
psr
naval
fuz. nav
valdeir
valdeir psr
stackoverflow
Código PHP
<?php
$files = glob("*.txt");
$content = [];
foreach($files as $file) {
$content = array_merge($content, file($file, FILE_IGNORE_NEW_LINES));
}
$contentUniq = array_unique($content);
var_export($contentUniq);
Output
array (
0 => 'valdeir',
1 => 'psr',
2 => 'naval',
3 => 'fuz. nav',
5 => 'valdeir psr',
6 => 'stackoverflow',
)