TL;DR
Algumas afirmações na pergunta usam premissas contemporâneas. Tem que abandonar tudo isso para entender o funcionamento dos computadores "antigos". E duvido que algo sucinto vá dar uma ideia boa de como os computadores funcionavam. Na verdade isso só acontecerá mais concretamente com muito estudo. É muita variação.
0s e 1s podem ser armazenados e processados de diversas formas. Sua entrada e saída também.
seria preciso ter outra linguagem de programação para se criar o assembler
Não precisa. Você pode fazer na mão. Não é uma tarefa agradável para um ser humano, mas era o que tinha. E isso, acho eu que, decifra muito da dúvida.
Na premissa da pergunta não houve uma primeira linguagem de programação em computadores. Ela só existia no papel. Alguém escrevia o que o programa deveria executar, transformava ali mesmo em códigos numéricos e depois eram convertidos para binário, tudo na mão, exatamente como o computador faz, exceto a conversão para binário porque internamente tudo já é binário mesmo. Internamente a linguagem era código binário.
Então o Assembly, ou uma forma rudimentar dele, existia só no papel. O montador era humano. O montador automatizado surgiu depois, já que não fazia sentido não usar o computador para automatizar um monte de problema, mas não automatizar o seu próprio problema.
As linguagens de alto nível nasceram assim também. Cansaram de escrever algo compreensível e depois também escrever o Assembly para executar aquilo.
o resultado de uma montagem é outro arquivo no formato texto com 0's e 1's apenas?
De certa forma podemos dizer que sim, mas não é uma definição precisa.
Ou são impulsos elétricos enviados para a máquina valvulada.
Tudo em computadores são pulsos elétricos. Mas não é fácil um ser humano gerar esses pulsos por conta própria, então um dispositivo eletromecânico é usado para ser gerado. Chaves são usadas para gerar isso. Até hoje usamos chaves para entrar esses dados. Em inglês chave é key, que nós chamamos de tecla. Então um painel de chaves é um keyboard, que chamamos de teclado. Essas chaves são organizadas de forma mais fácil para nós usarmos do que eram as chaves nos primórdios.
Os códigos binários eram introduzidos por chaves mecânicas de liga e desliga. Sim, entrava bit por bit.
Introdução
Computadores digitais, ou seja, eletrônicos baseados em 0 e 1 foram criados na década de 30/40. Mais ou menos junto com os computadores programáveis, ou seja, era uma máquina universal de Turing. Pelo menos é o que a história conta. Sempre há quem possa dizer que aconteceu um pouco diferente da história oficial.
Inicialmente toda informação era armazenada em uma forma rudimentar de memória (outro exemplo e a mais usada por muito tempo). Na verdade cada computador tentava uma nova forma um pouco diferente ou um caminho bem diferente, até que uma forma acabou predominando. Mas a memória como conhecemos hoje só surgiu nos anos 70.
Há disputa sobre qual foi o primeiro computador. Por muito tempo o ENIAC foi considerado oficialmente. Mesmo que não seja verdade é importante para entender a evolução. O artigo da Wikipedia tem muitos detalhes que ajudam entender seu funcionamento.
O problema da pergunta é que parece que houve um evento único que estruturou tudo. Na verdade houve muita experimentação, nem todas ficaram tão famosas. Diversos caminhos foram percorridos.
O Mark I (uma das variações) foi um computador importante criado pelo John Von Newmann, creditado como o criador da arquitetura básica dos computadores "modernos". Outra variação também é importante a evolução. Se quiser detalhes mesmo siga os links. É difícil entender tudo sem pegar todos os detalhes.
Há uma lista de computadores que iniciaram a história e que, via de regra, eram programados na mão.
Esqueça essa ideia de arquivos, de textos. Era binário mesmo. Pense concretamente.
Como funcionava
Até houve algum ponto que alguém "programou" o computador rearranjando válvulas. Mas isso não pode ser considerado programação como conhecemos hoje. Rapidamente se percebeu que se precisava de uma forma mais volátil. Precisava que o programa fosse entrado de alguma forma (e até poderia ainda ser cartão perfurado), armazenado e fosse seguido conforme ditava a teoria de Alan Turing.
Deve imaginar que não havia muito espaço para erro. O programador tinha que ter certeza que seu código não tinha erros. Todos precisavam ser verificados no olho. Claro que naquela época só tinha gente boa trabalhando com isso, eram cuidadosos porque sabiam que não podiam errar, e dominavam todo o processo, afinal eles tinham inventado tudo, e, é claro, só faziam coisas muito simples, para os padrões atuais.
A entrada de dados nada tem a ver com a programação em si. Assim como hoje, programas são dados com um propósito especial. Então se estava entrando com números para calcular ou números que instruíam o computador sobre o que fazer, pouco importava, assim como hoje se você está usando o teclado para mandar uma mensagem ou para criar um programa.
Um dos problemas de ficar mexendo nas chaves é que no momento que ia colocar outro programa, o atual era perdido, obviamente. Aí começaram usar cartões perfurados para os programas (ou fitas de papel). Os cartões eram perfurados de acordo com os bits que haviam sido programados previamente no papel. Então nunca se perdia (a não ser por deterioração do material, mas ele podia ser reproduzido).
Claro que o cartão era só usado com meio de entrada mesmo. Ele modificava chaves conforme tinha furo ou não. O processo mecânico específico mudava mas o conceito e funcionamento básico era o mesmo.
Note que isso não importa muito. As abstrações criadas é que permitiram a produtividade dos programadores. Por isso as linguagens de maior nível foram sendo criadas. Elas foram conveniências para o humano.
Também precisava de produtividade na entrada de dados. O ganho não é tão grande, mas importante. Assim como tinham teclados para perfurar os cartões, pelo menos em versões mais modernas dos perfuradores, perceberam que poderiam fazer o teclado já mudar as chaves de programação. Claro que já não eram mais mecânicas, pelo menos não puramente.
Cartões perfurados eram usados em computadores mecânicos para entrada de dados puros, não de programas que não existiam.
A imagem abaixo começa mostrar o computador como conhecemos hoje. Isso já era meio da década de 60. Ali havia a entrada por teclado, a saída por impressora ou vídeo, armazenamento por meio magnético (que já está se tornando obsoleto), ainda sequencial, embora talvez tenha um meio randômico em algum lugar não visível. Tinha pouco porque era muito caro.
Veja como o que é considerado o primeiro micro-computador em 1975 era tão simples que funcionava como os primeiros computadores modernos da década de 40. Ele podia ter um teclado opcional, não sei se logo na primeira versão.
Veja o simulador dele. Tente programar.
A primeira linguagem
No sentido da pergunta acredito que o código binário é a primeira linguagem de programação. Ainda que seja altamente provável que existia algo mais abstrato antes.
Não tenho evidências, mas é possível que pelo menos uma forma de Assembly tenha sido usado como primeira linguagem desses computadores modernos, mas não usada em computadores, só no papel. Se for considerar o que foi feito em papel para construir máquinas computacionais, então tem que ver o que a Ada Lovelace usou, a Note G, conforme mostrado abaixo.
As linguagens de alto nível foram criadas inicialmente para dar mais poder cognitivo aos programadores. Mas também foi uma forma de não depender das instruções específicas de um computador e poder ser entendido por qualquer computador, dado uma transformação, manual ou não (naquele momento já se usava montadores e a criação de um compilador foi o passo natural).
Conclusão
Tudo é evolução. Tem que dar um passo de cada vez, e são muitos. Tem que criar primeiro o ovo pra depois a galinha. Ou seria o contrário? Felizmente esse dilema não existe na computação, primeiro veio o binário (que já é um conceito abstrato), depois o código numérico (que é um nível mais alto), mais tarde o texto com o Assembly e só na década de 50 surgiram as linguagens mais abstratas e próximas do que nós humanos entendemos.
Para mostrar melhor terei que ir mais a fundo, teria que mostrar cada passo. Fica longo demais. Os links já ajudam pesquisar mais. Não pode ter preguiça de clicar neles todos aqui, nem na Wikipedia. É, cansa, mas é o único jeito para aprender tudo e entender por completo.
Há uma pergunta sobre o funcionamento dos processadores modernos. Não é tão diferente do início, ainda que tiveram "vários inícios".
Também útil: Como é desenvolvida uma linguagem de programação?.
Coloquei no GitHub para referência futura.