Faça isto:

    foreach (DataRow row in dt.Rows) {
        foreach (DataColumn column in dt.Columns) {
            txt += row[column.ColumnName].ToString() + ";";
        }
        txt = txt.TrimEnd(";") + "\r\n";
    }

Documentação do [`TrimEnd()`][1].

Na verdade não recomendo fazer isto. Se tem mais do que 4 concatenações de *string*, deve usar [`StringBuilder`][2], para evitar o problema do [Shlemiel the painter's algorithm][3]. O algoritmo como está é quadrático e pode levar muito mais tempo do que o esperado fazendo realocações sem necessidade, acabando também com o coletor de lixo.

    var txt = new StringBuilder(); //se tiver uma estimativa de tamanho que ela terá, coloque aqui
    foreach (DataRow row in dt.Rows) {
        foreach (DataColumn column in dt.Columns) {
            txt += row[column.ColumnName].ToString() + ";";
        }
        txt = txt.Remove(txt.Length - 1, 1); + "\r\n";
    }

[Coloquei no **GitHub** para referência futura][4].

Compare a performance entre ambos.


  [1]: https://msdn.microsoft.com/en-us/library/system.string.trimend(v=vs.110).aspx
  [2]: https://msdn.microsoft.com/en-us/library/system.text.stringbuilder(v=vs.110).aspx
  [3]: http://www.joelonsoftware.com/articles/fog0000000319.html
  [4]: https://github.com/maniero/SOpt/blob/master/CSharp/String/BuildFromDataRow.cs