5

Estou tentando criar diversas task (async) elas irão executar a seguinte lógica:

  1. Fazer o Parse de um Html com base em uma url recebida com o HtmlAgilityPack
  2. Retornar uma model produto após o parse
  3. Inserir o Produto no database
  4. Fazer download das imagens do produto
  5. Marcar url como lida

os itens 1 e 4, principalmente o 4 demoram por causa da velocidade do link da internet, então por isso eles devem ser async. Porém estou com dificuldades, todo meu código roda, porém de forma sincrona.

 private static void Main(string[] args)
{
     IEnumerable<UrlsProdutos> registros = db.UrlsTable.Where(w => w.Lido == false).Take(1000);

  ExecutaTarefasAsync(registros).Wait();
}


  public static async Task ExecutaTarefasAsync(IEnumerable<UrlsProdutos> registros)
        {
            var urlTasks = registros.Select((registro, index) =>
            {
                Task downloadTask = default(Task);

                //parsing html
                var produtoTask =  ExtraiDados.ParseHtml(registro.Url);
                if (produtoTask.IsCompleted)
                {
                    var produto = produtoTask.Result;
                    //aqui faço um insert com Dapper
                    downloadTask = InsertAdo.InsertAdoStpAsync(produto);
                }

                //marca url como lida, igual ao insert do produto
                InsertAdo.MarcaComoLido(registro.UrlProdutoId);

                Output(index);

                return downloadTask;
            });

            await Task.WhenAll(urlTasks);
        }

        public static void Output(int id)
        {
            Console.WriteLine($"Executando {id.ToString()}");
        }

O insert fiz um fixo só para testar

public static async Task InsertAdoStpAsync(Imovel imovel)
{
    var stringConnection = db.Database.Connection.ConnectionString;
    var con = new SqlConnection(stringConnection);
    var sqlQuery = "insert tblProdutos...etc..etc"
    con.ExecuteAsync(sqlQuery);
}

Não sei se cada função deve ser async. ou se eu poderia selecionar tipo o Download e o parse ser async..

O meu sistema de download de fotos async funciona perfeitamente.

  public static async Task DownloadData(IEnumerable<FotosProdutos> urls)
        {
            var urlTasks = urls.Select((url, index) =>
            {
                var filename = "";

                var wc = new WebClient();
                string path = "C:\teste\" + url.FileName;

                var downloadTask = wc.DownloadFileTaskAsync(new Uri(url), path);
                return downloadTask;
            });

            await Task.WhenAll(urlTasks);
        }

Preciso de ajuda para fazer e entender como o ExecutaTarefasAsync ser realmente async igual ao fotos que hj nem consegui ainda incorporar nesse projeto.

OBS: Não sei se o download das fotos faço lá no parse ou se coloco nessa task.

2 Respostas 2

4

Um ponto que eu sempre reforço em questões sobre async/await: ele não torna a execução de um método assíncrona por si só, apenas permite ao programador escrever métodos em um fluxo de execução próximo ao que seria escrito para métodos síncronos. A grande questão, é que async/await sinaliza ao compilador que ao encontrar um await, irá esperar até que a execução seja finalizada, mas sem bloquear a Thread principal (Thead de UI em Windows Forms ou Thread do pipeline do IIS em aplicações web, por exemplo).

Sobre o seu caso em específico, o uso de async/await não está correto. Quando um método é async, apesar de você dizer que ele retorna um Task, não significa que quem usa ele necessita pegar essa Task como um retorno. Ao utilizar o await em sua chamada, você já está dizendo ao compilador que ele deve esperar a execução do método. Não sei se consegui explicar de maneira clara, mas acho que com o exemplo vai dar pra entender essa dinâmica.

Para tornar a execução realmente assíncrona, em questão de fazer com que cada registro execute em Threads diferentes de forma "paralela", eu fiz o seguinte:

// fiz as classes aqui só pra conseguir executar e mostrar um caso de execução com 5 segundos de duração pra cada chamada

public class FotosProdutos
{
    public string FileName { get; set; }
    public string Url { get; set; }
}

public class UrlsProdutos
{
    public int UrlProdutoId { get; set; }
    public string Url { get; set; }
}

public class Imovel
{

}

public class InsertAdo
{
    public static async Task InsertAdoStpAsync(Imovel imovel, int index)
    {
        await Task.Delay(TimeSpan.FromSeconds(5));

        Console.WriteLine(String.Format("{0} - InsertAdoStpAsync {1}", DateTime.Now, index));
    }

    public static async Task MarcaComoLido(int urlProdutoId, int index)
    {
        await Task.Delay(TimeSpan.FromSeconds(5));

        Console.WriteLine(String.Format("{0} - MarcaComoLido {1}", DateTime.Now, index));
    }
}

public class ExtraiDados
{
    public static async Task<Imovel> ParseHtml(string url, int index)
    {
        await Task.Delay(TimeSpan.FromSeconds(5));

        Console.WriteLine(String.Format("{0} - ParseHtml {1}", DateTime.Now, index));

        return new Imovel();
    }
}

class Program
{
    static void Main(string[] args)
    {
        // coloquei qualquer coisa aqui só pra eu conseguir reproduzir sem a sua dependência de Dapper
        IEnumerable<UrlsProdutos> registros = new List<UrlsProdutos>() { new UrlsProdutos { UrlProdutoId = 1 }, new UrlsProdutos { UrlProdutoId = 2 }, new UrlsProdutos { UrlProdutoId = 3 } };

        // Roda uma Task diferente pra cada registro.
        // Do jeito que você estava fazendo, sem o Task.Run(), acontecia basicamente a mesma coisa que um loop for executando item a item sincronamente a sua coleção
        var tarefas = registros.Select((registro, index) =>
        {
            return Task.Run(async () => await ExecutaTarefaAsync(registro, index));
        });

        Task.WaitAll(tarefas.ToArray());

        // espera mais um pouco só pra vermos uma diferença até o log de fim
        Task.Delay(TimeSpan.FromSeconds(5));

        Console.WriteLine(String.Format("{0} - Acabou!", DateTime.Now));

        Console.Read();
    }

    // Mudei o seu método pra se referir apenas a um registro só pra ser mais didático
    public static async Task ExecutaTarefaAsync(UrlsProdutos registro, int index)
    {
        Output(index);

        // chama o seu método de parse, falando pra esperar tudo o que tiver de assíncrono nele, e pega o retorno logo em seguida
        var produto = await ExtraiDados.ParseHtml(registro.Url, index);

        // como o seu parse já acabou, insere o registro com o resultado dele
        await InsertAdo.InsertAdoStpAsync(produto, index);

        // por fim, marcar todo mundo como lido
        await InsertAdo.MarcaComoLido(registro.UrlProdutoId, index);

        Output(index);
    }

    // não usei, mas mudei ele pra você ver a questão do await
    public static async Task DownloadData(FotosProdutos url, int index)
    {
        var wc = new WebClient();
        string path = @"C:\teste\" + url.FileName;

        // aqui você não precisa pegar a Task, ao usar o await ele já entende que você quer esperar o resultado do método async pra prosseguir na execução do método
        await wc.DownloadFileTaskAsync(new Uri(url.Url), path);

        Console.WriteLine(String.Format("{0} - DownloadData {1}", DateTime.Now, index.ToString()));
    }

    public static void Output(int id)
    {
        Console.WriteLine(String.Format("{0} - Executando {1}", DateTime.Now, id.ToString()));
    }
}

Ao executar esse exemplo, tive a seguinte saída:

13/10/2016 00:56:27 - Executando 1
13/10/2016 00:56:27 - Executando 2
13/10/2016 00:56:27 - Executando 0
13/10/2016 00:56:32 - ParseHtml 1
13/10/2016 00:56:32 - ParseHtml 2
13/10/2016 00:56:32 - ParseHtml 0
13/10/2016 00:56:37 - InsertAdoStpAsync 0
13/10/2016 00:56:37 - InsertAdoStpAsync 1
13/10/2016 00:56:37 - InsertAdoStpAsync 2
13/10/2016 00:56:42 - MarcaComoLido 2
13/10/2016 00:56:42 - MarcaComoLido 1
13/10/2016 00:56:42 - Executando 2
13/10/2016 00:56:42 - Executando 1
13/10/2016 00:56:42 - MarcaComoLido 0
13/10/2016 00:56:42 - Executando 0
13/10/2016 00:56:42 - Acabou!

Ou seja: como cada método leva 5 segundos pra executar, podemos observar que ele criou uma Thread diferente pra cada registro.

3
  • vou reproduzir seu código aqui, mas de ante-mão obrigado pela aula!, muito bom, bem detalhado...
    – Dorath
    Commented 13/10/2016 às 12:27
  • só uma dúvida o DownloadData, qual seria o local correto? no parse produtos? ou lá na raiz no program.cs no executar tarefas? pq ele é o que mais demora e ele só pode ser executado depois que o parseHtml é concluido e retorna o model produto.
    – Dorath
    Commented 13/10/2016 às 14:10
  • 1
    @Dorathoto como você falou que faz parte dos seus passos fazer o download baseado no seu parse, eu colocaria uma chamada dentro do ExecutaTarefaAsync(). Como o processamento de cada imagem parece ser independente, eu testaria a diferença entre executar a lista em paralelo ou um a um pra ver em qual a aplicação renderia melhor. Commented 13/10/2016 às 14:56
3

Para fazer uma funcao assincrona, voce utiliza a Task, como voce ja descobriu. O jeito certo de fazer algo desse tipo é assim:

public static Task MakeRequest(int i) { 

    return Task.Run(() => {

       // seu codigo aqui
    });

}

public static void Main(string[]) {

    var tasks = new List<Task>();

    for (int i = 0; i < 10; i++)
    {
        tasks.Add(MakeRequestAsync(i));
    }

    // Aguarda todos MakeRequestAsync terminarem.
    Task.WaitAll(tasks.ToArray());
}

Dessa maneira, quando voce chamar MakeRequestAsync voce pode usar o await como é esperado com métodos assíncronos:

var resp = await MakeRequestAsync(i);

Vale a pena dizer também que uma Task não dá garantias nenhuma de quando vai ser executada: pode tanto começar a ser executada imediatamente quanto ficar na fila.

Outra coisa importante é entender a diferença de Task.WhenAll e Task.WaitAll. Task.WhenAll retorna uma outra Task que você pode esperar (await) no momento em que for interessante, e o código continua rodando, ou seja, é uma função "não bloqueante". Já a Task.WaitAll vai parar o fluxo do código até que todas Tasks sejam executadas.

Resumindo: seu método que deve ser assíncrono deve, na verdade, disparar uma Task e retornar um objeto awaitable. A maneira mais fácil de se fazer isso é utilizando Task.Run.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .