4

A pergunta por si só já descreve meu interesse, mas o que estou querendo saber de verdade é como o youtube armazena a informação dizendo que já assistimos aquele vídeo. Pensei em armazenamento com cookies, porém ficaria inviável já que sempre que alguém limpasse o histórico os cookies poderiam ser apagados e assim não saberia qual vídeo já assistiu ou não. Logo após eu pensei que o Youtube armazena essas informações em um BD, porém eu acho que dessa forma se criaria uma quantidade enorme de dados que podem ser considerados praticamente inúteis. Existe então alguma terceira maneira de armazena essas informações?

Aproveitando o embalo gostaria de fazer uma outra pergunta também referente ao mesmo assunto. Pro Youtube não basta apenas clicar em cima do link para que ele considere aquele vídeo assistido pelo usuário. Gostaria de sabe então como que ele realiza esse Time para estabelecer qual vídeo é assistido ou não? Eu pensei em uma especie de cronometro com cerca de 80% do tempo real do vídeo, onde o vídeo só sera considerado como assistido se o usuário permanecer esse X segundos ou minutos na pagina refente dos 80% do vídeo clicado. Porém creio eu que deve ter alguma outra maneira de realizar tal função, eu gostaria de saber se existe alguma outra forma e se sim, qual seria?

Para quem nunca viu o que estou falando basta da uma logada no youtube assistir um vídeo e logo apos o vídeo aparece com uma película em cima dele semi-transparente com o seguinte dizer "Assistido".

8
  • 8
    "praticamente inúteis"? O Google basicamente vive disso!
    – bfavaretto
    Commented 23/07/2014 às 21:49
  • 5
    Quando você assiste algum filme, o Youtube tem que enviar o filme não tem? Ele só precisa saber quanto enviou de cada um para você. Além disso, trabalhar com uma quantidade enorme de dados é exatamente o que o Google faz de melhor. Cada clique que você dá em sites como Youtube e Facebook é rastreado de alguma forma e transformado em estatísticas que no fim servem para marketeiros venderem mais.
    – utluiz
    Commented 23/07/2014 às 21:54
  • @bfavaretto não falei no sentindo pejorativo quando me expressei ao dizer "praticamente inúteis", foi só uma forma de expressao. Então a resposta para minha pergunta é que esses dados sao armazenados em BD? Commented 23/07/2014 às 22:02
  • As informações devem ser salvas no DB, ou você pode exporta-las para um arquivo ao final de um período, mas para o autor do video elas devem ser constantes. Não acho legal você determinar que para o video ser 'assistido' deve ter que rodar 80%. Da mesma forma como as estatísticas de noticias lidas, não importa se você leu 1 linha ou 10 parágrafos, carregar o conteúdo computa um acesso Commented 23/07/2014 às 22:03
  • Eu acredito que seja no BD. Não achei que seu "praticamente inúteis" fosse pejorativo, somente ingênuo, já que as grandes companhias ganham dinheiro justamente com os dados que armazenam sobre seus usuários. O @utluiz explicou melhor o que está por trás do meu comentário.
    – bfavaretto
    Commented 23/07/2014 às 22:07

3 Respostas 3

9

Segundo várias fontes sobre o Youtube, este usa principalmente o banco de dados MySQL para armazenar as informações. Porém, a esta altura, provavelmente eles usem algum MySQL alternativo, modificado para obter mais desempenho.

No entanto, dizer isso é ser simplista de mais. Afinal, é verdade que a quantidade de dados armazenados é astronômica, não só dos vídeos como dos usuários, incluindo a lista de visualizações, preferências e hábitos de uso. Até onde pesquisei, o tamanho exato da base de dados é desconhecido, mas estimado na casa dos petabytes.

Arquiteturas de alto desempenho como esta não podem confiar simplesmente numa base de dados simples. Existe todo um conjunto de tecnologias distribuídas em milhares de servidores ao redor do mundo para dar conta disso.

Para entender isso é preciso estar de certa forma a par de aplicações distribuídas, big data e afins.

Em uma palestra sobre escalabilidade com Pyhton no Youtube, um dos gerentes de desenvolvimento contou várias técnicas para atender a grande demanda.

Por exemplo, diferente de um sistema "comum" onde sempre são usadas transações para alterar a base de dados e as alterações ficam automaticamente disponíveis para todos os usuários, o Youtube abre mão de certas "garantias" ACID em troca da alta disponibilidade. Então, se um usuário da China adiciona um comentário num vídeo, isso vai ficar registrados nos servidores da China e pode levar vários minutos até o dado ser replicado em outros servidores pelo mundo. Este é um pequeno preço a se pagar.

Além disso, outra "trapaça" é a quantidade de visualizações que os vídeos tem. Quando um vídeo está sendo muito acessado, o código por trás do Youtube faz uma estimativa de acessos por minutos e vai aumentando aquele valor através da estimativa e não do número real de acessos. Isso faz com que não seja necessário ter uma tabela central para armazenar cada visita e, ao mesmo tempo, o número seja o mais "real" possível.

Isso fica evidente se você acessar algum vídeo viral recém-publicado. Com certeza haverá algumas anomalias nas estatísticas se você atualizar a página em certos intervalos de tempo.

Bases de dados desse tipo são muito diferentes daquela que 99% dos desenvolvedores estão acostumados a ver no dia a dia. Para entendê-las, é necessário entrar praticamente em outro mundo de estudos.

Um deles que está crescente hoje é o Big Data, que envolve a maioria dos casos onde bancos de dados com arquiteturas tradicionais não dão conta. É verdade que há muita encenação no que se refere a Big Data, mas também é verdade que todas as empresas sérias de alta tecnologia usam com sucesso tais soluções. Caso queira ter uma introdução não tão técnica a Big Data, publiquei recentemente um artigo sobre o assunto.

3
  • Acredito que eles usem o WebScaleSQL, baseado no MySQL: tecnoblog.net/154119/…
    – user7261
    Commented 24/07/2014 às 15:47
  • Falta uma palavra em: Arquiteturas de alto ???? como esta...
    – brasofilo
    Commented 28/07/2014 às 16:24
  • @brasofilo Corrigo! Obrigado!
    – utluiz
    Commented 28/07/2014 às 16:25
2

Não faz muito sentido utilizar os cookies para armazenar os vídeos já assistidos, até porque diferentes browsers não compartilham dos mesmos cookies. O que provavelmente acontece é o armazenamento em BD relativo à seu canal do youtube (como você pode ver quando loga no youtube existe uma "pasta" no seu canal com os vídeos já assistidos").
E quanto ao tempo necessário / porcentagem necessária para que um vídeo seja assistido para contar como Visualizado... Essa é uma informação sigilosa que visa afastar softwares maliciosos que usam macros para aumento do número de visualizações de um dado vídeo.

1

Você acha que os dados referentes aos vídeos que assitiu são inúteis? Não acredito que sejam inúteis, pois várias informações podem ser retiradas daí, como que gostos um determinado grupo de pessoas possuem, no que estão mais interessados, entre outras informações. Não sei com certeza qual meio de armazenamento de dados o youtube utiliza para guardar estas informações, mas acredito que seja realmente no banco de dados. Existem muitas formas de aumentar a eficiência das requisições e consultas, armazenamento em cache é um deles. Já imaginou como é grande e organizada a estrutura de uma empresa dessa? Não tenho muita ideia quanto a isso. Quanto a verificação se o vídeo foi ou não assistido, possívelmente fica armazenado localmente, no frontend, e caso a condição seja respeitada, um trigger irá ser o responsável por comunicar com o backend, registrando que o vídeo foi assistido. Já percebeu que o google não utiliza bibliotecas como jQuery? sim, ele utiliza sempre javascript(puro) para manter a eficiência. Espero ter ajudado, pelo menos um pouco.

2
  • 4
    Essa resposta me parece ser um comentário bem extenso.
    – Mansueli
    Commented 23/07/2014 às 22:12
  • Fiz alguns testes agora, com 3 vídeos, e realmente a base para saber se o vídeo foi ou não assistido é por meio da quantidade de bytes recebidos, com sucesso, do video no qual está assistindo, ou seja, se seu computador recebeu todo o vídeo em questão. Commented 23/07/2014 às 22:17

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .