Tradução livre da discussão levantada por @fchollet (twitter.com/fchollet/status/976563870322999296):
O problema do Facebook não é *só* a perda da sua privacidade e o fato de que ele pode ser usado como um panóptico totalitário. O problema mais preocupante, na minha opinião, é seu uso do consumo de informação digital como um vetor de controle psicológico.
Integrado ao longo de muitos anos de exposição, a curadoria algorítmica da informação que consumimos dá aos sistemas no comando dela um poder considerável sobre nossas vidas, sobre quem nos tornamos. Ao mover nossas vidas para o mundo digital, nós nos tornamos vulneráveis àquilo que o comanda - algoritmos de inteligência artificial.
Em suma, o Facebook pode simultaneamente medir tudo sobre nós, e controlar as informações que consumimos. Quando você tem acesso tanto à percepção quanto à ação, você está olhando para um problema de Inteligência Artificial. Você pode começar a estabelecer um ciclo de otimização para o comportamento humano. Um loop, um ciclo, de aprendizado por reforço.
Alguns deles tem sido usados a muito tempo em propagandas (por exemplo, reforço social positivo/negativo), mas de forma bem fraca e genérica. De uma perspectiva de segurança de informação, eles seriam chamados de "vulnerabilidades": falhas conhecidas que podem ser usadas para assumir o controle de um sistema.
E mais importante, controle populacional em massa - particularmente controle político - vindo de colocar algoritmos de IA no controle da nossa "dieta de informação" não precisa necessariamente de IAs muito avançadas. Não é necessário uma IA consciente e super inteligente para isso ser uma ameaça terrível.
Esta é a razão pela qual muitas das propagandas que você vê online parecem desesperadamente irrelevantes. Elas não são sofisticadas. Da mesma forma, robôs de mídias sociais usados para por atores de Estado hostis para influenciar a opinião pública tem pouco ou nada de IA neles. Eles são extremamente primitivos. Por enquanto.
O campo de Inteligência Artifical tem feito progresso rápido nos últimos anos, e esse progresso está apenas começando a ser utilizado em algoritmos de direcionamento e robôs de mídias sociais. Deep Learning só começou a ser integrado em feeds de notícia e redes de propaganda por volta de 2016. O Facebook tem investido pesado nisto.
Um loop onde você observa o estado atual dos seus alvos e continua ajustando que informações você mostra para eles, até você começar a observar as opiniões e comportamentos que queria ver.