Tradução livre da discussão levantada por @fchollet (twitter.com/fchollet/status/976563870322999296):
O problema do Facebook não é *só* a perda da sua privacidade e o fato de que ele pode ser usado como um panóptico totalitário. O problema mais preocupante, na minha opinião, é seu uso do consumo de informação digital como um vetor de controle psicológico.
Integrado ao longo de muitos anos de exposição, a curadoria algorítmica da informação que consumimos dá aos sistemas no comando dela um poder considerável sobre nossas vidas, sobre quem nos tornamos. Ao mover nossas vidas para o mundo digital, nós nos tornamos vulneráveis àquilo que o comanda - algoritmos de inteligência artificial.
Isso não é exatamente novidade, dado que sabemos que o Facebook conduz pelo menos desde 2013 uma série de experimentos onde eles conseguiram com sucesso controlar o humor e as decisões de usuários não voluntários ao ajustar o conteúdo de seus feeds, bem como predizer as decisões futuras de um usuário.
Em suma, o Facebook pode simultaneamente medir tudo sobre nós, e controlar as informações que consumimos. Quando você tem acesso tanto à percepção quanto à ação, você está olhando para um problema de Inteligência Artificial. Você pode começar a estabelecer um ciclo de otimização para o comportamento humano. Um loop, um ciclo, de aprendizado por reforço.
Alguns deles tem sido usados a muito tempo em propagandas (por exemplo, reforço social positivo/negativo), mas de forma bem fraca e genérica. De uma perspectiva de segurança de informação, eles seriam chamados de "vulnerabilidades": falhas conhecidas que podem ser usadas para assumir o controle de um sistema.
E mais importante, controle populacional em massa - particularmente controle político - vindo de colocar algoritmos de IA no controle da nossa "dieta de informação" não precisa necessariamente de IAs muito avançadas. Não é necessário uma IA consciente e super inteligente para isso ser uma ameaça terrível.
Até 2015, todo algoritmo de direcionamento de propaganda na indústria estava usando apenas meras regressões logísticas. Na verdade, isso ainda é realidade em grande parte hoje em dia - apenas os maiores atores mudaram para modelos mais avançados.
O campo de Inteligência Artifical tem feito progresso rápido nos últimos anos, e esse progresso está apenas começando a ser utilizado em algoritmos de direcionamento e robôs de mídias sociais. Deep Learning só começou a ser integrado em feeds de notícia e redes de propaganda por volta de 2016. O Facebook tem investido pesado nisto.
Esta é a razão pela qual muitas das propagandas que você vê online parecem desesperadamente irrelevantes. Elas não são sofisticadas. Da mesma forma, robôs de mídias sociais usados para por atores de Estado hostis para influenciar a opinião pública tem pouco ou nada de IA neles. Eles são extremamente primitivos. Por enquanto.