Tradução livre da discussão levantada por @fchollet (twitter.com/fchollet/status/976563870322999296):
O problema do Facebook não é *só* a perda da sua privacidade e o fato de que ele pode ser usado como um panóptico totalitário. O problema mais preocupante, na minha opinião, é seu uso do consumo de informação digital como um vetor de controle psicológico.
Integrado ao longo de muitos anos de exposição, a curadoria algorítmica da informação que consumimos dá aos sistemas no comando dela um poder considerável sobre nossas vidas, sobre quem nos tornamos. Ao mover nossas vidas para o mundo digital, nós nos tornamos vulneráveis àquilo que o comanda - algoritmos de inteligência artificial.
Isso não é exatamente novidade, dado que sabemos que o Facebook conduz pelo menos desde 2013 uma série de experimentos onde eles conseguiram com sucesso controlar o humor e as decisões de usuários não voluntários ao ajustar o conteúdo de seus feeds, bem como predizer as decisões futuras de um usuário.
Em suma, o Facebook pode simultaneamente medir tudo sobre nós, e controlar as informações que consumimos. Quando você tem acesso tanto à percepção quanto à ação, você está olhando para um problema de Inteligência Artificial. Você pode começar a estabelecer um ciclo de otimização para o comportamento humano. Um loop, um ciclo, de aprendizado por reforço.
No caso da mente humana, estas vulnerabilidades nunca são corrigidas, elas são simplesmente a forma como funcionamos. Estão no nosso DNA. Elas são a nossa psicologia. Num nível pessoal, nós praticamente não temos como nos defender delas.
E mais importante, controle populacional em massa - particularmente controle político - vindo de colocar algoritmos de IA no controle da nossa "dieta de informação" não precisa necessariamente de IAs muito avançadas. Não é necessário uma IA consciente e super inteligente para isso ser uma ameaça terrível.
Esta é a razão pela qual muitas das propagandas que você vê online parecem desesperadamente irrelevantes. Elas não são sofisticadas. Da mesma forma, robôs de mídias sociais usados para por atores de Estado hostis para influenciar a opinião pública tem pouco ou nada de IA neles. Eles são extremamente primitivos. Por enquanto.
O campo de Inteligência Artifical tem feito progresso rápido nos últimos anos, e esse progresso está apenas começando a ser utilizado em algoritmos de direcionamento e robôs de mídias sociais. Deep Learning só começou a ser integrado em feeds de notícia e redes de propaganda por volta de 2016. O Facebook tem investido pesado nisto.
A mente humana é um sistema estático e vulnerável, que vai ser cada vez mais atacado por algoritmos de IA cada vez mais inteligentes que vão simultaneamente ter uma visão completa de tudo que fazemos e acreditamos, e controle total da informação que consumimos.