Tradução livre da discussão levantada por @fchollet (twitter.com/fchollet/status/976563870322999296):
O problema do Facebook não é *só* a perda da sua privacidade e o fato de que ele pode ser usado como um panóptico totalitário. O problema mais preocupante, na minha opinião, é seu uso do consumo de informação digital como um vetor de controle psicológico.
Integrado ao longo de muitos anos de exposição, a curadoria algorítmica da informação que consumimos dá aos sistemas no comando dela um poder considerável sobre nossas vidas, sobre quem nos tornamos. Ao mover nossas vidas para o mundo digital, nós nos tornamos vulneráveis àquilo que o comanda - algoritmos de inteligência artificial.
Isso não é exatamente novidade, dado que sabemos que o Facebook conduz pelo menos desde 2013 uma série de experimentos onde eles conseguiram com sucesso controlar o humor e as decisões de usuários não voluntários ao ajustar o conteúdo de seus feeds, bem como predizer as decisões futuras de um usuário.
Em suma, o Facebook pode simultaneamente medir tudo sobre nós, e controlar as informações que consumimos. Quando você tem acesso tanto à percepção quanto à ação, você está olhando para um problema de Inteligência Artificial. Você pode começar a estabelecer um ciclo de otimização para o comportamento humano. Um loop, um ciclo, de aprendizado por reforço.
Alguns deles tem sido usados a muito tempo em propagandas (por exemplo, reforço social positivo/negativo), mas de forma bem fraca e genérica. De uma perspectiva de segurança de informação, eles seriam chamados de "vulnerabilidades": falhas conhecidas que podem ser usadas para assumir o controle de um sistema.
E mais importante, controle populacional em massa - particularmente controle político - vindo de colocar algoritmos de IA no controle da nossa "dieta de informação" não precisa necessariamente de IAs muito avançadas. Não é necessário uma IA consciente e super inteligente para isso ser uma ameaça terrível.
Esta é a razão pela qual muitas das propagandas que você vê online parecem desesperadamente irrelevantes. Elas não são sofisticadas. Da mesma forma, robôs de mídias sociais usados para por atores de Estado hostis para influenciar a opinião pública tem pouco ou nada de IA neles. Eles são extremamente primitivos. Por enquanto.
Quem sabe o que virá depois. É surpreendente que o Facebook esteja investindo montanhas de dinheiro em pesquisa e desenvolvimento em IA, com o objetivo explícito de se tornar líder no campo. O que isso te diz? Pra que você usa IA/Aprendizado por reforço quando seu produto é um feed de notícias?
Nós estamos olhando para uma entidade poderosa que monta perfis psicológicos refinados de 2 bilhões de humanos, que conduz experimentos de manipulação comportamental de larga escala, e que tem a ambição de desenvolver a melhor tecnologia de IA que o mundo já viu. Pessoalmente, isso me assusta.