Tradução livre da discussão levantada por @fchollet (twitter.com/fchollet/status/976563870322999296):
O problema do Facebook não é *só* a perda da sua privacidade e o fato de que ele pode ser usado como um panóptico totalitário. O problema mais preocupante, na minha opinião, é seu uso do consumo de informação digital como um vetor de controle psicológico.

O mundo está sendo moldado, em grande parte, por duas tendências de longa data: primeiro, nossas vidas estão cada vez mais desmaterializadas, consistindo em consumir e gerar informação online, tanto no trabalho como em casa. Segundo, IA (Inteligência Ariticial) está ficando ainda mais inteligente.

Essas duas tendências se sobrepõem no nível dos algoritmos que moldam nosso consumo de conteúdo digital. Algoritmos opacos de mídias sociais podem decidir, cada vez mais, quais artigos nós lemos, com quem mantemos contato, de quem são as opiniões que lemos, de quem recebemos feedback.

Integrado ao longo de muitos anos de exposição, a curadoria algorítmica da informação que consumimos dá aos sistemas no comando dela um poder considerável sobre nossas vidas, sobre quem nos tornamos. Ao mover nossas vidas para o mundo digital, nós nos tornamos vulneráveis àquilo que o comanda - algoritmos de inteligência artificial.

Se o Facebook pode decidir, ao longo de muitos anos, quais notícias (reais ou falsas) você verá, de quem são os posts políticos que você vai ver, e quem verá os seus, então o Facebook está efetivamente sob controle das suas opiniões políticas e da sua visão de mundo.

Isso não é exatamente novidade, dado que sabemos que o Facebook conduz pelo menos desde 2013 uma série de experimentos onde eles conseguiram com sucesso controlar o humor e as decisões de usuários não voluntários ao ajustar o conteúdo de seus feeds, bem como predizer as decisões futuras de um usuário.

Em suma, o Facebook pode simultaneamente medir tudo sobre nós, e controlar as informações que consumimos. Quando você tem acesso tanto à percepção quanto à ação, você está olhando para um problema de Inteligência Artificial. Você pode começar a estabelecer um ciclo de otimização para o comportamento humano. Um loop, um ciclo, de aprendizado por reforço.

Um loop onde você observa o estado atual dos seus alvos e continua ajustando que informações você mostra para eles, até você começar a observar as opiniões e comportamentos que queria ver.

Uma boa parte do campo de pesquisa em IA (especialmente os pontos nos quais o Facebook tem investido) é sobre desenvolver algoritmos que solucionam tais problemas de otimização da forma mais eficiente possível, para fechar o ciclo e ter controle total sobre o fenômeno analisado. Neste caso, nós.

Tudo isso é facilitado pelo fato de que a mente humana é altamente vulnerável a padrões simples de manipulação social. Enquanto pensava sobre estas questões, eu compilei uma breve lista de padrões de ataque psicológico que seriam devastadoramente efetivos.

Alguns deles tem sido usados a muito tempo em propagandas (por exemplo, reforço social positivo/negativo), mas de forma bem fraca e genérica. De uma perspectiva de segurança de informação, eles seriam chamados de "vulnerabilidades": falhas conhecidas que podem ser usadas para assumir o controle de um sistema.

No caso da mente humana, estas vulnerabilidades nunca são corrigidas, elas são simplesmente a forma como funcionamos. Estão no nosso DNA. Elas são a nossa psicologia. Num nível pessoal, nós praticamente não temos como nos defender delas.

A mente humana é um sistema estático e vulnerável, que vai ser cada vez mais atacado por algoritmos de IA cada vez mais inteligentes que vão simultaneamente ter uma visão completa de tudo que fazemos e acreditamos, e controle total da informação que consumimos.

E mais importante, controle populacional em massa - particularmente controle político - vindo de colocar algoritmos de IA no controle da nossa "dieta de informação" não precisa necessariamente de IAs muito avançadas. Não é necessário uma IA consciente e super inteligente para isso ser uma ameaça terrível.

Então, se controle populacional em massa já é possível hoje - em teoria -, por que o mundo não acabou ainda? Resumindo, eu acho que é porque nós somos muito ruins em usar IA. Mas isso pode mudar. Veja, nossas capacidades técnicas são o gargalo aqui.

Até 2015, todo algoritmo de direcionamento de propaganda na indústria estava usando apenas meras regressões logísticas. Na verdade, isso ainda é realidade em grande parte hoje em dia - apenas os maiores atores mudaram para modelos mais avançados.

Esta é a razão pela qual muitas das propagandas que você vê online parecem desesperadamente irrelevantes. Elas não são sofisticadas. Da mesma forma, robôs de mídias sociais usados para por atores de Estado hostis para influenciar a opinião pública tem pouco ou nada de IA neles. Eles são extremamente primitivos. Por enquanto.