Un nouveau livre de Sebastian Mallaby, « The Infinity Machine », sur Demis Hassabis et DeepMind vient de sortir. Aujourd'hui, plusieurs médias ont publié un extrait exclusif, révélant une histoire très intéressante vieille de près de dix ans.

En 2014, après que Google a racheté DeepMind, Demis Hassabis et son équipe ont commencé à travailler sur le projet Mario. L'objectif était de comprendre comment contrôler correctement une IAG, et comment empêcher une seule entreprise de s'emparer d'un pouvoir absolu sur une telle technologie.

Ils ont examiné diverses structures de gouvernance, des options pour limiter le pouvoir des entreprises par des moyens financiers, des formes d'organismes indépendants, etc. Au cours du projet, ils ont réalisé qu'aucune de ces solutions ne fonctionnait, et que si une IAG voyait le jour chez DeepMind, il serait impossible de limiter le pouvoir de Google sur elle, ce qui pourrait représenter une menace énorme pour l'humanité.

Et alors… un hedge fund secret a été créé chez DeepMind, qui tentait de surpasser Renaissance Technologies, c'est-à-dire de créer un système capable de prédire les marchés mieux que quiconque. Ils voulaient entraîner pour cela un modèle similaire à AlphaGo.

Ils espéraient ainsi accumuler leur propre capital, afin de pouvoir, le cas échéant, conserver le contrôle de l'IAG et se séparer de Google.

L'ironie, c'est qu'ils croyaient tellement en l'IAG basée sur leurs modèles AlphaGo et AlphaZero, et étaient tellement absorbés par le projet Mario et le hedge fund, qu'ils ont littéralement manqué l'importance des transformateurs inventés par leurs collègues en 2017.

Et le projet Mario, d'ailleurs, s'est terminé avec une seule idée chez DeepMind : le contrôle par les humains, et non par le système. C'est-à-dire par la confiance en des fondateurs spécifiques, qui prennent des décisions basées sur des valeurs humaines universelles.

colossus.com/article/project-ma…is-deepmind-mallaby/