Свръхубеждаване
Източник: страница 61
Умишлено не твърдим, че свръхинтелигентен ИИ може да убеди всекиго във всичко. Подобно твърдение естествено поражда скептицизъм: „Какво — ще седя пред компютъра, той ще изпише текст, който ще хакне мозъка ми, и ще ме убеди да предам страната си?“
Източник: страница 62
Е, може би!*
Но не сме сигурни, че дори свръхинтелект би постигнал това с обикновен човек. Затова не го показваме в сценария.
Вместо това показваме далеч по-обикновено убеждаване: Agent-5 се занимава с корпоративна политика и лобиране, само че изключително добре. Съчетава умението с присъщи предимства — за разлика от другите лобисти е свръхинтелигентен, дава по-добри съвети, реагира по-бързо и предвижда по-точно развитието. Има правдоподобен разказ защо заслужава доверие, в който мнозина влиятелни хора вече вярват; Agent-5 произвежда със свръхчовешка скорост аргументи и доказателства в негова подкрепа и срещу алтернативите. Освен това хората имат и други грижи: опозиционната партия, избирателите, работните места, Китай.
Ако не друго, сценарият подценява силата на свръхчовешкото убеждаване, защото почти не я използва. Той би работил и ако Agent-5 беше толкова добър в политиката, лобирането, стратегията и харизмата, колкото обикновен корпоративен лобист. А всъщност Agent-5 превъзхожда дори най-добрите.
Източникови връзки
- https://en.wikipedia.org/wiki/Double_descent
- https://en.wikipedia.org/wiki/Grokking_%28machine_learning%29
- https://evolution-outreach.biomedcentral.com/articles/10.1007/s12052-008-0092-1
- https://openai.com/index/introducing-superalignment/
- https://transformer-circuits.pub/2022/toy_model/index.html
- https://tuxedage.wordpress.com/2013/09/04/the-tuxedage-ai-box-experiment-ruleset/
- https://www.neelnanda.io/mechanistic-interpretability/modular-addition-walkthrough
- https://www.yudkowsky.net/singularity/aibox