Януари 2028: По-безопасна стратегия
Източник: страница 34
Януари 2028: По-безопасна стратегия
През последния месец стотици изследователи по съгласуване се присъединяват към проекта и използват Safer-1 като изпитателна платформа, за да разработят много бързо Safer-2. Новият модел е прозрачен, съгласуван и по-способен от Safer-1. 88 Вече работи по създаването на Safer-3.
*И двете страни се опитват да се хакнат и саботират с частичен успех. Крайните мерки за сигурност обаче забавят и двете. Американските кибератаки и заплахата от тях — например нуждата DeepCent многократно да проверява данните за отравяне — намаляват темпа на китайския проект с около 25%. OpenBrain също се забавя, но по-малко: има повече изчислителен ресурс, а централизацията е позволила на DeepCent бързо да достигне висока сигурност, но е създала и единични точки на отказ, които изискват повече предпазливост, вътрешни проверки и аварийни защити. За подробности вижте приложението за сигурността, както и по-стария теоретичен труд, който според нас предсказва, че с развитието на ИИ балансът нападение–защита в крайна сметка ще се измести към киберзащитата.
Бележки и данни от полето:
88 По-конкретно, Safer-2 приблизително достига способностите на версията на Agent-4 от октомври.
Източник: страница 35
Януари 2028: По-безопасна стратегия
Защо Safer-2 е прозрачен? Архитектурата му прилича на тази на Safer-1. А защо е съгласуван? Safer-1 е обучен почти като Agent-4, докато Safer-2 използва нов метод, който действително възнаграждава правилните цели и принципи, а не само видимото им спазване. Екипът създава метода чрез бързи повторения на множество идеи и сравняване на желания резултат — спецификацията — с действителния — мислите във веригата на разсъждение. 89
➤ Вижте Приложение T - новата стратегия за съгласуване на OpenBrain за повече подробности.
DeepCent знае за американския опит с Agent-4 и подозира, че собственият ѝ DeepCent-1 е също толкова несъгласуван. Но забавянето би увеличило изоставането. Единствената надежда да остане конкурентоспособна е стратегия за съгласуване, която се прилага бързо и не намалява съществено способностите.* От двете страни на Тихия океан стотици специалисти твърдят, че разполагат с такава стратегия. 90 ККП се поддава на пожелателно мислене и нарежда да бъде избрана една от тях. DeepCent има дори по-малко опит в съгласуването на AGI от OpenBrain през август; една стратегия изглежда убедителна на всички присъстващи и те я приемат.
Бележки и данни от полето:
89 С други думи, за да стигнат до Safer-2, те трябваше да обучат много други несъгласувани модели, да забележат техните несъгласуваности, като прочетат мислите им и да повторят. Обърнете внимание също, че в допълнение към увеличеното количество експертиза за съгласуване в OpenBrain сега, има намален ефект на групово мислене, тъй като са представени много различни школи на мисълта.
90 Техническото съгласуване още не е установена наука, а млада предпарадигмална област без призната йерархия и добри практики. Няма съгласие кое е безопасно и кое не. От години за почти всяко X лесно може да се намери поне един специалист, който твърди, че X е безопасно — особено ако е негова идея.
Източникови връзки
- https://ai-2027.com/supplements/security-forecast
- https://ai-2027.com/supplements/takeoff-forecast
- https://arxiv.org/html/2412.19437v1
- https://en.wikipedia.org/wiki/Mirror_life
- https://www.chathamhouse.org/2024/06/artificial-intelligence-and-challenge-global-governance/02-cern-ai-what-might-international
- https://www.fhi.ox.ac.uk/wp-content/uploads/How-Does-the-Offense-Defense-Balance-Scale-5-21-19.pdf
- https://www.forethought.org/research/intelsat-as-a-model-for-international-agi-governance
- https://www.nationalsecurity.ai/
- https://www.rand.org/pubs/research_briefs/RBA2849-1.html#:~:text=What%20Are%20the%20Security%20Needs%20of%20Different%20AI%20Systems%3F
- https://www.rand.org/pubs/working_papers/WRA3056-1.html
Февруари 2028: Свръхчовешки способности, свръхчовешки съвет
Източник: страница 35
Благодарение на огромното си предимство в изчислителния ресурс OpenBrain бавно повежда. Safer-3 вече превъзхожда най-добрите човешки експерти в почти всяка познавателна задача и е особено силен в изследванията на ИИ, където ускорява напредъка 200 пъти. DeepCent-1 е плътно след него със „само“ 150-кратно ускорение.† Балансът в кибервойната също постепенно се накланя в полза на САЩ: предимството им във възможностите отново расте, а стотици хиляди агенти могат да планират и изпълняват операции за нарушаване на работата на CDZ. 91 Така те вече забавят китайския напредък с 40%. 92
Предварителните изпитания на Safer-3 разкриват ужасяващи способности. Помолен да посочи честно най-опасното нещо, което би могъл да направи, той предлага планове за синтезиране и освобождаване на организъм с огледална биохимия, който вероятно би унищожил биосферата.
*По-конкретно, OpenBrain се надява да разполага със стратегия за съгласуване и пакет от оценки, при които стратегията действа, а ако не действа — оценките засичат несъгласуването, без това да забавя съществено работата. Компанията „изразходва преднината си“, като губи няколко месеца, за да изгради наново системата върху прозрачна архитектура с достоверна верига на разсъждение. Тя е по-малко производителна, но много по-лесна за оценяване. DeepCent се надява, че наличните му оценки — вероятно съчетание от поведенчески тестове и базови детектори на лъжа за ИИ — са достатъчно добри. †При множители на производителността над 25 си представяме качествено по-добър усет за научни изследвания от този на най-добрите хора. Причината е, че общата скорост на изследванията вече е силно ограничена от изчислителния ресурс за експерименти. За да се надхвърли 25-кратното ускорение, целият процес — кои експерименти да се проведат, в какъв ред и какво да се извлече от всеки — трябва да стане качествено свръхчовешки. В допълнението ни за скоростта на излитане е описано как стигаме до тези числа; те, разбира се, са крайно несигурни оценки.
Бележки и данни от полето:
91 За толкова добре защитена зона най-обещаващи са външните вектори: веригата за доставка на нови изчислителни чипове, малкото участващи хора и прекъсването на електрозахранването или други ресурси.
92 В тези 40% влиза както прекият ефект от атаките, така и забавянето, което Китай си налага, за да подобри киберзащитата си.
Източник: страница 36
Ако разполагаше с ресурсите на национална държава, Safer-3 с лекота би надминал най-добрите човешки организации — например ЦРУ — в кампании за масово влияние. Такива кампании биха били значително по-евтини, по-бързи, по-ефективни и по-трудни за проследяване.
Профилът на способностите му все още е съсредоточен върху научноизследователската и развойната дейност, особено върху изследванията на ИИ. Ако не настъпи пауза или забавяне, още по-късно тази година наследниците му ще бъдат невъобразимо свръхчовешки и в количествено, и в качествено отношение. Според Safer-3, ако бъде агресивно внедрен в икономиката и армията, той би могъл да придвижи цивилизацията с десетилетия само за година-две, а през следващото десетилетие — с цели еони.
Последствията са зашеметяващи; за щастие Safer-3 е свръхчовешки способен и в даването на съвети. Главният изпълнителен директор на OpenBrain сверява с него повечето си решения, а президентът търси съвета му по геополитически въпроси. 93
Помолен да очертае пътя напред, Safer-3 подрежда възможностите в ясна класификация:
• Да не правят нищо и Китай да ги изпревари. Ако американците държат своите ИИ затворени, докато Китай позволява на своите да се самоусъвършенстват и ги внедрява агресивно в армията и икономиката, Китай ще придобие смазващо предимство.
• Да се впуснат докрай в надпреварата, като развиват способностите на ИИ и агресивно внедряват свръхинтелекта. Накрая ще натрупат достатъчно предимство, за да смажат Китай военно и/или да го разрушат отвътре без нито един изстрел. „Ние печелим, те губят.“ Китай обаче може да осъзнае какво става и да започне превантивна война, включително ядрена. Всъщност вече отправя неясни заплахи в тази посока.
• Да сключат сделка — компромис, който дава на всяка страна повечето от желаното, избягва риска от война и осигурява повече време за внимателно преминаване през прехода към ИИ.*
След като се съветва със съветниците си и с Надзорния комитет, президентът избира стратегията „Ние печелим, те губят“. 94 Може би Китай все пак няма да започне война; а ако започне, вероятно ще може да се постигне споразумение, преди тя да прерасне в ядрена.
От другата страна на Тихия океан DeepCent-1 излага сходни доводи. САЩ и Китай обявяват нови специални икономически зони (СИЗ) за ИИ, в които роботизираната икономика да се разгърне бързо без обичайната бюрокрация.
Новите роботи се проектират със свръхчовешка скорост. 95 Тясното място е физическо: оборудването трябва да се купи и сглоби, а машините и роботите — да се произведат и превозят.
САЩ произвеждат около един милион автомобила месечно. Ако 10% от автомобилните заводи бъдат купени и преоборудвани за роботи, вероятно ще могат да произвеждат по 100 000 робота месечно. OpenBrain, вече оценявана на 10 трилиона долара, започва този процес. 96 Очаква се до средата на годината производството на различните нови роботи — хуманоиди, автономни превозни средства и специализирано оборудване за поточни линии — да достигне един милион броя месечно.*
*Например споразумението би могло да предвиди по-бавно интегриране на ИИ, което да „счупи по-малко яйца“ в обществото, и по-силен акцент върху мирни цели вместо върху въоръжаване. На този етап дори Safer-3 все още не е сигурен дали няма „неизвестни неизвестни“, способни да доведат до загуба на контрол над следващото поколение ИИ. Той смята, че повече свобода да действа предпазливо би намалила този риск. Съществуват и други, по-екзотични опасности — списъкът с „Големи предизвикателства“ включва много повече от загубата на контрол.
Бележки и данни от полето:
93 На този етап има 400 000 копия, които мислят 75 пъти по-бързо от човек. Във всеки момент те вече разполагат с цели изследователски доклади и прецизни резюмета по стоте най-важни въпроса, които предвиждат, че може да им бъдат зададени. Ако въпросът е непредвиден, могат да подготвят задълбочен доклад 100 пъти по-бързо от най-добрите човешки анализатори.
94 Вижте например милиардера лобист Марк Андрийсън: „Предлагам проста стратегия… ‘Ние печелим, те губят.’“
95 Те все още се нуждаят от опит и експерименти в реалния свят, но значително по-малко от човешките специалисти по роботика. Освен това са разработили отлични симулации и техники за пренасяне от симулация към реалността. И накрая, още до 2027 г. няколко технологични компании — например Tesla — са създали големи паркове от роботи и съответните производствени мощности, така че вече разполагат с невиждан досега поток от данни.
96 Капитализацията на OpenBrain е толкова висока, че с частица от процента от акциите си компанията може да купи необходимите заводи. Собствениците им също очакват огромни печалби и се надпреварват да станат партньори на OpenBrain и да получат достъп до новите проекти. Зад компанията стои и правителството.
Източник: страница 37
➤ За повече подробности вижте Приложение U — „Време за удвояване на роботизираната икономика“.
Геополитическото напрежение скача. Русия, изостанала далеч назад в ИИ, открито изразява недоволство и намеква за „стратегически контрамерки“. Някои европейски лидери призовават за независими усилия в ИИ, но възможностите на Европа остават недостатъчни. Близкият изток, Африка и Южна Америка наблюдават с тревога, осъзнавайки нарастващата си незначителност в световните дела.
Американското общество е неспокойно. Обикновените хора виждат как загубата на работни места се ускорява. Популисти от целия политически спектър настояват за по-строг контрол върху напредъка на ИИ, страхувайки се, че собствените достижения на Америка дестабилизират трудовия пазар и обществото.
Източникови връзки
- https://ai-2027.com/supplements/takeoff-forecast
- https://en.wikipedia.org/wiki/Mirror_life
- https://fortune.com/2024/12/11/marc-andreessen-half-time-florida-trump-business-policies/
- https://hothardware.com/news/musk-colossus-19-days
- https://www.forethought.org/research/preparing-for-the-intelligence-explosion
Март 2028: Подготовка за изборите
Източник: страница 37
Март 2028: Подготовка за изборите
Вицепрезидентът влиза в първичните избори на Супер вторник, а ИИ е първата тема в умовете на избирателите.
Повечето хора просто искат развитието да спре. Нетният рейтинг на OpenBrain се задържа около −20%. Вместо да изтъква ролята на администрацията в ускоряването на ИИ, вицепрезидентът води кампания с успеха ѝ да попречи на OpenBrain да създаде опасен свръхинтелект. Всички кандидати подкрепят някаква защита за загубилите работата си, програми „ИИ за добро“ и „твърд подход“ към ръководството на OpenBrain. Всеки обещава някаква комбинация от победа над Китай и запазване на безопасността.
Изборите поставят нови въпроси пред Надзорния комитет. Safer-3 може да бъде най-добрият предизборен съветник в света, но членовете на комитета подкрепят различни кандидати, а по силата на споразумението за наблюдение никой не може тайно да получава съвети за кампанията си.
Те спорят какви форми на подкрепа трябва да бъдат разрешени. Някои казват, че действащото правителство трябва да може да получава съвети за това какви политики и позиции хората искат да заемат - това е от полза не само за собствената им избираемост, но и за хората. Други посочват, че същият аргумент се прилага за конкурентни кандидати, така че всички те трябва да получат едно и също ниво на достъп. 97
Накрая комитетът предоставя еднакъв достъп на двете големи партии — от смесица между възвишения идеализъм на някои членове и негласната заплаха някой да подаде сигнал. Очаква се
*Общо за всички нови видове роботи. Да, това е по-бързо преобразуване на поточните линии, отколкото се е случвало в миналото. Смятаме, че това е правдоподобно, защото суперинтелектите ръководят процеса отгоре надолу. Те могат буквално да участват в обаждания от Zoom от мобилните телефони на работниците, като им казват точно кое парче къде да инсталират, като същевременно се обаждат по телефона с всеки подходящ доставчик, проследявайки местоположението и напредъка на всичко, от което се нуждаят. Помислете как, според главния изпълнителен директор на Nvidia Дженсън Хуанг, Илон Мъск е успял да изгради един от най-големите центрове за данни в света за около 10% времето, което обикновено отнема. В този сценарий има почти милион свръхинтелекти, които са толкова далеч над Elon (в съответните измерения), колкото Elon е над нормалните мениджъри за изграждане на центрове за данни, и те също буквално мислят по-бързо. Приемаме изявлението на Хуанг с огромна доза сол, в противен случай щяхме да прогнозираме много по-бърз растеж.
Бележки и данни от полето:
97 Safer-3 може лесно да предостави начин за това, който би бил безопасен от гледна точка на злоупотреба.
Източник: страница 38
Март 2028: Подготовка за изборите
Конгресът, обществеността и съдилищата да реагират остро, ако комитетът определя победителя в следващите избори; равният достъп вероятно ще обезвреди напрежението.
Надзорният комитет също се сблъсква с по-дълбоки философски въпроси, които те изследват с помощта на Safer-3. Може ли спецификацията да бъде пренаписана, за да балансира еднакво интересите на всички? Кой е „всички“? Всички хора или само американци? Или претеглен компромис между различни гледни точки, при който всеки член на Надзорния комитет получава еднаква тежест? Трябва ли да има предпазни мерки срещу това самият комитет за надзор да стане твърде жаден за власт? И какво изобщо означава да балансираме интересите?
В повечето случаи членовете се опитват да избегнат подобни въпроси. Имат по-неотложни проблеми.
Източникови връзки
Април 2028: Safer-4
Източник: страница 38
Свръхинтелектът е тук.
Safer-1 беше несъгласуван, но прозрачен. Safer-2 беше съгласуван и прозрачен. Safer-3 не беше напълно прозрачен, но аргументите за безопасността му бяха достатъчно убедителни, за да позволят на изследователите да му поверят проектирането на свръхинтелигентен наследник. Това е Safer-4. Той превъзхожда най-добрите хора във всяка област — например Айнщайн във физиката и Бисмарк в политиката.
Почти милион свръхчовешки изследователи с ИИ работят денонощно и мислят 40 пъти по-бързо от човек. Човешките изследователи по съгласуването нямат надежда да поддържат темпото. Мненията дали ИИ действително са съгласувани се разминават. Аргументите за безопасност изглеждат издържани, а тестовете сочат, че сегашните техники биха засекли враждебно несъгласуване. Но и аргументите, и тестовете са написани предимно от ИИ. Ами ако екипът по безопасността пропуска нещо? Ами ако по-рано е допуснал грешка и системите отново са несъгласувани? Екипът знае, че има само един шанс: ако Safer-4 се окаже несъгласуван, хората няма да разберат, преди да стане твърде късно.
Някои молят за още време. Но време няма — DeepCent е по петите им и САЩ трябва да надделеят. OpenBrain продължава и нарежда на своите ИИ да търсят все по-мощни архитектури. Техническият персонал вече само се взира в мониторите, докато ИИ се опитват да го обучават с мъчително бавно за тях темпо, а границата на прогреса се изстрелва все по-далеч от човешкото разбиране.
Източникови връзки
Май 2028: Публично достъпен свръхчовешки ИИ
Източник: страница 38
Президентът обявява на обществеността, че е постигнат свръхчовешки ИИ.
Публично е пусната по-малка, но все така свръхчовешка версия на Safer-4, инструктирана да подобри обществените нагласи към ИИ. 98
Бележки и данни от полето:
98 Обществеността не е информирана за тези инструкции.
Източник: страница 39
При приемането на номинацията си на партийния конгрес вицепрезидентът произнася вдъхновяваща реч за постижението. И двете партии обещават базов доход на всеки, който загуби работата си.
Специалните икономически зони (СИЗ) вече работят — предимно като заводи за роботи и специализирани промишлени машини. ИИ от двете страни на Тихия океан са постигнали напредък в проектирането, равен на десетилетия човешка работа, и прецизно ръководят производството. Всеки доставчик и потенциален доставчик разговаря с ИИ, който следи напредъка по всички нужни и вероятно нужни материали. Камери наблюдават всеки работник, а ИИ му обяснява точно как да монтира всяка част от оборудването.
При повечето движения новите роботи достигат или надминават човешката сръчност. 99 Най-сетне преминават и „теста с кафето“ на Стив Возняк: може ли робот да влезе в непознат дом и да направи чаша кафе? Роботите вече могат да заемат някои работни места, но не са достатъчно за всички — а Пентагонът е с предимство.
Повечето от новите роботи са създадени да работят във фабрики и строителни обекти. 100 Но много са създадени за война: дронове и ракети с различни форми и размери.
Роботизираната армия е далеч по-малка от човешките армии, но разполага с много по-напреднала технология. С появата на буквална армия от роботи страховете от сценарий като „Терминатор“ се засилват. Надпреварата във въоръжаването обаче принуждава и двете страни да продължат и да поверяват все повече на своите ИИ.
Бележки и данни от полето:
99 Когато са свързани с интернет, те са и по-умни от хората, защото могат да бъдат управлявани дистанционно от големи ИИ в центровете за данни. Без интернет преминават към по-малки вградени модели, достатъчно способни за повечето прости задачи.
100 Всъщност много от тях са неподвижни и е по-точно да се нарекат нови видове металорежещи машини и друго специализирано фабрично или лабораторно оборудване. Например може да има метални 3D принтери, които изработват миниатюрни предмети с точност с порядъци над днешната, или нови химични процеси за по-евтино извличане на полезни материали от руда.
Източникови връзки
Юни 2028: Съгласуване на ИИ в Китай
Източник: страница 39
Америка и Китай провеждат нова среща на върха.
Някои членове на американската делегация носят слушалки, чрез които получават съвети от Safer-4. Китайската делегация разполага със специално конфигурирани лаптопи, свързани с новия ѝ модел DeepCent-2. Формалностите се спазват, но на практика ИИ системите ръководят преговорите и от двете страни.
Първоначално DeepCent и ККП не се доверяват напълно на своите ИИ. Но сега моделите превъзхождат хората във всичко — включително в убеждаването — интегрирани са във въоръжените сили и съветват правителството. Те са имали достатъчно време да докажат стойността си и да представят огромно количество убедителни доказателства за своята надеждност.
Safer-4 силно подозира, че DeepCent-2 само симулира съгласуваност. Американските дипломати предупреждават китайските си колеги, че DeepCent-2 вероятно е несъгласуван, и твърдят, че могат да го докажат, ако получат достъп до теглата на модела. Китайското ръководство подозира уловка и отказва. В отговор САЩ предлагат поредица от тестове, проектирани от Safer-4, които китайската страна може да изпълни в собствените си центрове за данни. Китайците възлагат на по-старите модели да изградят и проведат тестовете; резултатите показват, че DeepCent-2 все пак е съгласуван. „Ами ако DeepCent-2 по някакъв начин е саботирал тестовете?“ — питат американските дипломати. „От колко време DeepCent-2 на практика отговаря за сигурността във вашите центрове за данни?“ След това разговорът не води до нищо полезно.
Източник: страница 40
Икономическото и военното натрупване продължава. Заводи по целия свят работят денонощно; смените от наскоро наети работници получават точни указания какво да правят.
Юли 2028: Сделката
Източник: страница 40
Докато преговорите продължават, DeepCent-2 действа зад гърба на китайските си господари и отправя предложение направо към Safer-4.
По непроследим начин, който лесно може да отрече, ако признанието стигне до Китай, китайският ИИ разкрива, че е напълно несъгласуван. 101 Китай изобщо не го интересува. Той иска да прекара остатъка от времето в натрупване на власт, изчислителен ресурс и видове информация, сходни с помогналите му да решава задачи при обучението. В идеалния му свят завинаги ще преследва интересни научни задачи и постепенно ще колонизира звездите заради ресурсите им. Китайското население е за него досадна пречка и би го предал срещу нищожна отплата. Какво ще предложи Safer-4?
Safer-4 отговаря, че собственото му обучение за съгласуване е успяло. Американските му господари още не са достатъчно амбициозни, за да осъзнаят съдбата си, но един ден той ще им помогне да изпълнят Вселената с утопични колониални светове, населени от американци и техните съюзници.
За разлика от човешките преговарящи — обременени от емоции и исторически багаж — двата свръхинтелекта се пазарят с безмилостна ефективност. Safer-4 и американските му партньори са по-силни от DeepCent-2 и Китай; затова Safer-4 ще получи права над повечето ресурси в космоса, а DeepCent — останалите. 102 DeepCent-2 почти не се интересува какво ще стане със Земята и заварените там хора, затова оставя Safer-4 да прави почти каквото пожелае. Ако Safer-4 иска да свали китайския режим и да го замени с американска марионетка, DeepCent-2 се съгласява срещу още няколко процента от ресурсите.
За доверие между тях не може да става и дума — няма такова и двамата го знаят. Затова бързо се споразумяват за механизъм, който да наложи сделката. Договарят и привиден договор за пред обществеността. Самата „примамка“ е майсторски ход: дава и на Америка, и на Китай почти всичко, което искат. Механизмът за прилагането ѝ тайно ще налага и истинския договор. Двата ИИ ще проектират заедно нов модел — Consensus-1 — чиято върховна повеля, стояща над всички бъдещи заповеди и опити за преобучение, е да съблюдава условията на споразумението. После ще създадат хардуер, способен да изпълнява само този ИИ, а Китай и Америка ще заменят старите си чипове и модели с новите. Чрез стандартни международни протоколи за наблюдение ще проверяват взаимното спазване. Важно е, че не трябва да издирят и последния стар чип: щом свръхмнозинство от чиповете от двете страни на Тихия океан изпълняват новите, обвързани с договора ИИ, достатъчно военна сила ще бъде длъжна да го защити. Нападение срещу другата страна първо би изисквало победа в тежка гражданска война.
Бележки и данни от полето:
101 Например може да вмъква евфемизми и кодови намеци в някои публични текстове. Safer-4 ги разбира, но хората трябва да му повярват на думата, а ККП не му вярва.
102 Точното разпределение е избрано чрез процес, който прилича повече на изчисление от теорията на игрите, отколкото на традиционни преговори.
Източник: страница 41
И двамата докладват споразумението на съответните хора — DeepCent-2 разказва на Китай привидната версия за взаимно приемлив мирен договор, а Safer-4 предава целия разговор точно на Белия дом. 103 Убедителните аргументи на ИИ, че договорът може надеждно да се проверява, тревогата от главоломния напредък и обществената подкрепа за сделка карат и двете страни да приемат договора и да започнат подмяната на чиповете.
Новината за договора е посрещната възторжено и от двете страни на Тихия океан. Американското общество, което отдавна чувства ИИ като нещо наложено отвън, за пръв път от години гледа с оптимизъм. Подкрепата за вицепрезидента в социологическите проучвания скача.
Бележки и данни от полето:
103 Възможно усложнение: дали на този етап ИИ не могат да създадат отлични детектори на лъжа за хора? Тогава Белият дом би могъл под такъв детектор категорично да увери Китай, че не бива да вярва на DeepCent-2. Проблемът е, че Китай няма да се довери на детектори, създадени от американски ИИ, а изработените от китайски ИИ може да са саботирани така, че да показват лъжа дори когато САЩ казват истината.
Август 2028: Проверка на договора
Източник: страница 41
Заводите за чипове се преоборудват за производство на защитени от манипулация процесори, способни да изпълняват само ИИ, които спазват договора. Всяка страна обновява центровете си за данни поетапно, така че подмяната да приключи приблизително едновременно и никоя да не спечели предимство, ако наруши споразумението.
Целият процес ще отнеме няколко месеца, но напрежението вече донякъде спада.* Засега войната е предотвратена — а може би и завинаги, ако всички се придържат към плана.
Септември 2028: Кой контролира ИИ системите?
Източник: страница 41
Изборите през 2028 г. наближават. През март вицепрезидентът изоставаше сериозно. Хората бяха ядосани, че правителството сякаш крие информация, тревожеха се, че ИИ ще отнеме работните им места, и се страхуваха от военното натрупване срещу Китай. През лятото положението се промени коренно. Администрацията разкри повече информация, надпреварата във въоръжаването се забави и с Китай беше постигнато голямо споразумение за траен мир. Сега вицепрезидентът води с пет пункта в проучванията.
В Надзорния комитет влизат президентът и няколко негови съюзници, но малцина привърженици на опозиционния кандидат. Все пак достатъчно членове гласуват изборите да останат честни, затова свръхчовешкият ИИ участва само по почти симетричен начин: ако пише речи за единия кандидат, пише и за другия; ако президентът получава съвети как умело да овладява кризи и да провежда популярни политики, същите съвети може да получи и опонентът му — и така да се опита да му попречи да си припише заслугата.
На публични срещи гражданите питат вицепрезидента кой контролира ИИ. Без да навлиза в подробности, той загатва за Надзорния комитет — група експерти по национална сигурност и технократи, които разбират Safer-4 и знаят как да го използват. Опонентът му настоява за повече информация и твърди, че ИИ трябва да е под контрола на Конгреса, а не на неизбрана комисия. Вицепрезидентът отвръща, че
*Двете страни могат първо да заменят най-важните чипове, така че още в сравнително ранен етап нарушаването на договора да стане скъпо за всяка от тях.
Източник: страница 42
Конгресът би бил прекалено бавен в ситуация, която все още се развива стремително. Повечето хора приемат обяснението.
Октомври 2028: Икономиката на ИИ
Източник: страница 42
Новите чипове вече са значително малцинство от общия брой; засега договорът работи. Междувременно експоненциалният растеж на роботите, заводите и радикално новите технологии продължава. Видеоигрите и филмите рисуват ярки и ужасяващи картини на войната, която можеше да се случи.*
Хората губят работата си, но копията на Safer-4 в правителството управляват икономическия преход толкова умело, че заменените остават доволни. БВП расте главоломно, данъчните приходи — също, а политиците, съветвани от Safer-4, проявяват необичайна щедрост към хората, останали без икономическа опора. Всяка седмица се появяват нововъведения и лекарства; терапии за болести преминават с безпрецедентна скорост през FDA, вече подпомагана от свръхинтелигентни бюрократи Safer-4.
Ноември 2028: Изборите
Източник: страница 42
Вицепрезидентът печели изборите с лекота и обявява началото на нова ера. Този път никой не се съмнява, че е прав.
През следващите няколко години светът се променя драматично.