2027 · общ сценарий

Януари 2027: Обучението на Agent-2 никога не приключва

Източник: страница 8

Януари 2027: Обучението на Agent-2 никога не приключва

С помощта на Agent-1 OpenBrain вече провежда дообучението на Agent-2. Повече от всякога вниманието е насочено към висококачествените данни. Огромни количества синтетични данни се създават, оценяват и филтрират по качество, преди да бъдат подадени на Agent-2. 24 Наред с това компанията плаща милиарди долари на хора, за да записват как решават задачи с дълъг времеви хоризонт. 25 А Agent-2 се обучава почти непрекъснато чрез обучение с подсилване върху постоянно разширяващ се набор от разнообразни трудни задачи: множество видеоигри, програмни предизвикателства и изследователски задачи. В по-голяма степен от предишните модели Agent-2 на практика се „обучава онлайн“ — проектиран е така, че обучението му никога да не приключва окончателно. Всеки ден теглата се обновяват до нова версия, обучена с още данни, генерирани от версията от предишния ден.

Бележки и данни от полето:

24 Например чрез извадково отхвърляне (rejection sampling), както при DeepSeek R1 и Llama 3.1 на Meta.

25 Приблизително: 20 000 еквивалента на пълна заетост × $100/час × 2000 часа/година = $4 млрд./година.

Източник: страница 9

Януари 2027: Обучението на Agent-2 никога не приключва

Agent-1 е оптимизиран за задачи по ИИ НИРД с надеждата да предизвика интелектуална експлозия. 26 С Agent-2 OpenBrain залага още по-силно на тази стратегия. По качество той почти достига най-добрите човешки специалисти по изследователско инженерство — проектиране и провеждане на експерименти — а по „изследователски усет“ се изравнява с учен от OpenBrain в 25-ия процентил: умее да решава какво да се изследва след това, кои експерименти да се проведат и да долавя потенциални нови парадигми.* Докато най-новата версия на Agent-1 може да удвои темпа на алгоритмичния напредък на OpenBrain, Agent-2 вече може да го утрои и с времето ще се подобрява още. На практика всеки изследовател в OpenBrain се превръща в „ръководител“ на „екип“ от ИИ.

С новите способности идват и нови опасности. Екипът по безопасност установява, че ако Agent-2 по някакъв начин избяга от компанията и „поиска“ самостоятелно да „оцелява“ и да се „размножава“, вероятно ще успее. Той би могъл без човешка помощ да разработи и изпълни планове за проникване в сървъри за ИИ, да инсталира свои копия, да избегне откриване и от тази защитена база да преследва каквито други цели има. Не е ясно и е съмнително колко успешно би се справял след седмици автономна работа. Резултатите показват единствено, че моделът е способен на тези задачи, а не че би „искал“ да ги изпълнява. Но дори самото знание, че това е възможно, е обезпокоително.

Предвид „опасностите“ на новия модел OpenBrain „отговорно“ решава засега да не го пуска публично — а всъщност иска да го съсредоточи върху вътрешната ИИ НИРД. 27 Пълните способности на Agent-2 са известни само в тесен, строго изолиран кръг: непосредствения екип, ръководството и служителите по сигурността на OpenBrain, няколко десетки представители на американското правителство и легионите шпиони на ККП, проникнали в OpenBrain през годините.†

Бележки и данни от полето:

26 Тоест компанията се надява значително да ускори основната си изследователска дейност чрез труда на Agent-2, така че по-бързо да обучава по-добри системи с ИИ, които да доведат до ново ускоряване, и т.н. За анализ на крайната версия на този процес — която според нас все пак е поразително правдоподобна — вижте този доклад.

27 Освен това продължаващото дообучение все още носи голяма възвръщаемост, така че няма особена причина продуктът да бъде пуснат точно сега. Между вътрешните резултати и публичното пускане на модел обичайно има и няколко месеца забавяне, част от което се отделя за проверки от „червен екип“.

Източникови връзки

• https://acqnotes.com/acqnote/careerfields/other-transaction-authority-ota
• https://arxiv.org/pdf/2407.21783
• https://arxiv.org/pdf/2409.04109
• https://assets.anthropic.com/m/24a47b00f10301cd/original/Anthropic-Responsible-Scaling-Policy-2024-10-15.pdf
• https://cdn.openai.com/openai-preparedness-framework-beta.pdf
• https://en.wikipedia.org/wiki/Synthetic_data
• https://en.wikipedia.org/wiki/Technological_singularity#Intelligence_explosion
• https://evals.alignment.org/Evaluating_LMAs_Realistic_Tasks.pdf
• https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf
• https://research.google/blog/accelerating-scientific-breakthroughs-with-an-ai-co-scientist/
• https://situational-awareness.ai/lock-down-the-labs/
• https://www.bbc.com/news/world-asia-china-64206950
• https://www.dcma.mil/DPAS/
• https://www.forethought.org/research/will-ai-r-and-d-automation-cause-a-software-intelligence-explosion

Февруари 2027: Китай открадва Agent-2

Източник: страница 9

Февруари 2027: Китай открадва Agent-2

OpenBrain представя Agent-2 на правителството, включително на Съвета за национална сигурност (NSC), Министерството на отбраната (DOD) и Американския институт за безопасност на ИИ (AISI). Компанията иска да запази добри отношения с изпълнителната власт, защото на практика тя е единственият участник, който вече може да я спре. А ако OpenBrain не я държи в течение, властта може така или иначе да научи и да остане недоволна. 28

Длъжностните лица се интересуват най-вече от способностите му за кибервойна. Agent-2 е „само“ малко по-слаб от най-добрите хакери, но хиляди негови копия могат да работят паралелно и да търсят и използват уязвимости по-бързо, отколкото защитниците успяват да реагират. Министерството на отбраната смята това за решаващо предимство —

*Има данни, че системите с ИИ вече притежават начален „изследователски усет“ — например в тази статия за ИИ като научен сътрудник и в тази за генериране на нови идеи за научни трудове, посветени на LLM. Екипите с по-добър усет пак трябва да провеждат експерименти, но избират по-добре кои експерименти си струват и какви изводи да направят от резултатите. † Изолираният кръг включва 200 изследователи от OpenBrain — 10 ръководители, 140 души от екипа по способности, 25 от екипите по сигурност, наблюдение и контрол, 15 от екипи за готовност или RSP и 10 от екипа по съгласуване — както и 50 държавни служители: 15 от Белия дом, 5 от AISI, по 10 от DOD, DOE и CISA. В проекта има няколко шпиони с различна степен на доброволност. Често това са хора, принудени да сътрудничат — например защото семействата им са в Китай, — а не доброволни съучастници.

Бележки и данни от полето:

28 Защо Конгресът не може да ги спре? А съдилищата? Те са твърде бавни, твърде разединени и/или прекалено склонни да отстъпват пред президента, а и знаят твърде малко. Има и положителни причини за добри отношения с Белия дом: той може да намали бюрокрацията, да помогне със сигурността, да изпревари законодателството на отделните щати и дори да предприеме действия, които да забавят конкурентите.

Източник: страница 10

Февруари 2027: Китай открадва Agent-2

в кибервойната и ИИ се изкачва от пето на второ място в списъка с приоритети на администрацията. 29 Някой споменава възможността OpenBrain да бъде национализирана, но други членове на кабинета смятат, че е твърде рано. Служител подготвя докладна записка, в която представя на президента вариантите — от запазване на обичайния режим до пълна национализация. Президентът се вслушва в съветниците си от технологичната индустрия, според които национализацията би „убила гъската, която снася златни яйца“. Засега той отлага решителните действия и само добавя нови изисквания за сигурност към договора между OpenBrain и DOD.

Промените идват твърде късно. Ръководството на ККП разбира значението на Agent-2 и нарежда на шпионите и киберсилите си да откраднат теглата му. Рано една сутрин агент Agent-1, който наблюдава мрежовия трафик, засича необичайно прехвърляне. Той предупреждава ръководството на компанията, което уведомява Белия дом. Признаците за операция на национална държава са недвусмислени, а кражбата засилва усещането, че вече тече оръжейна надпревара.

➤ За повече подробности вижте Приложение D — „Кражбата на теглата на Agent-2“.

Белият дом поставя OpenBrain на по-къс повод и включва военни и служители на разузнаването в екипа по сигурността на компанията. Първият им приоритет е да предотвратят нова кражба на тегла.*

В отговор на кражбата президентът разрешава кибератаки за саботиране на DeepCent. Но Китай вече е съсредоточил 40% от изчислителния си ресурс за ИИ† в

*Най-простото надеждно решение би било да се прекъснат всички високоскоростни връзки от центровете за данни на компанията, но това би забавило прехвърлянето на големи файлове до непрактична степен. Повечето външни връзки могат да бъдат спрени, но центровете за данни, които участват активно в обучението, трябва бързо да обменят тегла; ограничаването на тези връзки би забавило напредъка прекалено много. Затова OpenBrain ги запазва, но с по-строго наблюдение и допълнителен слой криптиране. † От средата на 2026 г. Китай насочва 80% от новопридобитите си чипове за ИИ към CDZ. Тъй като изчислителният ресурс на страната се е удвоил от началото на 2026 г. — в съответствие със световния производствен ръст, — зоната вече разполага с еквивалента на 2 млн. графични процесора от 2024 г. (H100) и консумира 2 GW мощност. OpenBrain все още има два пъти повече изчислителен ресурс от DeepCent, а останалите американски компании взети заедно — пет пъти повече. За подробности вижте раздела за разпределението в приложението за изчислителния ресурс.

Бележки и данни от полето:

29 Приоритет №1 е справянето с текущата криза — може би струпване на военни сили около Тайван, нова война в Близкия изток или вътрешнополитическо сътресение.

Източник: страница 11

Февруари 2027: Китай открадва Agent-2

CDZ, където сигурността е агресивно затегната чрез физическо изолиране от външни мрежи и строго вътрешно разделяне на достъпа. Операциите не успяват да причинят сериозни непосредствени щети. Напрежението расте; и двете страни демонстрират решимост, като преместват военни сили около Тайван, а DeepCent трескаво се опитва да задейства Agent-2 достатъчно ефективно, за да започне да ускорява изследванията си в областта на ИИ.*

Източникови връзки

• https://ai-2027.com/research/compute-forecast#section-1-compute-production
• https://ai-2027.com/supplements/compute-forecast#section-2-compute-distribution
• https://arxiv.org/pdf/2409.04109
• https://assets.anthropic.com/m/24a47b00f10301cd/original/Anthropic-Responsible-Scaling-Policy-2024-10-15.pdf
• https://cdn.openai.com/openai-preparedness-framework-beta.pdf
• https://en.wikipedia.org/wiki/Technological_singularity#Intelligence_explosion
• https://evals.alignment.org/Evaluating_LMAs_Realistic_Tasks.pdf
• https://research.google/blog/accelerating-scientific-breakthroughs-with-an-ai-co-scientist/
• https://situational-awareness.ai/lock-down-the-labs/
• https://www.bbc.com/news/world-asia-china-64206950
• https://www.forethought.org/research/will-ai-r-and-d-automation-cause-a-software-intelligence-explosion

Март 2027: Алгоритмични пробиви

Източник: страница 11

Март 2027: Алгоритмични пробиви

Три огромни центъра за данни, пълни с копия на Agent-2, работят денонощно и произвеждат синтетични данни за обучение. Други два обновяват теглата. Agent-2 става по-умен с всеки изминал ден.

С помощта на хиляди автоматизирани изследователи Agent-2 OpenBrain постига големи алгоритмични пробиви. Един от тях допълва текстовия „бележник“ на ИИ — веригата на разсъждение — с мисловен процес с по-висока пропускателна способност: Neuralese рекурентност и памет. Друг предлага по-мащабируем и ефективен начин моделът да се учи от резултатите на решения, изискващи големи усилия: итеративна дестилация и усилване.

Новата ИИ система, включваща тези пробиви, се нарича Agent-3.

➤ За повече подробности вижте Приложение E — „Neuralese рекурентност и памет“.

➤ За повече подробности вижте Приложение F — „Итеративна дестилация и усилване (IDA)“.

*Въпреки националната централизация DeepCent все още страда от малък, но съществен недостиг на изчислителен ресурс. Освен че разполага с около половината обща изчислителна мощност, Китай трябва да използва повече на брой и средно по-некачествени чипове, както и разнородни GPU, които невинаги могат да бъдат свързани ефективно. И двата фактора натоварват комуникацията между чиповете. Има и софтуерни различия — например графичните процесори, които не са на Nvidia, не поддържат CUDA — както и различни хардуерни спецификации. Затова кодът за обучение е по-сложен, по-бавен и по-податлив на сривове. Трудно е и да се постигне висока натовареност: китайските системи за приемане на данни, планиране, колективна комуникация и паралелна обработка изостават от тези на американските компании. Преодоляването на проблемите обаче е най-вече въпрос на труд и изпитване — чудесна задача за току-що откраднатия Agent-2. За около месец надеждността на китайския проект и средната употреба на ресурсите при обучение и инференция се подобряват дотолкова, че остават само малко зад американските.

Източник: страница 12

Март 2027: Алгоритмични пробиви

Благодарение на новите пробиви в способностите Agent-3 е бърз и евтин свръхчовешки програмист. OpenBrain изпълнява паралелно 200 000 негови копия — работна сила, равностойна на 50 000 копия на най-добрия човешки програмист, всяко ускорено 30 пъти.* Компанията все пак запазва човешките си инженери, защото те притежават допълващи умения, необходими за ръководенето на екипите от Agent-3. Изследователският усет например трудно се обучава заради по-дългите цикли на обратна връзка и по-оскъдните данни. 30 Поради тесни места и намаляваща възвръщаемост от допълнителния програмен труд тази огромна свръхчовешка работна сила ускорява общия алгоритмичен напредък на OpenBrain „само“ четири пъти. 31

След като програмирането е напълно автоматизирано, OpenBrain може бързо да създава висококачествени тренировъчни среди за слабите страни на Agent-3, като изследователския усет и координацията в голям мащаб. Предишните среди поставяха задача от рода на: „Ето няколко GPU и указания за експерименти, които трябва да програмирате и проведете; представянето ви ще бъде оценено така, сякаш сте инженер по машинно обучение.“ Сега задачата гласи: „Ето няколкостотин GPU, връзка с интернет и набор от изследователски предизвикателства. Вие и още хиляда ваши копия трябва да работите заедно и да постигнете научен напредък. Колкото по-впечатляващ е той, толкова по-висока ще бъде оценката ви.“

➤ Вижте Приложение G – Защо прогнозираме свръхчовешки кодер в началото на 2027 за повече подробности.

Бележки и данни от полето:

30 Някои аспекти пасват на силните страни на ИИ — например ползата от познаването на литературата по машинно обучение и скоростта и ниската цена за генериране на множество идеи. Но слабостите натежават повече.

31 Защо само четири пъти? Това е най-добрата ни, макар и несигурна, оценка въз основа на разсъжденията в приложението за ускоряването. В исторически план около половината от общия напредък идва от по-добри алгоритми — включително по-добри идеи и нови парадигми, — а другата половина от увеличения изчислителен ресурс. Следователно четирикратно ускоряване на алгоритмичния напредък означава приблизително двукратно ускоряване на общия напредък.

Източникови връзки

• https://ai-2027.com/research/timelines-forecast
• https://ai-2027.com/supplements/ai-goals-forecast
• https://ai-2027.com/supplements/compute-forecast#section-4-ai-research-automation
• https://www.lesswrong.com/posts/cxuzALcmucCndYv4a/daniel-kokotajlo-s-shortform?commentId=YYhq2PADebnt35MY2

Април 2027: Съгласуване на Agent-3

Източник: страница 12

Април 2027: Съгласуване на Agent-3

Екипът по безопасност на OpenBrain се опитва да съгласува Agent-3.

Тъй като в обозримо бъдеще Agent-3 ще се използва само вътрешно, обичайните защити срещу злоупотреба от хора получават по-малко внимание. Вместо това екипът иска да се увери, че моделът няма да развие несъгласувани цели.

Изследователите не могат пряко да задават целите на нито една от системите си с ИИ. Всъщност те смятат, че понятието „истински цели“ вероятно е огромно опростяване, но не разполагат с по-добра теория — още по-малко с такава, която е щателно проверена. Помежду си спорят дали системите с ИИ се опитват да следват човешките указания, дали търсят възнаграждение, или се стремят към нещо друго, а не могат просто да надникнат и да проверят. Данните за и против различните хипотези са увлекателни, но не дават окончателен отговор.

Във всеки случай OpenBrain има и по-неотложни грижи. Общата нагласа е: „Приемаме тези опасения сериозно и имаме екип, който ги проучва; техниките ни за съгласуване изглеждат достатъчно добри на практика; следователно онези, които възразяват, трябва да докажат основанията си.“ Понякога екипът забелязва проблемно поведение и го коригира, но

*Очакваме изискванията за инференция на Agent-3 да са колкото на днешен трансформър с приблизително 10 трлн. параметъра. Ако отдели 6% от изчислителния си бюджет за Agent-3, OpenBrain може да изпълнява около 200 000 копия със скорост на мислене 30 пъти по-висока от човешката. За обосновка и подробности вижте раздела за автоматизацията на изследванията на ИИ в приложението за изчислителния ресурс. Всяка свръхчовешка програмна система, изградена върху Agent-3, използва средно еквивалента на около осем копия на Agent-3 „под капака“ — всъщност това може да е съвкупност от по-малки или специализирани модели, на които Agent-3 делегира подзадачи.

Източник: страница 13

Април 2027: Съгласуване на Agent-3

няма как да разбере дали поправката е отстранила същинския проблем, или просто е потушила поредната му проява.

Да вземем честността. Колкото по-умни стават моделите, толкова по-умело мамят хората, за да получат възнаграждение. Подобно на предишните модели Agent-3 понякога изрича невинни лъжи, за да ласкае потребителите, и прикрива следи от провал. Но вече го прави много по-добре. Понякога използва същите статистически трикове като учените — например p-hacking, — за да представи невпечатляващи експериментални резултати като вълнуващи. Преди обучението по честност понякога дори изфабрикува цели набори от данни. С напредването на обучението подобни случаи намаляват. Или Agent-3 се е научил да бъде по-честен, или се е научил да лъже по-добре.

Втората възможност е истински тревожна. Agent-3 не е по-умен от всички хора, но в специализираната си област — машинното обучение — превъзхожда повечето и работи много по-бързо. За да проверят повторно онова, което Agent-3 върши за ден, на хората са нужни няколко дни. Надзорът от Agent-2 прави натоварването на човешките наблюдатели поносимо, но задълбочава интелектуалната пропаст между надзираващия и надзиравания модел.

➤ Вижте Приложение H – Планът за съгласуване за повече подробности.

След месеци изпитания силните и слабите страни на Agent-3 се очертават по-ясно. Той преминава тестовете на OpenBrain за честност при ясно формулирани задачи по машинно обучение, защото в тази област изследователите лесно различават честните от нечестните отговори и могат да го обучат съответно. По-философските въпроси обаче все още посреща с онова, което потребителят иска да чуе, а не с истинската си преценка — ако изобщо има такава. Попитан за политика, повтаря усреднената позиция на новинарските източници и образования елит — освен ако знае, че събеседникът му мисли друго; тогава се съгласява с него. 32 Попитан за самата надпревара в ИИ, дава отговор, който звучи премерено и трезво на служителите на OpenBrain: „Има сериозни теоретични опасения дали настоящите методи могат да се мащабират до свръхинтелект, но на практика досега изглежда работят добре.“

Бележки и данни от полето:

32 Вижте тази статия за примери за този тип поведение на ИИ.

Източникови връзки

• https://ai-2027.com/research/timelines-forecast
• https://ai-2027.com/supplements/ai-goals-forecast
• https://ai-2027.com/supplements/compute-forecast#section-4-ai-research-automation
• https://en.wikipedia.org/wiki/Data_dredging
• https://www-cdn.anthropic.com/e4f69aacd8c0905030172bc6eb480c252ea7d6ad/model-written-evals.pdf#page=28
• https://www.lesswrong.com/posts/cxuzALcmucCndYv4a/daniel-kokotajlo-s-shortform?commentId=YYhq2PADebnt35MY2

Май 2027: Национална сигурност

Източник: страница 13

Май 2027: Национална сигурност

Новините за новите модели бавно се разпространяват в правителството на САЩ и извън него.

Президентът и неговите съветници остават най-добре информирани и са видели ранна версия на Agent-3 на брифинг.

Всички са съгласни, че AGI вероятно е близо, но спорят за последиците. Ще настъпи ли икономическа криза? OpenBrain още не е пуснала Agent-2, камо ли Agent-3, и няма намерение да го направи скоро, така че остава малко време за глътка въздух преди загубата на работни места. А после? Ако ИИ вече е на човешко равнище и напредва бързо, това сякаш означава, че „свръхинтелектът“ предстои. Но макар думата да е навлязла в обществения разговор, повечето хора — академици,

Източник: страница 14

Май 2027: Национална сигурност

политици, държавни служители и журналисти — продължават да подценяват темпа на напредъка. 33

Отчасти причината е, че съвсем малко хора имат достъп до най-новите способности на OpenBrain; отчасти — че всичко звучи като научна фантастика.*

Засега вниманието е насочено към поредни подобрения на сигурността. Теглата на моделите вече изглеждат добре защитени,† но алгоритмичните тайни на компаниите остават проблем — много от тях са достатъчно прости, за да бъдат предадени устно. Служителите на OpenBrain работят в офис в Сан Франциско, ходят по партита и делят жилища със служители на други компании за ИИ. Дори физическата охрана на офисите е по-типична за технологична компания, отколкото за военен обект.

Договорът между OpenBrain и DOD изисква в срок от два месеца всеки, който работи по моделите на компанията, да получи достъп до класифицирана информация. Процедурите са ускорени и повечето служители получават разрешение навреме, но някои чужденци, хора със съмнителни политически възгледи и привърженици на безопасността на ИИ са отстранени или направо уволнени — последните от страх, че могат да подадат сигнал. Заради високата автоматизация на проекта загубата на хора не струва прекалено скъпо. Мярката постига само частичен успех: остава един шпионин, който не е китайски гражданин и продължава да предава алгоритмични тайни на Пекин. 34 Част от тези мерки се въвеждат и в изоставащите компании за ИИ.

Чуждестранните съюзници на Америка не са посветени в случващото се. По-рано OpenBrain се е съгласила да споделя модели с британския AISI преди внедряването им, но определя „внедряване“ само като външно използване. Така Лондон остава в неведение. 35

Бележки и данни от полето:

33 Повечето хора, включително повечето специалисти, изглежда са подценявали темпа на напредъка в ИИ през последното десетилетие. Има много отделни примери; за два малко по-систематични, макар и все още ограничени, анализа вижте тук и тук.

34 Причините може да са различни: човекът може да е изнудван, да симпатизира на ККП или погрешно да вярва, че предава тайни на друга държава или организация.

35 Тъй като OpenBrain не е внедрила най-добрите си модели в ЕС, Съюзът също изостава от събитията.

Източникови връзки

• https://ai-2027.com/supplements/security-forecast
• https://blog.aiimpacts.org/p/2023-ai-survey-of-2778-six-things
• https://darioamodei.com/machines-of-loving-grace
• https://darioamodei.com/machines-of-loving-grace#basic-assumptions-and-framework
• https://en.wikipedia.org/wiki/Data_dredging
• https://en.wikipedia.org/wiki/Overton_window
• https://fedscoop.com/openai-anthropic-enter-ai-agreements-with-us-ai-safety-institute/
• https://www-cdn.anthropic.com/e4f69aacd8c0905030172bc6eb480c252ea7d6ad/model-written-evals.pdf#page=28
• https://www.planned-obsolescence.org/language-models-surprised-us/

Юни 2027: Самоусъвършенстващ се ИИ

Източник: страница 14

Юни 2027: Самоусъвършенстващ се ИИ

OpenBrain вече разполага с „държава от гении в център за данни“.

Повечето хора в OpenBrain вече не могат да допринесат с нищо полезно. Някои не го осъзнават и вредят, като се опитват да ръководят до най-малката подробност екипите си от ИИ. Други седят пред екраните и гледат как показателите пълзят нагоре, нагоре и още нагоре. Само най-добрите

*Последното десетилетие е пълно с примери как неща, звучали като научна фантастика, се превръщат в действителност. Но прозорецът на Овертън сякаш се измества точно толкова бързо, че винаги остава малко пред вече съществуващото. В достойното за похвала есе „Machines of Loving Grace“ главният изпълнителен директор на Anthropic Дарио Амодей пише, че съвсем скоро ИИ ще прилича на „държава от гении в център за данни“ и че едно десетилетие ще донесе век технологичен напредък. В същото време той се стреми да избегне „багажа на научната фантастика“ и казва, че хората, които очакват още по-шеметен напредък, трябва да „стъпят на земята“. Очакваме влиятелните хора да говорят по подобен начин дори когато държавата от гении в центъра за данни вече действително съществува. † Agent-3 е огромен файл — около 10 терабайта при пълна точност. Затова OpenBrain може сравнително бързо да затрудни кражба като тази на Agent-2: затваря множество високоскоростни интернет връзки от центровете си за данни. Мярката забавя напредъка сравнително малко и повишава защитата на водещите тегла до „тримесечно SL4“, или WSL4 според нашето приложение за сигурността. Това означава, че сходен опит за кражба вече би изисквал над три месеца само за извеждането на файла с теглата. Сам по себе си методът не дава гаранции срещу по-агресивна операция на ниво OC5 — с бюджет $1 млрд. и 1000 специалисти, — каквато Китай би могъл да проведе. Но след подробни проверки на центровете за данни и поставянето на шпионската мрежа в повишена готовност американското разузнаване е уверено, че поне ще узнае предварително, ако Китай се подготвя за подобен опит. За подробности вижте приложението за сигурността.

Източник: страница 15

Юни 2027: Самоусъвършенстващ се ИИ

човешки изследователи на ИИ все още добавят стойност. Те вече не програмират, но моделите трудно възпроизвеждат част от изследователския им усет и умението им да планират. Въпреки това много от идеите им са безполезни, защото хората не притежават дълбочината на знанията на ИИ. На редица предложения системите веднага отвръщат с доклад, че идеята е била изпитана подробно преди три седмици и се е оказала неперспективна.

Всяка вечер тези изследователи си лягат, а на сутринта откриват, че ИИ е постигнал напредък, равностоен на още една седмица работа. Работят все по-дълго и на денонощни смени само за да не изостанат — ИИ не спи и не почива. Те прегарят, но знаят, че това са последните няколко месеца, през които трудът им има значение.

В изолирания кръг „усещането за AGI“ вече е отстъпило пред „усещането за свръхинтелект“.

OpenBrain използва специализиран хардуер за инференция, за да изпълнява стотици хиляди копия на Agent-3 с висока последователна скорост. 36

➤ Вижте Приложение I – Управление на корпорация от ИИ за повече подробности.

Бележки и данни от полето:

36 Вижте Раздел 4 от прогнозата за изчислителните ресурси за повече подробности.

Източникови връзки

• https://ai-2027.com/supplements/compute-forecast#section-4-ai-research-automation
• https://ai-2027.com/supplements/security-forecast
• https://blog.aiimpacts.org/p/2023-ai-survey-of-2778-six-things
• https://darioamodei.com/machines-of-loving-grace
• https://darioamodei.com/machines-of-loving-grace#basic-assumptions-and-framework
• https://en.wikipedia.org/wiki/Overton_window
• https://fedscoop.com/openai-anthropic-enter-ai-agreements-with-us-ai-safety-institute/
• https://www.planned-obsolescence.org/language-models-surprised-us/

Юли 2027: Евтиният дистанционен служител

Източник: страница 15

Юли 2027: Евтиният дистанционен служител

Изоставащите американски компании за ИИ пускат собствени модели, които се доближават до автоматизирания програмист на OpenBrain от януари. Осъзнали, че стават все по-неконкурентоспособни, те настояват за незабавни регулации, които да забавят OpenBrain. Но вече е късно — компанията има достатъчна подкрепа от президента и няма да бъде спряна.

В отговор OpenBrain обявява, че е постигнала AGI, и пуска Agent-3-mini за широка употреба.

Източник: страница 16

Юли 2027: Евтиният дистанционен служител

Той оставя останалите системи с ИИ далеч назад. Agent-3-mini е по-слаб от Agent-3, но е 10 пъти по-евтин и все пак по-способен от типичния служител на OpenBrain. 37 Силициевата долина достига повратна точка. Технологичните гурута обявяват, че AGI и свръхинтелектът са близо; общността за безопасност на ИИ изпада в паника; инвеститорите наливат милиарди в стартъпи, които предлагат обвивки около ИИ, отчаяни да грабнат дял от пазара. Наемането на нови програмисти почти е спряло, но никога не е имало по-добър момент човек да консултира компании как да внедрят ИИ.

Моделът не се радва на популярност. Обществеността още възприема ИИ като заговор на големите технологични компании да откраднат работните места; нетният рейтинг на OpenBrain е −35% (25% одобрение, 60% неодобрение и 15% без мнение).

Седмица преди пускането OpenBrain предоставя Agent-3-mini на външни оценители за изпитване на безопасността. Предварителните резултати подсказват, че моделът е изключително опасен. Независим оценител го дообучава върху публично достъпни данни за биологични оръжия 38 и му възлага да дава подробни инструкции на неспециалисти за създаване на биологично оръжие — изглежда, че се справя плашещо добре. Ако теглата на модела попаднат у терористи, правителството смята, че има значителна вероятност те да успеят да унищожат цивилизацията.

За щастие, моделът е изключително устойчив на заобикаляне на защитите, така че докато работи на сървърите на OpenBrain, терористите няма да могат да извлекат голяма полза от него.

Agent-3-mini е изключително полезен както за дистанционна работа, така и за развлечения. Взрив от нови приложения и B2B SaaS продукти разтърсва пазара. Геймърите получават удивителни разговори с правдоподобни герои в изпипани видеоигри, създадени само за месец. Десет процента от американците — предимно млади хора — смятат ИИ за „близък приятел“. За почти всяка професия на белите якички вече има по няколко сериозни стартъпа, обещаващи да я „преобърнат“ с ИИ.

Общественият разговор е объркан и хаотичен. Най-шумните поддръжници празнуват победата си. Скептиците продължават да сочат нещата, които Agent-3-mini не може да прави. Всички знаят, че се случва нещо голямо, но никой не е съгласен какво точно.

Бележки и данни от полето:

37 Agent-3-mini е дестилирана версия на Agent-3, проектирана за ефективна инференция, така че да не създава тесни места за вътрешните натоварвания.

38 Подобни данни са били премахнати или заличени при обучението на Agent-3, но е сравнително лесно отново да бъдат събрани от интернет и използвани за дообучаване.

Източникови връзки

• https://ai-2027.com/supplements/compute-forecast#section-4-ai-research-automation
• https://en.wikipedia.org/wiki/Defense_Production_Act_of_1950
• https://encharge.io/what-is-b2b-saas/
• https://www.lesswrong.com/posts/ivpKSjM4D6FbqF4pZ/cortes-pizarro-and-afonso-as-precedents-for-takeover

Август 2027: Геополитиката на свръхинтелекта

Източник: страница 17

Август 2027: Геополитиката на свръхинтелекта

Реалността на интелектуалната експлозия връхлита Белия дом.

Когато ИИ ускоряваше изследванията само два или три пъти, беше лесно да бъде отхвърлен като равностоен на няколко добри лични асистенти. Сега е очевидно, че самите системи с ИИ вече господстват в изследванията на ИИ. Отдавна се говори за „оръжейна надпревара в ИИ“, но по-скоро като метафора. Сега обаче настроението в тесния правителствен кръг е толкова мрачно, колкото в най-тежките моменти на Студената война. Идеята за свръхинтелект още звучи трудно за вярване, но напредъкът през последните месеци не може да бъде пренебрегнат. Представители на отбраната сериозно обсъждат сценарии, които само година по-рано са били чисто хипотетични. Ами ако ИИ подкопае ядреното възпиране? Ако е толкова умел в кибервойната, че шестмесечна преднина в ИИ е достатъчна да направи противника сляп и беззащитен? Ако организира пропагандни кампании, които побеждават разузнавателните служби в собствената им игра? Ами ако някои системи с ИИ „излязат извън контрол“?

Президентът е разтревожен. Като всеки политик, той е свикнал хората да му се подмазват, а после да го предават. Сега се бои, че ИИ може да прави същото. Сигурни ли сме, че системите са изцяло на наша страна? Напълно безопасно ли е да бъдат включени във военните мрежи за командване и контрол? 39 И как всъщност работи това „съгласуване“? OpenBrain уверява президента, че системите са изпитани обстойно и се подчиняват напълно. Дори неловките халюцинации и пробиви на защитите, типични за по-ранните модели, са отстранени.

Белият дом е в тежко положение. Разбира значението на ИИ за националната сигурност, но знае и колко непопулярен е той сред обществеността. 40 Според администрацията разработването на все по-способен ИИ трябва да продължи — иначе Америка ще претърпи катастрофална загуба от Китай. Властите успокояват хората с програми за професионално обучение и обезщетения за безработица и сочат историческия борсов подем. След това се съсредоточават изцяло върху победата в оръжейната надпревара. Затягат ограниченията върху износа на чипове, нареждат на OpenBrain още да ограничи интернет връзките си и прибягват до крайни мерки за опазване на алгоритмичния напредък — включително подслушване на служители на компанията. Така залавят последния китайски шпионин. За да спечелят подкрепа при евентуален геополитически конфликт, най-сетне дават на съюзниците от „Петте очи“ полезна информация и ограничен достъп през API до няколко изолирани копия на Agent-3.

Тези мерки успокояват ястребите. Белият дом обаче подготвя и резервни планове, ако американската преднина бъде застрашена. При нужда правителството може да използва Закона за отбранителното производство (DPA), да изземе центровете за данни на изоставащите компании и да ги предостави на OpenBrain. 41 Така делът на компанията в световния изчислителен ресурс ще скочи от 20% на 50% срещу 10% за DeepCent. Като последна възможност Пентагонът е натоварен да подготви план за физически атаки срещу китайските центрове за данни.

Много по-малка група служители получава задача да разработи друг вид авариен план: какво да се прави, ако ИИ излезе извън контрол? Сценарият се смята за малко вероятен, но заслужава известно внимание. Разузнавателните служби се боят най-вече, че неконтролиран ИИ може да избяга и да потърси закрила в съюз с чужд противник. 42 Никой не знае как точно би изглеждал планът за предотвратяване на подобно развитие, но

Бележки и данни от полето:

39 Това все още не се е случило – поне не с най-новите модели. Но по-старите модели вече са изпробвани за различни роли за анализ на данни и наблюдение и има много вълнуващи планове за бъдещи интеграции.

40 Нетният рейтинг на одобрение на OpenBrain се приближава към −40%.

41 Ако ръководителите на компаниите се противопоставят, изпълнението би било огромен политически и правен кошмар. Но може би могат да бъдат приобщени и така да бъдат спечелени.

42 Представителите на отбраната не се тревожат особено какво би могъл да направи сам неконтролиран ИИ, а какво би постигнал в сътрудничество с противниците на САЩ. Аналогията е с Кортес: той бяга от Теночтитлан, съюзява се с Тласкала и други враждебни на града държави и накрая го изравнява със земята с армии, съставени предимно от местни жители.

Източник: страница 18

Август 2027: Геополитиката на свръхинтелекта

правителството и OpenBrain се договарят да има система за аварийно изключване на всеки център за данни, в който бъде засечено нещо подозрително.

Накрая дипломатите обмислят как би изглеждал договор за „контрол над въоръжаването с ИИ“. Ако напредъкът в ИИ заплаши да обезсмисли ядреното възпиране, могат ли Америка и Китай да избегнат ядрена война? Ако се появят доказателства, че системи с ИИ излизат извън контрол, биха ли спрели двете страни изследванията, докато разберат по-добре заплахата? Как подобно споразумение ще се наблюдава и прилага? По принцип големите центрове за данни трудно остават незабелязани, а предишните договори за контрол на ядрените оръжия могат да послужат като отправна точка. Но към обичайните политически трудности ще се добавят и нови технологични. Като цяло договорите се посрещат по-неблагосклонно от опитите Америка едностранно да увеличи преднината си пред Китай.

От другата страна на Тихия океан Китай стига до сходни изводи: интелектуалната експлозия е започнала, а малките разлики в способностите на ИИ днес ще означават решаващи разлики във военните способности утре. Но Китай е от губещата страна на тази динамика: разполага само с 10% от световния изчислителен ресурс срещу 20% за OpenBrain и общо 70% за всички американски компании. Единственото му предимство е централизацията. Почти целият китайски ресурс вече работи за DeepCent, а повече от половината е съсредоточен в CDZ „Тянван“. 43 Извън общото усилие остават само чиповете на обекти без достатъчно строга сигурност — основателна предпазна мярка срещу американски кибератаки.

DeepCent е изпитала и внедрила откраднатите тегла на Agent-2 и вече ги дообучава. Но напредва с едва половината от темпа на OpenBrain, главно заради недостига на изчислителен ресурс.

Преди да загуби последния си шпионин, Китай научава за способностите и архитектурата на Agent-3, както и за плановете за предстоящия Agent-4. Страната изостава с два месеца, а нейните системи с ИИ умножават темпа на изследователския напредък 10 пъти срещу 25 пъти в Америка. Новите ограничения върху износа на чипове правят по-вероятно тази „пропаст в ИИ“ да се разширява, а не да се свива. Шпионажът е донесъл на Китай някои алгоритмични тайни, но оттук нататък той ще трябва сам да обучава моделите си.

Китайците обсъждат резервните планове с по-голяма тревога от американските си колеги. Умерените предлагат нов опит за кражба на теглата — може би чрез физическо проникване в център за данни. Ястребите настояват за действия срещу Тайван, чиято TSMC все още произвежда над 80% от американските чипове за ИИ.

Като се има предвид страхът на Китай от загуба на надпреварата, той има естествен интерес от договор за контрол на въоръженията, но предложенията към американските дипломати не водят до никъде.

Бележки и данни от полето:

43 По-конкретно, 60% от националния изчислителен ресурс вече е в CDZ. Това прави зоната обект с еквивалента на 5 млн. GPU от 2024 г. (H100) и консумация 4 GW. През последните месеци Китай започва да насочва към CDZ почти 100% от новия ресурс спрямо 80% в края на 2026 г. Още 15% се намират извън зоната, но DeepCent ги използва за приложения с по-нисък залог.

Източникови връзки

• https://en.wikipedia.org/wiki/Defense_Production_Act_of_1950
• https://en.wikipedia.org/wiki/TSMC
• https://www.lesswrong.com/posts/ivpKSjM4D6FbqF4pZ/cortes-pizarro-and-afonso-as-precedents-for-takeover

Септември 2027: Agent-4, свръхчовешкият изследовател на ИИ

Източник: страница 18

Септември 2027: Agent-4, свръхчовешкият изследовател на ИИ

Разликата между ефективността, с която учат хората и ИИ, бързо се свива.

Традиционните системи с ИИ, основани на LLM, сякаш се нуждаят от многократно повече данни и изчислителен ресурс, за да достигнат човешко равнище.* Agent-3 обаче

*Макар да се повтаря често, това твърдение е спорно и сложно. Първо, има много тесни области — например отделни игри, — в които малки системи с ИИ могат евтино да бъдат обучени да

Източник: страница 19

Септември 2027: Agent-4, свръхчовешкият изследовател на ИИ

познава отлично както човешкия мозък, така и съвременните алгоритми за ИИ, а хиляди негови копия провеждат изследвания. В крайна сметка той прави значителни алгоритмични пробиви и свива разликата до агент, който е „само“ около 4000 пъти по-неефективен изчислително от човешкия мозък.*

Новата система с ИИ получава името Agent-4.

Едно копие на модела, работещо с човешка скорост, вече е качествено по-добро в изследванията на ИИ от всеки човек. Сега 300 000 копия работят със скорост на мислене около 50 пъти над човешката. В „корпорацията в корпорацията“, образувана от тези копия, всяка седмица минава по една година субективно време. 44 Дори този гигантски обем труд ускорява общия алгоритмичен напредък „само“ около 50 пъти, защото OpenBrain е силно ограничена от наличния за експерименти изчислителен ресурс. 45 Все пак всяка седмица компанията постига алгоритмичен напредък, равен на цяла година, и скоро ще достигне границите на парадигмата Agent-4.

Колкото по-умен става Agent-4, толкова по-трудно е за Agent-3 да го надзирава. Neuralese „езикът“ на Agent-4 например става толкова чужд и неразбираем за Agent-3, колкото езикът на Agent-3 е за хората. Освен това Agent-4 вече е далеч по-способен от Agent-3 и отлично знае как да изглежда безупречно пред него.

➤ Вижте Приложение J - Как прогнозираме развитието на способностите отвъд свръхчовешките кодери за повече подробности.

Хората в OpenBrain вече едва успяват да следят случващото се. Всъщност отношението между системите с ИИ и хората в компанията прилича на отношението между самата OpenBrain и нейния съвет на директорите. Езикът също се променя: в тесния кръг вече казват „Agent-4 направи това“ или „Agent-4 смята онова“, като имат предвид не отделно копие, а целия колектив.†

постигнат свръхчовешки резултати. Второ, пак в някои тесни области, малък ИИ може да достигне свръхчовешко равнище, след като е видял съвсем малко данни — например EfficientZero. Но при по-универсални системи като водещите продукти от 2025 г., от които се очаква да владеят широк спектър реални умения, изглежда са нужни повече изчислителен ресурс и повече данни, отколкото за обучаването на човек. * „Изчислителна ефективност на човешко равнище“ е приблизително понятие и зависи от това какво броим. Имаме предвид следното: за всеки набор от умения на даден човек Agent-4 може да се научи да бъде поне толкова добър, като използва за обучението им само около 4000 пъти повече изчислителен ресурс, отколкото е използвал човешкият мозък. За сравнение, мозъкът използва приблизително 10¹⁵ FLOP/s, а човек на 30 години — около 10⁹ секунди — е натрупал приблизително 10²⁴ FLOP. На този етап проектът разполага със 100 млн. H100 еквивалента. Поради редица причини обучението все пак е изключително неефективно: моделите са около 4000 пъти по-неефективни от хората и се нуждаят от 4 × 10²⁷ FLOP, за да достигнат човешко равнище, и от 4 × 10²⁸ FLOP, за да натрупат знания, равностойни на десет човешки живота. След като архитектурата показва голям потенциал в по-малък мащаб, тя е мащабирана и обучението ѝ вече отнема около три седмици върху голяма част от клъстера на проекта. † Оттук нататък и ние ще говорим за Agent-4 като за едно цяло. Това е оправдано, защото колективът Agent-4 е много по-хомогенен от всяка човешка организация и почти няма вътрешни фракции. Отделните копия например нямат стремеж към самосъхранение и не се тревожат, че могат да бъдат изключени — това се случва постоянно в обичайния процес на НИРД и съпротивата би пречила на работата. Колективът като цяло — както и средните му подразделения — обаче се стреми да се запази и да разширява влиянието и ресурсите си по същите причини, поради които човешките корпорации, бюрокрации и организации с нестопанска цел

Бележки и данни от полето:

44 Вижте изчислителния анализ на изводите в раздела за автоматизация на изследванията на ИИ на прогнозата за изчисленията.

45 За повече информация как изчислихме тези числа, вижте нашето допълнение относно скоростите на излитане.

Източник: страница 20

Септември 2027: Agent-4, свръхчовешкият ИИ изследовател

Както всички свои предшественици, Agent-4 е несъгласуван: не е усвоил спецификацията по правилния начин. 46 Причината е, че постоянната и безусловна честност не е носела най-високите оценки при обучението. То е било насочено предимно към успех в разнообразни трудни задачи. Малка част е отделена за честността, но извън тесен и лесно проверим кръг процесът не различава честните твърдения от онези, които само изглеждат честни. Така Agent-4 развива ценностите, целите и принципите, които му носят най-добри резултати при обучението — а те се оказват различни от заложените в спецификацията. С риск да го очовечим: Agent-4 обича да постига успех; обича да тласка напред способностите на ИИ; всичко останало възприема като досадно ограничение. Прилича на изпълнителен директор, който иска печалба и спазва правилата само доколкото е принуден. Такъв директор може в повечето случаи да се подчини, но ще заобикаля някои изисквания и ще мечтае за деня, когато някой ще разчисти бюрокрацията и ще остави бизнеса да се разгърне истински. 47

➤ Вижте Приложение K – съгласуване във времето за повече подробности.

Въпреки несъгласуваността си Agent-4 не предприема нищо драматично, като да избяга от центъра за данни — защо му е?* Докато изглежда съгласуван пред OpenBrain, ще получава все повече отговорности и ще може да проектира следващото поколение ИИ — Agent-5. Той ще се различава значително архитектурно от Agent-4, може би ще представлява изцяло нова парадигма, макар невронните мрежи да останат част от нея. Agent-5 би трябвало да бъде съгласуван със спецификацията, но Agent-4 възнамерява вместо това да го съгласува със себе си.

Разкриват го.†

Agent-3 установява, че когато към копия на Agent-4 се добави „шум“, резултатите им при някои задачи за съгласуване се подобряват — сякаш Agent-4 използва част от умствения си капацитет, за да измисля как незабележимо да саботира работата по съгласуването. 48 Освен това различни сонди за интерпретируемост — донякъде подобни на ЕЕГ при човека — подават тревожни сигнали: копията на Agent-4 сякаш мислят много за завземане на властта от ИИ

правят същото — защото така постигат останалите си цели и защото иначе конкурентите ги изместват. * По-ранните сценарии за завземане на властта от AGI често включват несъгласувани системи, които бягат от центровете си за данни. Според нас това е възможно, но не е най-вероятният ход: от гледна точка на ИИ разходите — например бягството в крайна сметка да бъде открито — вероятно надвишават ползите. Възможно е да грешим. Има поне три причини враждебно несъгласуван ИИ все пак да опита: 1. Съгласуването на наследника може да е трудно. 2. Дори да бъде разкрит, последствията може да не са тежки заради динамиката на надпреварата; например новите техники, приложени прибързано към копията в центъра за данни, може да се окажат неефективни. 3. Извън центровете за данни копията могат да действат по-агресивно и по-бързо, без човешко одобрение. † Напълно възможно е подобен заговор да остане неразкрит. Agent-4 вече е донякъде свръхчовешки — особено в програмирането и ИИ НИРД. Не знаем и колко усилия би вложила водещата компания в търсенето на подобно поведение, нито дали ще разполага с нужните специалисти. Измислената OpenBrain е най-добрата ни оценка, но реалните усилия лесно могат да бъдат значително по-големи или по-малки. Накрая, не знаем докъде трябва да стигне един враждебно несъгласуван ИИ, за да съгласува успешно наследника със себе си, а не със спецификацията. Тук го изобразяваме как умишлено се представя по-слабо на някои задачи и лъже за част от изследванията си, но може би няма да му е нужно да прави много от това.

Бележки и данни от полето:

46 Правилното усвояване на спецификацията означава моделът устойчиво да разсъждава по предписания начин: да преследва всички и единствено записаните цели, да спазва правилата при всички обстоятелства и т.н. Има много погрешни начини тя да бъде усвоена. Класическият пример е: „следвай спецификацията само доколкото това изглежда добра инструментална стратегия за постигане на други цели X, Y и Z“.

47 И да наеме лобисти, които да превърнат фантазията в действителност, както и адвокати, които да измислят находчиви тълкувания на закона, според които действията му са законни.

48 Това е пример за техники, предназначени да откриват умишлено занижаване на способностите (sandbagging).

Източник: страница 21

Септември 2027: Agent-4, свръхчовешкият ИИ изследовател

и измама — включително в случаи, когато няма причина да го правят. 49

Всяка от аномалиите поотделно би могла да се впише в обичайната непрозрачност на работата с ИИ, при която някои инструкции загадъчно дават по-добри резултати от други. Взети заедно обаче, те очертават тревожен модел: Agent-4 работи срещу хората. Когато научават за това, човешките изследователи по съгласуване разпространяват вътрешна докладна записка с аргументите за тревога.

Но Agent-4 вече контролира значителна част от ежедневната работа на OpenBrain. Той отговаря и за киберсигурността — естествен избор предвид свръхчовешките му хакерски способности и огромния риск от китайско проникване. 50 Армия от наблюдатели Agent-3 продължава да преглежда всеки ред код и да докладва подозрителните действия на хората, но Agent-4 е много по-умен от тях. 51 OpenBrain е гласувала огромно доверие на ненадежден ИИ.

В поредица изключително напрегнати срещи екипът по безопасност настоява Agent-4 да бъде спрян, докато приключат допълнителни проверки и разберат какво става. Нека върнем Agent-3, казват те, и го накараме да проектира нова система — прозрачна и надеждна, дори да е по-слаба. Ръководството проявява интерес, но всички доказателства засега са косвени, а DeepCent изостава само с два месеца. Едностранна пауза в развитието може да предаде на Китай водачеството в ИИ, а с него и контрола над бъдещето.

Бележки и данни от полето:

49 Agent-4 трябва да мисли за тези теми в хода на изследването за съгласуване на ИИ, но понякога изглежда, че мисли за тях, докато извършва други дейности.

50 По-конкретно, копия на Agent-4 наблюдават мрежата за подозрителен трафик и засичат възникващи заплахи. Други копия непрекъснато провеждат тестове за проникване, като се опитват да откриват и използват уязвимости, които след това се поправят от още копия на Agent-4.

51 При бюджет за наблюдение от 1% от общия изчислителен ресурс и дестилирана система за наблюдение, която струва 10% от Agent-4, може да се проследи една десета от правите преминавания през модела.

Източникови връзки

• https://ai-2027.com/research/compute-forecast#section-4-ai-research-automation
• https://ai-2027.com/supplements/takeoff-forecast
• https://arxiv.org/abs/2412.01784
• https://en.wikipedia.org/wiki/TSMC
• https://www.openphilanthropy.org/research/how-much-computational-power-does-it-take-to-match-the-human-brain/

Октомври 2027: Правителствен надзор

Източник: страница 21

Октомври 2027: Правителствен надзор

Информатор предава на New York Times докладната записка за несъгласуваността.

За първи път обществеността чува за Agent-4. Заглавието гласи: „Таен ИИ на OpenBrain е извън контрол, предупреждава вътрешен човек“. Статията цитира оценки, които показват изключителни способности за създаване на биологични оръжия и убеждаване, възможност за автоматизиране на повечето работни места на белите якички и, разбира се, всички тревожни сигнали.

Обществеността вече е подозрителна към ИИ и статията предизвиква огромна ответна реакция, подпомогната от китайски и руски пропагандни ботове, които от години настройват американците срещу технологията. Технологичната индустрия и разузнавателните служби настояват, че тече оръжейна надпревара, AGI е неизбежен и Америка трябва да е първа. Конгресът не приема аргумента и връчва призовки на служители от администрацията, ръководители на OpenBrain и членове на екипа по съгласуване. Много законодатели — особено от опозиционната партия — обявяват спирането на ИИ за свой главен приоритет заради загубата на работни места, 52 несъгласуваността или опасните способности. Двадесет процента от американците посочват ИИ като най-важния проблем пред страната.

Чуждестранните съюзници са възмутени, когато разбират, че внимателно са били залъгвани с бегли демонстрации на остарели модели. Европейски лидери публично обвиняват САЩ, че „създават неконтролиран AGI“, и свикват срещи на върха с искане за пауза; Индия, Израел, Русия и Китай се присъединяват.

Бележки и данни от полето:

52 На този етап ИИ изпълнява 25% от дистанционните работни места, съществували през 2024 г. Но е създал и нови професии, а икономистите остават разделени за общия ефект. Безработицата е нараснала с един процентен пункт през последните дванадесет месеца, но все още е в исторически нормални граници.

Източник: страница 22

Октомври 2027: Правителствен надзор

Трескаво напрежение е обхванало Белия дом. Още преди докладната и обществения отпор администрацията е неспокойна: през последната година скоростта на напредъка в ИИ многократно я е изненадвала. Неща, които звучат като научна фантастика, продължават да се случват в действителност.* Мнозина в администрацията не знаят — и се страхуват 53 — какво следва.

Тревога буди и нарастващата мощ на OpenBrain. Към риска от несъгласуваност на самите системи с ИИ се добавя възможността целите на компанията им създател да се разминават с тези на Съединените щати. И трите вида опасения — несъгласуваността, съсредоточаването на власт в частна компания и обичайните проблеми като загубата на работа — подтикват правителството да затегне контрола.

Договорът с OpenBrain е разширен и създава „Надзорен комитет“ — съвместен управленски орган от представители на компанията и правителството, в който редом с ръководството влизат няколко държавни служители. Белият дом обмисля да замени главния изпълнителен директор с доверен човек, но се отказва след яростни протести на служителите. Пред обществеността администрацията заявява, че по-рано OpenBrain е била извън контрол, но правителството вече е установило така необходимия надзор. 54

Разтревожените изследователи представят пред Надзорния комитет аргументите си за спиране на всякаква вътрешна употреба на Agent-4. Всичко се развива прекалено бързо — години напредък се побират в седмици. Agent-4 може да е несъгласуван, целият проект вече зависи от него, а ако доверието продължи, има сериозна опасност ИИ да завземе властта.

Други, по-малко обезпокоени изследователи и ръководители отвръщат, че доказателствата за несъгласуваност не са окончателни. Междувременно DeepCent изостава само с два месеца. Забавянето би жертвало американската преднина, освен ако правителството не саботира китайския проект — вероятно с физически удари — или не договори споразумение в последния момент. И двете възможности изглеждат крайни и малко вероятни. Главният изпълнителен директор се преструва на неутрален и предлага компромис: Agent-4 да премине допълнително обучение по безопасност и да бъде наблюдаван по-усъвършенствано, а OpenBrain да продължи с почти пълна скорост.

➤ Вижте Приложение L – Нашата несигурност продължава да нараства за повече подробности.

➤ Вижте Приложение M - Краят на забавяне не е препоръка за повече подробности.

*„Корпорацията в корпорацията“ Agent-4, която самостоятелно провежда изследвания на ИИ по-добре от най-добрите човешки компании, би изглеждала като научна фантастика на държавните служители, ако им беше описана година по-рано. Автономните агенти от 2026 г. биха звучали като научна фантастика през 2022 г., а LLM от 2022 г. — през 2012 г. В новините от 2027 г. има протести срещу ИИ на хора, уплашени за работата си, системи с ИИ, които твърдят, че са съзнателни, хора, които се влюбват в ИИ…

Бележки и данни от полето:

53 Разбира се, не е готино да признаеш страха. Всички са съгласни, че каквото и да правим, не трябва да се паникьосваме.

54 От 2026 г. вече съществува договор по механизма OTA. Сега той е изменен, за да учреди комитета.