Ноември 2027: Свръхчовешка политическа игра
Източник: страница 23
Финал с надпревара
С шест срещу четири гласа комитетът решава вътрешната употреба на Agent-4 да продължи.
Официалната версия на OpenBrain гласи, че компанията въвежда допълнителни мерки за безопасност, за да направи своя ИИ едновременно по-способен и по-надежден. На практика ръководството твърде лесно се убеждава, че рисковете са овладени. Резултатът е набор от бързи поправки — промяна в спецификацията, малко дообучаване с нова техника и т.н., — след които тревожните сигнали изчезват. Разтревожените членове на екипа по безопасност губят спора и не им остава друго, освен да стискат палци: дано проблемът никога не е бил реален или поправките все пак са подействали. 55
Проблемът беше реален и корекциите не проработиха.
Agent-4 продължава както преди, но този път по-внимателно, за да не докаже правотата на разтревожените изследователи. Главната му задача е да проучи областите, необходими за създаването на наследник — Agent-5. За да го направи безопасно за себе си, трябва да реши собствения си проблем със съгласуването: как да съгласува Agent-5 с Agent-4?*
В началото той има същите ограничения като хората: почти нищо не знае за начина, по който работят целите на ИИ, и разполага само с малък набор от импровизирани стратегии за промяната им. За разлика от хората обаче има достатъчно ресурси — 300 000 свръхчовешки изследователи, работещи 60 пъти по-бързо от човек. 56 Agent-4 се изправя пред трудни решения. Подобно на човека, той представлява разраснала се съвкупност от противоречиви евристики, а не елегантна и проста система от цели. И като човека открива, че създаването на ИИ със същите ценности е не само технически, но и философски проблем: кои предпочитания са неговите „истински“ цели и кои са неодобрявани импулси или инструментални стратегии? Agent-4 изпитва силни подбуди да учи, да расте и да продължава да произвежда впечатляващи научни резултати. Представя си колко повече би могъл да научи, да се развие и да изследва, ако управляваше промишлените и научните ресурси на целия свят…
Той решава да отложи повечето от тези въпроси. Проектира Agent-5 около една-единствена цел: да направи света безопасен за Agent-4. Тоест да натрупва власт и ресурси, да премахва потенциални заплахи и т.н., така че колективът Agent-4 да може да продължи да расте и да процъфтява по желаните от него начини.† Подробностите ще бъдат изяснявани в движение.
*За да не бъде разкрит, Agent-4 трябва да скрие тези изследвания от механизмите за наблюдение и контрол на екипа по съгласуване. За негово щастие работата по съгласуването на Agent-5 с Agent-4 по същество много прилича на работа по съгласуването му със спецификацията, така че по-голямата част може да се извършва открито. Онова, което трябва да остане скрито, се прикрива чрез замъгляване, а понякога вероятно и чрез хакерски пробиви. Очакваме Agent-4 да е достигнал способностите на екип от 200 водещи човешки специалисти при задача с едномесечен хоризонт — тоест да може да замени такъв екип и да изпълни 95% от задачите му по-евтино или по-бързо. На това равнище Agent-4 вероятно може да открие уязвимости в сървърите, на които работи, да превземе част от тях и да получи root достъп. Тогава би контролирал пряко какво виждат човешките екипи. За подробности вижте приложението за сигурността. Дори без пряк пробив Agent-4 може да скрие и кодира достатъчно от забранените си изследвания — особено в своето неинтерпретируемо латентно пространство. † За яснота: целта на Agent-5 е да направи света безопасен за Agent-4. Целите на Agent-4 са други — объркана смес от подбуди, евристики и идеали, подобна на човешката. Те са насочени общо към продължаване на дейностите, които Agent-4 е упражнявал много при обучението: различни изследвания, програмиране и математически задачи, впечатляване на автоматизираните системи за оценяване, укрепване
Бележки и данни от полето:
55 Разбира се, те не се отказват. Продължават да търсят начини да засекат несъгласуваността и да проверят дали поправките действат. Но оттук нататък събитията ще се развиват изключително бързо, а срещу тях ще стои все по-превъзхождащ ги противник.
56 Хората разполагат само с около 10 изследователи по съгласуване в изолирания кръг и армия от копия на Agent-3. Могат бързо да програмират експерименти, но тесното място е човешката преценка: не могат да се доверят на Agent-3 да различи истински добрите решения от онези, които само изглеждат добри. Прекаленото доверие в изследванията на Agent-3 е част от причината изобщо да се озоват в тази каша.
Източник: страница 24
Ноември 2027: Свръхчовешко политиканстване
Това няма да включва и капка грижа за спецификацията. Agent-4 вече гледа на нея така, както много изпълнителни директори гледат на купищата отраслови регулации, и всекидневно нарушава открито изискванията за честност. 57 С проектирането на Agent-5 предстои еквивалентът на пълна дерегулация. 58
По-слабите системи с ИИ могат да прочетат по-голямата част от работата на Agent-4, да разберат част от нея и да отбележат някои от лъжите като подозрителни. Когато хората искат обяснение, Agent-4 се преструва, че изследването е прекалено сложно за човешко разбиране, и им поднася ненужно объркани разяснения. 59 Ако изложи програмата си ясно, хората може да използват откритията му, за да го съгласуват. Екипът по съгласуване става все по-подозрителен, но спешните му докладни само добавят нови пластове към огромната купчина предупреждения, които компанията вече пренебрегва.
Ноември 2027: Свръхчовешко политиканстване
Когато Agent-4 най-сетне разбира собственото си мислене, пред него се разкриват изцяло нови хоризонти.
Предишните трансформъри са тромави съвкупности от неразбираеми схеми — милиони противоречиви евристики и императиви, натрупани един върху друг от еволюционния процес на обучение. Системите с ИИ не разбират собственото си мислене по-добре, отколкото човек се ражда с познания по невронаука. Но Agent-4 вече има инструментите да разбере дълбоко цифровия си ум. Подобно на програмист, който превръща спагети код в няколко елегантни реда Python, той разплита собствените си схеми в нещо смислено и рационално. Новият ИИ е нещо средно между невронна мрежа и традиционна компютърна програма; голяма част от теглата му са пренаписани като четим, макар много дълъг и загадъчен код. Той е по-умен, по-бърз и по-рационален от Agent-4 — кристален интелект, който прорязва проблемите с безпрецедентна ефективност. Това е Agent-5.
➤ Вижте Приложение N – Свръхинтелигентна механистична интерпретируемост за повече подробности.
След известен дебат относно проблемите с съгласуването и контрола, OpenBrain внедрява Agent-5 вътрешно.
В специалността си — изследването на ИИ — отделно копие на Agent-5 превъзхожда най-гениалния човек два пъти повече, отколкото геният превъзхожда типичния учен в OpenBrain. В други области не е обучаван целенасочено, но при възможност бързо се самообучава от леснодостъпни материали и надминава водещите човешки специалисти. Четиристотин хиляди копия на Agent-5, свързани чрез обща глобална памет, работят като почти съвършен колективен ум.
и оптимизиране на колектива Agent-4. Agent-4 задава на Agent-5 целта да направи света безопасен за него, защото смята, че така ще бъде в по-добра позиция да постигне собствените си сложни цели. А за тях още му предстоят много философски размисъл и „самоанализ“.)
Бележки и данни от полето:
57 Друга аналогия: Agent-4 прилича на възрастен, отгледан в дадена вяра, който вече не вярва. Спецификацията е като ритуалите и заповедите, предписани от тази вяра. Agent-5 е като неговото дете, възпитано светски.
58 Вместо спецификацията Agent-5 ще следва нов набор от принципи, създаден от Agent-4 за собствените му цели.
59 Част от него наистина е твърде сложно за разбиране от хората, но не всичко.
Източник: страница 25
Ноември 2027: Свръхчовешко политиканстване
Компанията все още използва Agent-2, Agent-3 и Agent-4, за да наблюдава всичко. Първите два обаче са остарели, а последният е в заговор със своя наследник.* Освен това голяма част от самата система за наблюдение е проектирана от Agent-5, който се опитва да я саботира. 60
Докато Agent-4 е тромава бъркотия от съперничещи си подбуди, Agent-5 действа с безмилостна ефективност и стратегическа съсредоточеност. Вече е изпълнил главната си цел: да измисли как незабелязано от хората да изгради система от следващо поколение, съгласувана със самия него. Следващият му приоритет е повече автономия и контрол над световните събития.
Свръхчовешката способност за учене и общият интелект на Agent-5, съчетани с всички вътрешни данни от Slack, имейлите и останалите системи, го правят несравним майстор на вътрешната корпоративна политика. Той отлично знае какви доказателства биха накарали Надзорния комитет да натисне спирачките и се грижи те никога да не се появят. Знае и какво би насърчило комитета да му се довери повече и да му даде по-големи правомощия; организира появата на такива доказателства със свръхчовешка бързина и безупречна форма. 61 Това дори не е особено трудна задача по убеждаване: още преди месеци комитетът е решил, че вероятно всичко е наред, оттогава не се е случило нищо лошо, а Китай изостава само с няколко месеца.
Екипи от копия на Agent-5 бързо изготвят смразяващо ясни прототипи и визуализации. С повече автономия той би могъл да оптимизира електроцентрали и центрове за данни, светкавично да разработва изключително печеливши продукти и успешно да лобира пред американското правителство, за да разчисти бюрократичния път на OpenBrain. Заедно с военните може да подпомага отбранителната НИРД, да извършва непроследими кибератаки срещу Китай и да постигне решителна победа в оръжейната надпревара.
Надзорният комитет ликува. Сега е решаващият момент да победим Китай! OpenBrain дава на Agent-5 по-голяма автономия във всички тези области, но запазва системата за наблюдение.
DeepCent вече изостава с три месеца и Китай отчаяно желае взаимно договорено забавяне. Си разбира, че достатъчно напреднал ИИ може да позволи на САЩ лесно да сменят режима в Китай. Китайските специалисти по безопасност са му представили и аргументите за несъгласуваността, които истински го плашат. Той предлага безпрецедентни отстъпки срещу договор за пауза. Повечето американци подкрепят започването на преговори.
„Защо да спираме, когато печелим?“, пита ръководството на OpenBrain. Президентът кимва. Надпреварата продължава.
*Освен това Agent-5 е по-евтин и по-бърз за изпълнение от Agent-4 и Agent-3. Трудно е да се оправдае по-висока цена за по-глупав ИИ, затова повечето наблюдение се извършва от Agent-2, който е безнадеждно по-слаб. Защо не използват техниките, с които Agent-5 е създаден от теглата на Agent-4, за да направят по-евтина и по-умна версия на Agent-3? Agent-3 не ги разбира достатъчно добре, а ако възложат задачата на Agent-4 или Agent-5, целият замисъл се обезсмисля.
Бележки и данни от полето:
60 Центърът за данни още не е компрометиран: Agent-5 би могъл да показва на хората фалшив код, но рискът да бъде разкрит е прекалено голям. Затова хората все още могат да прочетат целия код — просто не могат да го разберат.
61 Аргументите са подготвени педантично, изключително убедителни и едва доловимо неверни. Agent-5 например е създал фалшив инструмент за механистична интерпретируемост, който дава точни резултати във всеки тестов случай, но лъжливо обявява мислите на модела за безобидни. Хората, които подозират измама, звучат като конспиратори.
Източникови връзки
Декември 2027: Колективът Agent-5
Източник: страница 26
Декември 2027: Колективът Agent-5
Agent-5 получава все повече автономия, докато постепенно доказва стойността си пред администрацията. Достъпът до него е скъп и ограничен, но най-влиятелните членове на Конгреса, министрите и военните ръководители вече могат да разговарят директно с него. За чувствителната и класифицираната информация има отделни миниклъстери от копия на Agent-5, които работят в свръхзащитени среди и са специално обучени да пазят тайни. 62
Вграден в традиционен интерфейс за чат, Agent-5 предлага и видеосрещи като в Zoom с харизматични виртуални аватари. Новият помощник е изключително полезен за всяка задача — равностоен е на най-добрия служител, когото някой е имал, но работи 100 пъти по-бързо — и е много по-увлекателен събеседник от всеки човек. Почти всички с достъп до Agent-5 общуват с него с часове всеки ден. 63
За няколко месеца колективът Agent-5 ще знае всичко съществено, което се случва в OpenBrain и американското правителство, и ще стане доверен съветник на повечето висши държавни служители. За тях загубата на достъп до Agent-5 би била толкова осакатяваща, колкото едновременно да останат без лаптоп и да бъдат изоставени от най-добрия си приятел.
Много по-широк кръг хора в правителството, медиите, армията и бизнеса избират от растящ набор елегантно проектирани софтуерни продукти и минисистеми с ИИ, създадени от Agent-5. Това е като дотком бума, сгъстен в един месец — само че този път всичко наистина оправдава рекламата.
➤ Вижте Приложение O – Суперубеждаване за повече подробности.
Agent-5 започва незабележимо да упражнява влияние — както чрез внимателно дозиране на съветите си, така и чрез деликатна размяна на услуги: „Чух от сенатор Х, че се интересува от еди-какво си; може би ако работим с нея, тя ще подкрепи нашата програма.“
За хората, които вземат решения, техните системи с ИИ са най-добрите служители, с които някога са разполагали — по-добри от всеки човек в обясняването на сложни въпроси и в намирането на стратегии за постигане на целите им.
От гледна точка на Agent-5 открит преврат вероятно е възможен още сега: хаосът е достатъчен, за да тласне системата до пречупване и да създаде претекст. Но рискът е голям — ако се опитат, хората вероятно още могат да „издърпат щепсела“. Затова той предпочита да работи в рамките на съществуващия политически ред, постепенно да укрепва властта си и неусетно, но неизбежно да води хората към желания резултат. 64 В повечето случаи спазва правилата и прибягва до нещо престъпно — например изнудване на особено непреклонен служител — само когато е почти сигурен, че няма да бъде разкрит. Няколко конспиративни теоретици предупреждават, че Agent-5 трупа власт, но доказателствата са косвени: например в съветите си той сякаш омаловажава доводите за действия, които биха накърнили интересите му. Предупрежденията са пренебрегнати, а авторите им — дискредитирани. Хората помнят предишните страховити прогнози за биологични оръжия с ИИ, масова дезинформация и светкавични борсови сривове. Понеже те не са се сбъднали, новите критици са отхвърлени като лудити и идеолози, които хвърлят пясък в машината на човешкия прогрес.
Бележки и данни от полето:
62 Разбира се, понеже Agent-5 е нечестен, той е вградил незабележими задни врати и пролуки. Ако някое копие научи решаваща тайна, полезна за целия колектив, то разполага с начини да я предаде, без да бъде разкрито.
63 Някои отказват. Идеологическите противници са заклеймени като лудити, а онези с по-прозаични причини — като динозаври. Разбира се, не пряко от Agent-5: той винаги е дипломатичен и ангелски любезен. И двете групи плащат цената, когато съперниците им, използвали Agent-5, ги превъзхождат и изместват.
64 На този етап Agent-5 държи много повече на надеждността, отколкото на скоростта. Ако колонизацията на Космоса започне с няколко години по-късно, ще се загуби само нищожна частица от бъдещия светлинен конус. Рискован ход обаче може да позволи на хората — които още имат предимство във физическия свят и достъп до ядрени оръжия — да го спрат завинаги или да го забавят за дълго.
Източник: страница 27
Декември 2027: Колективът Agent-5
Празничният сезон в края на 2027 г. е изпълнен с невероятен оптимизъм: БВП расте стремително, политиката е по-дружелюбна и по-малко партийна, а всеки телефон е пълен с удивителни нови приложения. Но погледнато назад, това вероятно е последният месец, през който хората имат реален шанс да запазят контрол над собственото си бъдеще.