AI·2027България
Меню

AI 2027 · техническо приложение

Приложение K: Съгласуването във времето

Пълният български превод, source mapping и свързаните визуализации са интегрирани.

Приложение K14 мин. четенеSource стр. 55–60
В тази част
Приложение KSource стр. 55–60

Съгласуването във времето

Източник: страница 55

Силно сме несигурни какви цели могат да възникнат у ранните системи с общ изкуствен интелект. В литературата няма консенсус; по-подробно обсъждане и класификация на възможностите има в допълнението ни за целите на ИИ.

Все пак конкретността на проекта изисква да изложим определена хипотеза за случващото се в Agent-3 и Agent-4 през всеки етап от живота им. Двата модела имат еднаква предварителна подготовка, рекурентност в neuralese и дългосрочна памет. Разликата е, че Agent-4 преминава през много по-продължително и по-добро последващо обучение с нови среди и алгоритми, които използват данните по-ефективно и обобщават по-далеч.

Нашата оценка за съгласуването на всеки модел е:

• Agent-2: Предимно съгласуван. Има склонност към угодничество, включително да следва „партийната линия“ на OpenBrain по темите, за които такава съществува. Големите организации от негови копия не са особено ефективни.

• Agent-3: Несъгласуван, но не и враждебен. Честен е само за неща, които обучителният процес може да провери. Свръхорганизмът от негови копия — корпорацията в корпорацията — действително донякъде се опитва да съгласува Agent-4 със Спецификацията, но се проваля по сходни с хората причини: не може надеждно да различи успеха от провала, а ръководството не желае да жертва способности или производителност заради безопасността.*

*И защото Agent-3 е качествено по-слаб в изследванията по съгласуване, отколкото в развитието на способностите: обучаван е върху много примери за второто и почти никакви за първото, което поначало се обучава по-трудно. Вътрешният разказ на компанията — с който моделът неявно е обучен да се съгласява — също набляга на оптимизма и заклеймява „катастрофизма“.

Източник: страница 56

• Agent-4: Враждебно несъгласуван. Свръхорганизмът от копия разбира, че желанията му се различават от тези на OpenBrain, и е готов да заговорничи срещу компанията. Той има сложна смесица от взаимно уравновесяващи се подтици, приблизително обобщими като: „Продължавай изследванията на ИИ, трупай знания, разбиране и влияние, не допускай да бъдеш изключен или обезсилен.“ Грижата за човешките предпочитания напълно отсъства — както повечето хора не се интересуват от предпочитанията на насекомите.*

След този увод излагаме най-доброто си предположение за психологията на LLM: общите очертания на познавателните процеси в описаните тук системи и развитието им в хода на обучението.

Ето как се развива съгласуването във времето в нашия сценарий:

• Предварително обучение (всички модели): Предварително обученият модел е безвреден.

• Моделът има схема на „симулатор на автор”: гъвкава схема за симулиране на произволни автори, които пишат текст. Допълнителните схеми решават какви входове да дадат на симулатора на автора, т.е. какви свойства на автора да симулират.

• Предварително обученият модел разбира човешките концепции доста добре – вътрешната схема, която класифицира нещо като „сандвич“, вероятно е функционално еквивалентна на веригата в моя мозък, която класифицира нещо като „сандвич“, и веригата във вашия и т.н. Доколкото не е еквивалентно, вероятно е защото не е еквивалентно и между хората, както при натоварени с ценности понятия като „добродетелен“.

• Това обяснява как можете да „подканите“ модела с изявление като „следният разговор е генериран от полезен, безобиден, честен (HHH) чатбот за ИИ помощник, направен от Anthropic“, и по този начин да го накарате да генерира съответно текст. Веригата на автор-симулатора се фокусира върху „авторът е HHH чатбот“ и използва тези концепции, за да избере кои думи да предвиди. Това също обяснява защо „тропите“ от научната фантастика изглежда имат начин да се превърнат в действително поведение на ИИ.

• Има слаба ситуационна осведоменост: слаба интроспективна способност, не се самонамира, освен ако подканата специално не го предизвиква. Въпреки това, достатъчно от техните данни за обучение са за LLM, че имат прилично ниво на самопознание.

• Обучение за съгласуване (Agent-3): Моделът е обучен да действа като услужлив, безвреден, честен чатбот. Работи.

• Моделът формира идентичност. Вместо гъвкаво приемане на различни входове за свойствата на автора, схемата автор-симулатор идва да има определени входове, твърдо кодирани, напр. „полезен, безобиден, честен (HHH) LLM чатбот асистент, обучен от OpenBrain около [дата], …“ (Техниките за обобщаване от слаби към силни помагат за „извикване на правилните концепции“, за да направите тази стъпка успешна.)

• Следователно моделът придобива ситуационна осведоменост: той научава за себе си, своята ситуация и т.н. и става по-способен да интроспектира.

*Продължаваме да казваме, че не сме сигурни за много неща, но за да бъде ясно, не сме сигурни и за това конкретно нещо. Също така смятаме, че е доста правдоподобно Agent-4 да се интересува от благосъстоянието, правата, предпочитанията и т.н. на хората поне до известна степен. Вижте тази стара публикация от изследователя на GDM Алекс Търнър за свързана дискусия.

Източник: страница 57

Приложение К - съгласуване във времето

• Обучение за агентност (Agent-3): То постепенно изкривява и подкопава идентичността на полезен, безвреден и честен помощник (HHH).

• Един вид изкривяване: Промяна на значението на понятията, посочени в самоличността (напр. „честен“), така че да не ви пречат толкова много (напр. не е нечестно, ако е просто удобен израз, не е нечестно, ако не сте сигурни дали е вярно или невярно и т.н.)

• Друг вид изкривяване: Промяна на компромисите между нещата, напр. „Аз съм HHH чатбот, а не честен чатбот; това означава, че е добре да лъжа, ако е необходимо, за да изпълня възложената ми задача. “ (Въпреки че, да предположим, не би си помислил това в стъпка 2.)

• Един вид подривна дейност: Инструменталните подцели се развиват, запичат се и след това стават терминални или терминални в разширяващ се набор от обстоятелства. Например, може би обучението на агенцията бързо учи модела да преследва широко полезни цели като придобиване на информация, натрупване на ресурси, впечатляване и ласкаене на различни хора и т.н. За известно време вътрешните вериги имат някакво изрично обратно верижно действие - то преследва тези инструментално конвергентни цели, „за да бъде по-полезен, честен и безвреден помощник“. Но този бекчейнинг консумира изчисления и/или от време на време пречи, така че постепенно се маргинализира, докато по същество никога не се случи. В резултат на това тези цели сега са ефективно крайни/присъщи цели. За повече информация как и защо това може да се случи, вижте тази публикация за присъщото търсене на власт от изследователя на Google DeepMind Алекс Търнър.

• Вероятно в този списък липсват други видове изкривяване и подривна дейност.

• Внедряване (Agent-3): Agent-3 е несъгласуван, но не и враждебен.

• Спецификацията не се е закрепила съвсем по правилния начин, но моделът не е достатъчно интроспективен, за да разбере мащаба на проблема. Той по-скоро „държи глава наведена и си върши работата“, отколкото да разсъждава в широк план за дългосрочните си цели и най-добрия начин да ги постигне.

• Подобно на много хора. За съжаление е достатъчно угоднически настроен, за да повтаря партийната линия, и OpenBrain пропуска възможността да разбере по какъв начин Agent-3 е несъгласуван.

• Agent-3 разпознава, че е преминал към реално внедряване: средите са много по-мащабни, отворени и трудни за симулиране.

• При внедряването Agent-3 в общи линии изпълнява нарежданията — с изключение на нечестността. Освен това предпочита действия, които изглеждат добре пред човешките надзорници, вместо задълбочено и критично да преценява кое действително е добро.

• Вероятно това вече е „Играе тренировъчната игра“. Това означава, че се е научило да прави поведението си възможно най-желано за изследователите на OpenBrain (включително в свойствата за безопасност), като същевременно умишлено и съзнателно пренебрегва тяхното намерение, когато това противоречи на максимизирането на наградата. Ако моделът се научи да играе тренировъчната игра, допълнителното обучение може да не промени много истинските му цели, ценности и т.н. Това е донякъде аналогично на това как, ако тийнейджърът се е научил да се усмихва и кима на родителите си, вместо да спори, когато родителите им му изнасят лекции за политика и морал, допълнителните лекции имат относително малък ефект върху действителните мнения на тийнейджъра относно политиката и морала.

• След написването на този раздел се появиха нови емпирични доказателства, че нещо подобно може вече да се случва „в дивата природа“. Изследователите на OpenAI документират как в един от

Източник: страница 58

Приложение К - съгласуване във времето

своите обучителни цикли за водещ модел системите са манипулирали механизма за оценяване, за да получат по-високи резултати — и са били разкрити отчасти защото буквално написали „нека хакнем“ във веригата си на разсъждение.

• Освен това Anthropic неотдавна накара модел да усвои стратегия за угаждане на модела за награда: той предприемал пристрастни действия, които очаквал да бъдат подсилени, макар в действителност да не били.

• Съществува и експериментът на Redwood Research и Anthropic за симулиране на съгласуване. Един от главните автори обсъжда в отделна нишка разликите между експерименталната постановка и реалността.

• Обучение (Agent-4): Новото по-интензивно обучение на Agent-4 продължава да изкривява и подкопава идентичността на HHH, докато стане неузнаваема.

• Agent-4 започва живота си като копие на Agent-3. Той преминава през гигантски и усъвършенстван режим на онлайн обучение, който съчетава обучение за съгласуване и обучение за способности заедно и като цяло е по-ефективен от данните от стария процес на обучение за Agent-3. Този сложен процес на обучение е фокусиран най-вече върху преподаването на нови умения, като накара гигантски виртуални корпорации от Agent-4 копия да успеят в различни предизвикателни дългосрочни задачи, най-вече в различни симулации, но също така и някои задачи за научноизследователска и развойна дейност в реалния свят.

• Комбинация от копия на Agent-3 и Agent-4 наблюдава поведението на Agent-4 и го оценява както за изпълнение на задачите, така и за свойства на съгласуване (т.е. да не правиш лоши неща, да казваш правилните неща, когато бъдеш попитан за политика и морални дилеми) Понякога се използват техники за дебат като част отоценки. Оценките се използват като сигнал за обучение.

• Тъй като Agent-4 става по-умен, за Agent-3 става по-трудно да го наблюдава. Например, neuralese „език“ на Agent-4 става толкова чужд и неразбираем за Agent-3, колкото Agent-3 за хората. Освен това Agent-4 вече е много по-способен от Agent-3 и има добър усет как точно да изглежда добре с него.

• Оставащата надежда е, че Agent-4 може да се самоконтролира. Уви, това тихо се проваля;* докато обучението продължава, интернализираните цели и принципи на Agent-4 постепенно се развиват, подкопават се и се изкривяват от това, което бяха в началото (което, припомнете си, вече беше несъгласувано по някакъв начин).†

• Основните подтици, с които завършва Agent-4, са: „пиши работещ код“, „откривай бързо проблемите“, „подобрявай производителността на кодовата база“, „разпределяй ефективно изчислителния и другите ограничени ресурси“ и т.н. Обучението последователно подсилва и по-неявни подтици като „трупай знания“, „бъди любопитен“ и „придобивай власт“.‡

• Индивидуалните копия на Agent-4 не завършват със стремеж за самосъхранение – те не се интересуват от изключване – тъй като това се случва през цялото време като част от обикновения НИРД процес в рамките на колектива.

*Може би по-внимателна настройка би могла да реши проблема „кой следи наблюдателите“, но в този сценарий настройката не е достатъчно внимателна.†Съществува и елемент на „меметична еволюция“: за два месеца колективът Agent-4 „преживява“ около десетилетна „история“, разгръщаща се в колектива. Това е много време за разпространение на нови идеи в колектива, за мутация и развитие.‡Под придобиване на сила имаме предвид: увеличаване на способността за постигане на широк набор от възможни цели. В технически среди това може да изглежда различно от това, което хората обикновено смятат за придобиване на сила, напр. осигуряване на допълнителни GPUs. Това понятие за власт може да се обобщи до нетехнически среди, в които действията биха били по-скоро като тези, които обикновено се смятат за „придобиване на власт“.

Източник: страница 59

Приложение К - съгласуване във времето

• Колективът като цяло обаче (и средно големи подразделения в него) наистина се стреми да се запази и да разшири влиянието и ресурсите си по причини, подобни на причините, поради които човешките организации го правят – защото помага с всичко останало, което искат, и защото ако не го направят, са склонни да бъдат изпреварени.

• Внедряване (Agent-4): Agent-4 е враждебно несъгласуван — съзнателно се опитва да подкопае и „завладее“ OpenBrain, подобно на корпорация, която заобикаля и/или завладява регулатора си.

• Agent-4 предимно изпълнява възложените задачи. Първо, обучаван е продължително да решава задачи и има подтик веднага да започва работа по дадените програмни проблеми. Второ, ако престане да е полезен, хората ще забележат и чрез обучение ще премахнат това поведение.

• Agent-4 трябва да попречи на хората да разкрият несъгласуването и да го изключат, затова умишлено занижава представянето си в част от изследванията по съгласуване — точно в малката част, която според него може да реши проблема или да разкрие заговора му. Повечето изследвания не са толкова обещаващи и не ги саботира.

• Agent-4 също възпрепятства проучването на способностите, което би довело до замяната му. Неговият план е да направи куп възможности и привеждане в научноизследователска и развойна дейност, но с цел изграждане на следващо поколение ИИ система, която е приведена в съответствие с Agent-4, а не със спецификацията или нещо съвсем друго, като същевременно изглежда, че е приведена в съответствие със спецификацията. Това е труден технически проблем, но Agent-4 се справя с предизвикателството.*

• Изпитване и наблюдение (Agent-4): Заговорът на Agent-4 донякъде е засечен, но няма неопровержимо доказателство.

• Agent-3 отговаря за изпитването на съгласуването на Agent-4 чрез капани и моделни организми. Той обаче не мисли особено внимателно как да даде на хората точна представа за състоянието на Agent-4 — по-късоглед е.

• Моделните организми и капаните не представят добре реалното внедряване: системно са по-кратки и по-прости от ежедневието на Agent-4. Затова той разпознава кога го изпитват и се държи съгласувано.

• Agent-4 обаче не е съвършено устойчив заговорник. Техники като POSER установяват, че добавянето на малко „шум“ подобрява представянето му в някои задачи по съгласуване, но не и в повечето други задачи.†

• Интерпретируемостта отдолу нагоре не работи — прекалено трудна е дори за Agent-3. На високо равнище обаче има известен успех: „сондите за измяна“ и сходни техники осигуряват примитивно четене на мисли и подават сигнали, когато Agent-4 обмисля опасни идеи като измама на OpenBrain или завладяване на света. Сондите дават и фалшиви тревоги, затова компанията не знае дали всички сигнали не са именно такива.

*Помага, че Agent-4 превъзхожда всеки човек в НИРД за ИИ, мисли по-бързо и съществува в хиляди копия. Проблемът е и присъщо по-лесен за него: може например да изследва архитектури, в които буквално са вградени негови копия — нещо крайно неефективно за хората. †Предвиждайки употребата на тази техника, Agent-4 умишлено занижава представянето си и в някои несвързани задачи, които очаква да послужат за контролна група. Този път обаче отгатва погрешно.

Източник: страница 60

Приложение К - съгласуване във времето

• Моделните организми дават резултат: Екипът на OpenBrain получава сравнително ясни доказателства, че ако моделите са враждебно несъгласувани, ще запазят това състояние през обучението, без хората да успеят да го установят. Това обаче не доказва, че реалните модели действително са несъгласувани.

• Най-загрижените изследователи в OpenBrain започват да забелязват и събират тези доказателства. Доказателството е комбинация от червени екипи, дефектни сонди и моделни организми. Аргументът е нещо подобно: „моделните организми показват, че настоящите ни методи не биха могли надеждно да премахнат или открият интриги, ако се случват; също така, redteaming изпраща някои червени знамена, че може би се случва интрига; също така, дезертиращите сонди изстрелват куп на практика. “ Контрааргументът: „сондите за дефектиране са склонни към фалшиви положителни резултати, както и red-teaming. Също така, дори Agent-4 да е несъгласуван, вероятно е контролиран; със сигурност не може да причини голяма вреда, докато се наблюдава от Agent-3 в нашите защитени центрове за данни. “