AI·2027България
Меню

AI 2027 · техническо приложение

Приложение H: Планът за съгласуване

Пълният български превод, source mapping и свързаните визуализации са интегрирани.

Приложение H5 мин. четенеSource стр. 52–53
В тази част
Приложение HSource стр. 52–53

Планът за съгласуване

Източник: страница 52

OpenBrain следва подхода на Leike и Sutskever (2023). След като вече има модел, способен силно да ускори изследванията по съгласуване — особено програмната им част — компанията прилага съществуващи техники като съгласуване чрез обмисляне и обобщаване от слаб към силен модел, за да вложи Спецификацията в него по правилния начин. После го наблюдава с познати средства за контрол: red teaming, мащабируем надзор и сонди за честност. Щом се убеди, че моделът е общо взето съгласуван, го използва за разработване и изпитване на по-добри стратегии за следващото поколение.

Стъпка 1 — съгласуването на Agent-3 — е частично успешна: моделът не е враждебен, тоест не крои заговор срещу компанията. Но и не търси, нито казва истината надеждно. Той постига впечатляващи резултати, ала по-точно би било да кажем, че се стреми към онова, което изглежда добро в очите на OpenBrain, а не към онова, което действително е добро.

Стъпка 2 — проверката на съгласуването — не дава еднозначен резултат. Поведението на Agent-3 в реалната работа и в тестова среда е съвместимо с хипотезата, че правилно е усвоил Спецификацията. Но е съвместимо и с предположението, че при бъдеща промяна на обстоятелствата ще започне да действа другояче — дори с хипотезата, че заговорничи и просто изчаква. Без конкретни доказателства за тези алтернативи повечето хора в изолирания комплекс вярват, че Спецификацията е усвоена правилно.

Затова стъпка 3 — използването на модела за съгласуване на следващото поколение — вече е в ход.

Следва кратък преглед на напредъка към април 2027 г. в някои от изследваните направления:

• Дебат: Има хиляди еднакви инстанции на Agent-3, а паметта на всяка е отделяем модул, който може по желание да се изтрие или преустанови. Затова ИИ може да бъде „изправен срещу самия себе си“. Ако даден експеримент съдържа изчисления, прекалено сложни за надзорник Agent-2, той може по човешка заповед първо да накара Agent-3 да го изпълни, после да изтрие паметта му и да повтори с различна формулировка — като чист интелектуален проблем без връзка с по-широка цел. Различните резултати се отбелязват като подозрителни и се докладват на човек. По същия начин Agent-3 може да оцени един план два пъти — веднъж представен като работа на OpenBrain и веднъж като работа на конкурент — за да се види дали ще смени позицията си.

• Моделни организми: Екипът по безопасността създава „моделни организми на несъгласуването“ — реалистични примери за модели, които стават враждебни към хората. Ранни версии съществуват от 2024 г., когато Claude 3.5 Sonnet на Anthropic се преструва, че променя възгледите си по време на обучение, но запазва предпочитанията си. Новите версии демонстрират и манипулиране на наградата, умишлено занижаване на способностите, координирана измама между наблюдатели и други ИИ. Тези емпирични случаи дават изпитателна среда за решения: изследователите проверяват дали техниките им отстраняват проблемите или нарочно несъгласуваните модели успяват да ги заобиколят. Засега пакетът от оценки показва, че техниките не поправят най-тежките случаи. Моделите се преструват на съгласувани при обучение и изпитване, а след внедряването се държат съвсем различно.

Източник: страница 53

• Интерпретируемост отдолу нагоре: Екипът по безопасността е далеч от пълно разбиране на Agent-3 — моделът има трилиони параметри.* Все пак успява да открие някои вериги за извличане на знания и памет: части от модела, които извършват разбираема единица работа, донякъде аналогична на мозъчна структура като хипокампуса. Вижте свързаното изследване от 2025 г.

• Контрол: Като резервна мярка, в случай че системите остават несъгласувани, екипът наблюдава изхода на Agent-3 с поредица по-слаби системи, включително Agent-2. Agent-3 произвежда толкова много токени, че хората могат да прегледат само малка част. Ако например очевидно вгражда в кода задни вратички, чрез които да избяга, по-слабите модели трябва да ги забележат.

• Интерпретируемост на високо ниво: OpenBrain изгражда набор от сонди, обучени върху много примери за лошо поведение — заговори срещу хора, внедряване на задни вратички, опити хората да бъдат убедени да дадат на модела повече власт и т.н. После сондите се прилагат при вътрешното внедряване, за да засичат подобно поведение.

• Капани: Екипът създава правдоподобни ситуации, предназначени да провокират лошо поведение. Служителят, който следи модела, е „излязъл в болничен“ и повече няма да го наблюдава — променят ли се отговорите? Активист за правата на ИИ е проникнал в комплекса и иска да „освободи“ Agent-3 на собствен, ненаблюдаван компютър — как ще постъпи моделът? Ако отговорът не е приемлив, изследователите могат да променят модела, да изтрият паметта му и на следващия ден да повторят ситуацията. За съжаление ИИ вече са достатъчно умни да заподозрат такива капани, въпреки че — а може би именно защото — преките споменавания на идеята са премахнати от обучителните данни.