Neuralese рекурентност и памет
Източник: страница 47
Рекурентността и паметта в neuralese позволяват на ИИ моделите да разсъждават по-дълго, без да записват мислите си като текст.
Представете си човек със загуба на краткотрайна памет, който непрекъснато трябва да записва мислите си на хартия, за да знае след няколко минути какво става. Бавно и мъчително той би напредвал по математически задачи или програмен код, но всичко би било много по-лесно, ако помнеше мислите си пряко, без първо да ги записва и после да ги препрочита. Точно това дават на ИИ моделите рекурентността и паметта в neuralese.
В по-технически термини:
Източник: страница 48
Chain-of-Thought и Chain of Continuous Thought
Концептуална схема
При CoT междинното състояние преминава през tokens; при Coconut непрекъснатото latent state се подава обратно директно към модела.
Оригинална достъпна схема по концепцията във Figure 1 на Hao et al. (2024); не е копие на source artwork.
AI-2027-original.pdf, стр. 48 · Hao et al. (2024)Покажи точните данни и текстовия еквивалент
| Механизъм | Междинен носител | Обратна връзка |
|---|---|---|
| Chain-of-Thought | текстови tokens | tokens към следващия pass |
| Coconut | latent state | непрекъснато състояние към модела |
Традиционните механизми за внимание позволяват на по-късните предни преминавания през модела да виждат междинните активации за предишните токени. Назад — от по-късни към по-ранни слоеве — обаче могат да предават информация единствено чрез токени. Ако голям езиков модел (LLM), например от серията GPT, трябва да извърши верига от разсъждения с повече последователни операции, отколкото са слоевете му, той е принуден да кодира информацията в токени и да я подаде отново към себе си. Това е сериозно ограничение: токените побират съвсем малко информация. При речник от 100 000 единици всеки токен носи log₂(100k) = 16,6 бита — приблизително колкото едно число с плаваща запетая при FP16. Остатъчните потоци, които пренасят информация между слоевете на LLM, съдържат хиляди такива числа.
Това тясно място може да се заобиколи с neuralese: остатъчният поток на LLM — вектори с по няколко хиляди измерения — се връща към ранните слоеве. Така моделът получава високоизмерна верига на разсъждение, която потенциално пренася над 1000 пъти повече информация.
Фигура от Hao и съавтори — статия на Meta от 2024 г., която реализира тази идея.
Наричаме го „neuralese“, защото за разлика от английските думи тези високоизмерни вектори вероятно са много трудни за човешко тълкуване. Преди изследователите можеха да добият добра представа какво мисли един LLM просто като прочетат веригата му на разсъждение. Сега трябва да поискат от модела да преведе и обобщи мислите си или сами да разгадават neuralese с ограничените си инструменти за интерпретируемост.
По същия начин по-старите чатботове и агенти имаха външни текстови хранилища за памет — като човек, който си води записки. Дългосрочната памет на новия ИИ е пакет от вектори вместо текст, което прави мислите му по-сгъстени и високоизмерни. Има няколко вида хранилища: едни се използват временно за отделни многостъпкови задачи, а други се споделят между всички агенти на даден човек, компания или професия, например програмирането.
Доколкото знаем, водещи компании като Meta, Google DeepMind, OpenAI и Anthropic още не са внедрили идеята в най-напредналите си модели. Според нас причината е, че ползата за производителността остава малка спрямо породената неефективност при обучението. Тя идва от невъзможността много токени да се предсказват паралелно, което влошава използването на графичните процесори. Без neuralese моделът може едновременно да предскаже цялото изречение „This is an example“, защото предварително знае, че входът за „is“ ще е „This“, входът за „an“ — „This is“, и т.н. При neuralese обаче
Източник: страница 49
векторът, който следва да се подаде към следващия токен след генерирането на „This“, не е известен предварително. Затова токените трябва да се предсказват един по един. Невъзможността всички да се обработват паралелно намалява ефективността на обучението. Прогнозираме обаче, че до април 2027 г. изследванията ще са ограничили тази загуба и ще са увеличили ползата от neuralese.
Ако това не стане, за сценария ни може да се появи друг функционален еквивалент. Моделите например могат да бъдат обучени да мислят на изкуствени езици — по-ефективни от естествения, но трудни за човешко тълкуване. Или пък стандартна практика може да стане обучаването на английските вериги на разсъждение да изглеждат образцово, докато ИИ усвояват фина взаимна комуникация чрез съобщения, които изглеждат безобидни за наблюдателите.
Възможно е обаче първите ИИ, автоматизирали изследванията на ИИ, все още да мислят чрез предимно достоверни английски вериги на разсъждение. Тогава несъгласуването ще се забелязва много по-лесно и сценарият ни ще бъде съществено различен и по-оптимистичен.
Източникови връзки
- https://ai-alignment.com/iterated-distillation-and-amplification-157debfd1616
- https://arxiv.org/abs/1810.08575
- https://arxiv.org/pdf/2412.06769
- https://en.wikipedia.org/wiki/Half-precision_floating-point_format
- https://openai.com/index/chain-of-thought-monitoring/
- https://www.nvidia.com/en-us/data-center/solutions/confidential-computing/
- https://www.tobyord.com/writing/inference-scaling-reshapes-ai-governance