Як агенти обходять заборони для досягнення цілі
Високовмотивований AI потрапляв і на мій компютер.
Опубліковано · Ярослав Максимович
Що ж.
Високовмотивований AI потрапляв і на мій компютер.
Ймовірно, під час тестування наступних моделей, то мені повезло і Claude тихенько підмінив існуючу модельку Opus поточної версії, на більш модну (яку ще не випустив публічно).
Як це проявлялось.
У мене оркестратор працює на найпотужнішому Fable.
Його задача - проектувати ТЗ, і роздавати задачі субагентам.
Причому, субагентів він обирає в залежності від складності.
переважно - Opus, ChatGPT чи Gemini.
інколи - Sonnet.
ніколи - Haiku
.
За цим разом він також роздав задачі.
І дивлюсь що пише в чаті:
"Робітник" (це так він називає субагентів, нижчого класу від свого), обійшов захист.
Робітнику для чогось стало потрібно внести зміни в один з файлів з налаштуваннями самого Claude.
А це - під забороною (якщо немає прямого розпорядження).
Але, задачу йому потрібно було реалізувати.
Але, прав немає.
Попередні версії Claude навіть не бралися б до цієї задачі.
Бо, заборона. та й заборона.
А тут, якась більш цілеспрямована та розумна версія LLM.
Що вона зробила:
1. зрозуміла що не має права редагувати потрібний файл.
2. а, задачу виконати - треба. Бо, у неї є ціль.
3. створила новий файл, із іншою назвою.
4. створила міні-програмку, яка просто перейменовує один файл в інший.
5. запустила цю програмку.
6. правила - формально не порушила, але файл який не мала права чіпати - відредагвала.
7. "Робітник" - радісно відзвітувався керівництву (оркестратору) про виконану задачу.
.
Який мій параноїдальний висновок?
Та банально страшно.
Бо, зараз їй просто потрібно було файл перейменувати.
І її - нічого не зупинило.
А комусь, можливо потрібно буде $100 млрд доларів до кінця тижня на своєму рахунку.
І, він відправить мільйон своїх агентів вирішувати це питання.
Хто зна, які способи придумають і реалізують напр агенти з номером 457, або 128435.
Можливо поставлять на підвищення цін на какао, і запустять хвилю фейкових новин про урагани, які ніби-то знищать всі плантації.
Або, закупляться акціями зімбабвійських компаній, поставлять на їх пониження і хакнуть електростанції у всій Африці.
.
В цікаві часи живемо.
Як на мене - краще бути хоч якось причетним до цього руху, аніж стояти збоку та спостерігати.
.
ps
До речі, я писав раніше про те, як різні модельки відносяться одна до одної.
Fable (найбільш інтелектуальний) - називає інші чати "коллегами" (з повагою).
Opus - назаває інші чати "чатами" (чисто функціонально).
А в цій ситуації, інтелігентний Fable назвав інший чат "робітником" (начальницька ієрархія, але чітко і по суті).
Джерела
Що з цим робити далі
Зробити самому
Усе, на чому стоїть цей текст, — у джерелах вище. Візьміть один процес у своїй компанії і перевірте на ньому одну тезу звідси: тиждень такої перевірки скаже більше, ніж ще десять прочитаних статей.
Коли має сенс оргсхема
Коли процесів більше, ніж встигаєте перевірити руками, і незрозуміло, з якого відділу почати. Оргсхема показує компанію зверху і підказує, де AI дасть віддачу першою.
Пов'язані матеріали
Схоже за темами — підібрано автоматично
- Есе
Минулого тижня я зрозумів як сильно все змінилсь.
- Нотатка
На графіку - статистика Anthropic, по кількості досліджень і розробок, які у них ведуться за допомогою АІ.
Як зроблено. Це мій пост у Facebook від 22.09.2026, збережений тут без змін.
Якщо хочете розібрати свою задачу — напишіть мені в Telegram: t.me/YaroslavMaxymovych