Овайн Льюїс: як перевірити АІ-консьєржа перед запуском
Овайн Льюїс розгорнув АІ-консьєржа для готелю. Розбираю його порядок перевірки: критерій готовності, прогін у браузері й повтор тестів після кожної правки.
Опубліковано · Ярослав Максимович
Овайн Льюїс у жовтні описав у своїй розсилці для АІ-інженерів, як зібрав і розгорнув на Google Cloud АІ-консьєржа для сайту готелю. Задум він узяв із реального оголошення на Upwork з бюджетом близько $5 000. Мене цікавить не сам консьєрж, а порядок перевірки перед запуском: задача з критерієм готовності, прогін у браузері, набір тестів, який повторюють після кожної зміни. Якщо ви керуєте невеликою компанією і думаєте про АІ-помічника для клієнтів, цей порядок можна взяти як чекліст. Застереження одне: у матеріалі Льюїса немає даних про економію годин, тож чужі результати на свій бізнес переносити не варто.
Нижче я розкладаю метод на кроки. Те, що робив Льюїс, і те, що додаю я, позначаю окремо. Свої додатки я не видаю за його практику. Завтра можна почати з простого: відкрити свій робочий журнал звернень і подивитися, скільки в ньому повторюваної роботи.
З чого складається метод
Метод Льюїса складається з трекера задач, браузерного прогону агентом, файлу з правилами, набору тестових питань і перегляду змін перед запуском. Жодна частина сама по собі не складна. Цінність у послідовності: кожна ловить помилки, яких не бачить попередня.
Інструменти в його розповіді такі. Задачі він веде в Linear. Локальну версію консьєржа перевіряє Codex у браузері. Системні правила лежать у Markdown-файлі. Тестові питання він склав у Google Cloud, і там відповіді оцінює модель. Зміни він переглядає у pull request перед запуском.
Вхідні дані прості. Це повторювані питання гостей готелю: адреса, Wi-Fi, вибір вілли для родини. Саме з такого списку консьєрж отримує роботу, а перевірка отримує матеріал для тестів. Без списку нічого перевіряти.
У вашій компанії вхідними даними будуть реальні звернення клієнтів. Як їх порахувати й оцінити, я описую в першому кроці. Цей крок мій, у Льюїса його немає.
Крок 1: Порахуйте ручну роботу, перш ніж щось будувати
Спершу відкрийте журнал звернень і порахуйте, скільки в ньому повторюваних питань і скільки коштує перевірка відповідей бота. Це мій додаток до методу. Льюїс такого розрахунку не публікував, а даних про економію годин у його матеріалі немає.
Формула проста. Кількість повторюваних звернень за вибраний період помножте на час однієї відповіді людини. Від цього відніміть час на перевірку бота: читання вибірки відповідей, правку тестів, розбір помилок. Журналом може бути пошта, чат або таблиця заявок. Якщо різниця мала, консьєрж не окупиться, і далі читати метод не треба. Якщо різниця помітна, той самий журнал дасть вам список питань для тестів у четвертому кроці.
Крок 2: Опишіть задачу так, щоб було видно, коли вона закінчена
Кожна задача має мати критерій готовності, записаний до початку роботи. Льюїс розклав роботу в Linear на локальну версію, перевірки, деплой і робочі метрики. У кожній задачі він вказує мету, критерій готовності, вимоги, дизайн та спосіб перевірки.
Спосіб перевірки лежить в одному описі із самою задачею, а не з'являється після завершення. Тому той, хто бере задачу, одразу знає, за чим її приймуть. Без критерію слово «готово» означає «мені здається, що працює».
Далі моя рекомендація. Критерій для консьєржа має мати форму «так чи ні». Наприклад: на питання про оплату бот не просить платіжні дані. Формулювання «бот відповідає коректно» перевірити неможливо.
Крок 3: Проженіть консьєржа в браузері по живій сторінці
Коли локальна версія працює, дайте агентові пройти її у браузері. Так зробив Льюїс: у локальному браузерному прогоні Codex за кілька хвилин виявив неправдиве твердження консьєржа. Бот казав, що сторінка бронювання приймає платіжні дані, а вона їх не приймає.
Механіка така, як я її розумію. Агент ставить питання боту, відкриває реальну сторінку й порівнює сказане з тим, що там є. Помилку такого типу не видно, поки читаєш лише текст розмови: бот звучить упевнено, а переконливість відповіді нічого не каже про її правдивість. Чому модель так помиляється, матеріал не пояснює, і я не вдаю, що знаю.
Моя порада: підсумок такого прогону має прочитати людина, яка знає сайт і бізнес.
Крок 4: Винесіть правила в окремий файл і напишіть тести
Системні правила бота тримайте в окремому файлі, а перевірки зводьте в набір тестових питань. Льюїс виніс правила в Markdown і склав питання у Google Cloud, де відповіді оцінює модель. Такий файл можна читати, порівнювати між версіями й показувати колегам.
Найважливіше спостереження з його розповіді: після змін деякі тести покращилися, а деякі погіршилися. Правка промпта, яка лікує одну відповідь, може зламати іншу, і в окремій розмові цього не видно. Побічну шкоду показує тільки набір.
Далі мої рекомендації щодо складу набору, у джерелі їх немає. Беріть питання з журналу з першого кроку. Додайте питання, на які бот має відмовляти або відсилати до людини, бо саме там він схильний вигадувати. Додайте й те питання, на якому вас колись «спіймала» помилка.
Крок 5: Повторюйте весь набір і дивіться зміни перед запуском
Після кожної правки промпта запускайте весь набір, а не лише тест, який стосується правки. Льюїс робить саме так: повторює повний набір при кожній зміні промпта і переглядає зміни у pull request перед запуском. Тоді зміна проходить не лише через автоматичну оцінку, а й через очі людини.
Тут є межа. Відповіді оцінює модель, а вона не гарантує істини. У розібраному матеріалі немає виміру, наскільки її оцінки збігаються з людським судженням. Тому я б додав вибіркове читання відповідей вручну, особливо там, де оцінка змінилася.
Окремо про дані. У проєкті Льюїса розмови видаляються після 30 днів. Це рішення його проєкту, а не загальне правило. Свій строк зберігання вирішуйте до запуску.
Кому це не потрібно
Метод не потрібен, якщо вам не потрібен сам консьєрж, і це видно вже після першого кроку. Є ситуації, де метод перетворюється на зайву процедуру.
Перша ситуація: повторюваних питань мало. Якщо людина відповідає за хвилини, а перевірка бота забирає більше часу, автоматизація коштує дорожче за ручну роботу. Льюїс не наводить цифр економії, тож надія, що воно якось окупиться, нічим не підкріплена.
Друга ситуація: кожна відповідь має юридичні або фінансові наслідки. Тоді бот у найкращому разі готує чернетку, а відповідь затверджує людина. Набір тестів цього не замінить.
Третя ситуація: нікому вести набір. Метод працює, лише поки хтось додає нові питання, читає зміни й може сказати «ні». Без такої людини тести застарівають, а зелені результати дають хибне відчуття безпеки. Це головна пастка методу, і я бачу її більше в організації, ніж у техніці.
Що я б зробив
Власних фактів про запуск такого консьєржа в мене немає, тому пишу про межі, а не про практику. У компанії такого розміру я почав би не з бота, а з журналу звернень із першого кроку. Спершу порахував би повторювану роботу й вартість перевірки. Якби розрахунок виправдав спробу, узяв би одну вузьку категорію питань, наприклад адреси та години роботи, а не весь потік. Для неї написав би задачу з критерієм готовності й способом перевірки, як у Льюїса. Потім дав би агентові пройти бота по живій сторінці, бо саме такий прогін знайшов хибне твердження про платіжні дані. Тестовий набір збирав би з реальних питань і до запуску призначив би людину, яка читає зміни. Економії годин я б нікому не обіцяв: у джерелі цих даних немає, а власних вимірів у мене теж немає.
Часті питання
Нижче питання, які зазвичай виникають, коли вперше думають про перевірку АІ-помічника для клієнтів. Відповіді спираються на розібраний матеріал Льюїса й на мої застереження до нього. Де джерело мовчить, я так і кажу, щоб ви не плутали його практику з моїми порадами.
Чи можна перевірити АІ-консьєржа без програмістів?
Частину роботи можна, але не всю. Журнал звернень, критерій готовності й список питань для тестів підготує людина без технічного досвіду. Браузерний прогін агентом і автоматична оцінка відповідей потребують налаштування, і тут потрібна технічна допомога. Матеріал Льюїса про простіший шлях не розповідає.
Скільки тестових питань потрібно для перевірки?
Точної кількості я не назву, джерело її не дає. Розумний початок: питання з кожної категорії вашого журналу плюс питання, на які бот має відмовляти. Набір росте разом із помилками, які ви знаходите. Важливіше, щоб його повторювали повністю після кожної зміни промпта.
Що робити, якщо після зміни промпта частина тестів погіршилась?
У Льюїса так і було: деякі тести покращилися, деякі погіршилися. Подивіться, які саме відповіді змінилися. Якщо погіршення стосується чутливих тем, як-от оплата чи персональні дані, зміну не запускайте. Це моя рекомендація, а не крок із джерела.
Чи зберігати розмови з клієнтами?
Це залежить від ваших правил приватності, а не від методу. У проєкті Льюїса розмови видаляються після 30 днів, але це його налаштування. Вирішіть строк до запуску й запишіть його в документі проєкту. Якщо розмови містять персональні дані, обговоріть це з тим, хто відповідає за дотримання закону.
Джерела
Що з цим робити далі
Зробити самому
Усе, на чому стоїть цей текст, — у джерелах вище. Візьміть один процес у своїй компанії і перевірте на ньому одну тезу звідси: тиждень такої перевірки скаже більше, ніж ще десять прочитаних статей.
Коли має сенс оргсхема
Коли процесів більше, ніж встигаєте перевірити руками, і незрозуміло, з якого відділу почати. Оргсхема показує компанію зверху і підказує, де AI дасть віддачу першою.
Пов'язані матеріали
- Нотатка
І куди вже прийшли "експерти по промптингу".
- Розбір
Повна структура витрат, час на правки та три рівні бюджету: як порахувати годину корисної роботи з АІ.
Як зроблено. Чернетку зібрано з моїх робочих нотаток за допомогою AI-асистента; факти, виміри й висновки — мої. Помітили неточність — напишіть.
Якщо хочете розібрати свою задачу — напишіть мені в Telegram: t.me/YaroslavMaxymovych