Чому токени ChatGPT закінчуються швидше за тиждень
Знаєте яка мрія кожного компютерщика, а насправді і кожного хто от щойно придбав компютер?
Опубліковано · Ярослав Максимович
Знаєте яка мрія кожного компютерщика, а насправді і кожного хто от щойно придбав компютер?
- Навантажити компютер, і дивитись як він там працює у ваших інтересах.
Сьогодні вперше вдалось потратити всі тижневі токени моєї підписки на ChatGPT за $500, причому до закінчення тижня залишається лише 7 годин.
Чому так довго розтягнулось?
Бо, величезний запас токенів, і замало процесорів щоб встигати споживати ці токени.
Хоча раніше головним тормозом був я, але вже навчився делегувати майже всі задачі до АІ, і тепер впирається в кількість обчислень, які мені доступні.
Отже, головні причини:
1. ChatGPT - нещодавно подвоїв кількість токенів. А перед тим - вдвічі (з їх слів) підвищив результативність моделей. Получилось так ніби 4х токенів, по відношенню до вересневих лімітів.
2. Тепер - мені банально не вистачає обчислювальної потужності мого компютера.
Хоча він майже топовий по конфігурації (0.5 кВт/год):
Процесор Intel i13900.
Прям монстр, хоча і 2022 року.
Порівняно з сервером на хостингу - то цей процесор десь вдвічі потужніший.
Має 24 ядра.
Хоча з них лише 8 повноцінні. А остальні - "енергоефективні".
Але, якщо по результативності - то приблизно в тій же вартості Intel програє 1.5х - 2х (на моїх задачах) до AMD 9950, за рахунок більшої кількості повноцінних ядер у AMD.
І 192 Гб памяті.
З яких реально задіяних ~130 Гб (тому немає сенсу тримати більше 128 Гб в одному компютері, для моїх задач).
Хоча, коли перейшов від 96 Гб, до 192 Гб, то швидкість збірок CI покращилась вдвічі. Просто зникла потреба у файлі підкачки.
Воно ніби дорого.
Але, якщо знаєш що робиш.
І вмієш конвертувати Гігагерци та Токени в щось корисне - то є невичерпна потреба в потужності.
Який висновок:
Наступний апгрейд цьому компютеру вже не допоможе.
Процесор і так на 90% завантажений.
Реально обігріває кімнату (поки не дуже холодно на вулиці).
Для збільшення потужності - придбати ще одну платформу на AMD 9950 з материнкою. І розділити память 192 Гб на два купки по 96 Гб, щоб вистачило на два компютери.
Один з яких буде робочим.
А другий - на якомусь навіть Лінуксі (ніколи в житті до такого не доторкався, але Клод каже що все сам налаштує).
Чисто під CI.
Щоб збирав автоматизації перед рогортанням на сервері.
До речі, якщо порівнювати з орендою співрозмірного серверу на хостингу - то окупність приблизно 8 місяців (у хостингів - крутий бізнес зараз).
Джерела
Що з цим робити далі
Зробити самому
Усе, на чому стоїть цей текст, — у джерелах вище. Візьміть один процес у своїй компанії і перевірте на ньому одну тезу звідси: тиждень такої перевірки скаже більше, ніж ще десять прочитаних статей.
Коли має сенс оргсхема
Коли процесів більше, ніж встигаєте перевірити руками, і незрозуміло, з якого відділу почати. Оргсхема показує компанію зверху і підказує, де AI дасть віддачу першою.
Пов'язані матеріали
Схоже за темами — підібрано автоматично
- Есе
Ось коротка інструкція, що робити, якщо у вас є сайт, і ви панікуєте від того що всі сайти на PHP піддаються легкому взлому.
- Нотатка
Коли я дивився останній раз фільм - то це ще був квітень.
Як зроблено. Це мій пост у Facebook від 05.11.2026, збережений тут без змін.
Якщо хочете розібрати свою задачу — напишіть мені в Telegram: t.me/YaroslavMaxymovych