Перейти до вмісту
Нотатка#Продуктивність#Токени#Спостереження

Чому токени ChatGPT закінчуються швидше за тиждень

Знаєте яка мрія кожного компютерщика, а насправді і кожного хто от щойно придбав компютер?

Опубліковано · Ярослав Максимович

Знаєте яка мрія кожного компютерщика, а насправді і кожного хто от щойно придбав компютер?
- Навантажити компютер, і дивитись як він там працює у ваших інтересах.

Сьогодні вперше вдалось потратити всі тижневі токени моєї підписки на ChatGPT за $500, причому до закінчення тижня залишається лише 7 годин.
Чому так довго розтягнулось?
Бо, величезний запас токенів, і замало процесорів щоб встигати споживати ці токени.
Хоча раніше головним тормозом був я, але вже навчився делегувати майже всі задачі до АІ, і тепер впирається в кількість обчислень, які мені доступні.

Отже, головні причини:
1. ChatGPT - нещодавно подвоїв кількість токенів. А перед тим - вдвічі (з їх слів) підвищив результативність моделей. Получилось так ніби 4х токенів, по відношенню до вересневих лімітів.

2. Тепер - мені банально не вистачає обчислювальної потужності мого компютера.
Хоча він майже топовий по конфігурації (0.5 кВт/год):

Процесор Intel i13900.
Прям монстр, хоча і 2022 року.
Порівняно з сервером на хостингу - то цей процесор десь вдвічі потужніший.
Має 24 ядра.
Хоча з них лише 8 повноцінні. А остальні - "енергоефективні".
Але, якщо по результативності - то приблизно в тій же вартості Intel програє 1.5х - 2х (на моїх задачах) до AMD 9950, за рахунок більшої кількості повноцінних ядер у AMD.

І 192 Гб памяті.
З яких реально задіяних ~130 Гб (тому немає сенсу тримати більше 128 Гб в одному компютері, для моїх задач).
Хоча, коли перейшов від 96 Гб, до 192 Гб, то швидкість збірок CI покращилась вдвічі. Просто зникла потреба у файлі підкачки.

Воно ніби дорого.
Але, якщо знаєш що робиш.
І вмієш конвертувати Гігагерци та Токени в щось корисне - то є невичерпна потреба в потужності.

Який висновок:
Наступний апгрейд цьому компютеру вже не допоможе.
Процесор і так на 90% завантажений.
Реально обігріває кімнату (поки не дуже холодно на вулиці).

Для збільшення потужності - придбати ще одну платформу на AMD 9950 з материнкою. І розділити память 192 Гб на два купки по 96 Гб, щоб вистачило на два компютери.
Один з яких буде робочим.
А другий - на якомусь навіть Лінуксі (ніколи в житті до такого не доторкався, але Клод каже що все сам налаштує).
Чисто під CI.
Щоб збирав автоматизації перед рогортанням на сервері.

До речі, якщо порівнювати з орендою співрозмірного серверу на хостингу - то окупність приблизно 8 місяців (у хостингів - крутий бізнес зараз).

Джерела

Що з цим робити далі

Зробити самому

Усе, на чому стоїть цей текст, — у джерелах вище. Візьміть один процес у своїй компанії і перевірте на ньому одну тезу звідси: тиждень такої перевірки скаже більше, ніж ще десять прочитаних статей.

Коли має сенс оргсхема

Коли процесів більше, ніж встигаєте перевірити руками, і незрозуміло, з якого відділу почати. Оргсхема показує компанію зверху і підказує, де AI дасть віддачу першою.

Переглянути організаційну схему

Пов'язані матеріали

Схоже за темами — підібрано автоматично

Як зроблено. Це мій пост у Facebook від 05.11.2026, збережений тут без змін.

Якщо хочете розібрати свою задачу — напишіть мені в Telegram: t.me/YaroslavMaxymovych