Что такое токен в нейросети простыми словами: сколько стоит, окно контекста, как считать
Токены в нейросетях простыми словами: что это, почему за них платят, чем вход отличается от выхода, что такое окно контекста и лимиты, и как посчитать стоимость своей задачи.
Нейросеть читает и пишет не буквами и не словами, а токенами. За токены берут деньги, ими меряют, сколько текста модель удержит в голове, и на них же стоят все лимиты. Если понимать токены, становится понятно, почему один запрос стоит копейки, а другой рубли, и почему чат-бот вдруг «забывает» начало разговора.
Что такое токен простыми словами
Токен - это кусочек текста, с которым работает модель. Иногда это целое короткое слово, иногда часть длинного слова, иногда знак препинания или пробел. Перед обработкой текст режется на такие кусочки, и модель видит уже их, а не буквы.
Удобно представить конструктор: модель не умеет работать с текстом целиком, она собирает и разбирает его из готовых деталей. Частые слова и сочетания - крупные детали, редкие слова собираются из нескольких мелких.
Как нейросеть режет текст на токены
У каждой модели свой словарь деталей, поэтому один и тот же текст у разных моделей занимает разное число токенов. Общие закономерности такие:
- частые короткие слова обычно занимают один токен;
- длинные и редкие слова режутся на несколько частей;
- цифры, знаки препинания и пробелы тоже занимают токены;
- для английского текста часто приводят ориентир: один токен - это примерно 3-4 символа;
- русский текст обычно режется мельче, поэтому тот же смысл на русском, как правило, занимает больше токенов, чем на английском.
Отсюда практический вывод: точное число токенов лучше не угадывать, а измерить на нескольких реальных примерах вашего текста.
Как текст превращается в ответ
- 01Ваш текстзапрос и данные
- 02Нарезкатекст режется на токены
- 03Модельчитает входные токены
- 04Ответпишет токены по одному
- 05Счётвход и выход считаются отдельно
Вход и выход: за что платят
| Что это | Цена | |
|---|---|---|
| Вход (input) | ваш запрос, инструкция, документы, история диалога | дешевле |
| Выход (output) | то, что пишет модель | обычно в 3-5 раз дороже входа |
| Кэш (cached input) | повторяющееся начало запроса, которое модель уже видела | заметно дешевле обычного входа |
Цены указывают за 1 миллион токенов. По официальным прайсам на 28 октября 2026 года:
| Модель | Вход за 1 млн | Выход за 1 млн |
|---|---|---|
| Claude Haiku 5.5 | $0.10 | $0.50 |
| DeepSeek V4.1 Flash | $0.30 | $1.20 |
| GPT-6.1 Terra | $1.00 | $5.00 |
| Claude Sonnet 5.5 | $2.00 | $10.00 |
| Claude Opus 5.5 | $4.00 | $20.00 |
У DeepSeek ночью и в выходные цены вдвое ниже, у Claude Haiku цена указана для запросов до 100 тысяч токенов. Больше моделей и цен в статье про выбор нейросети.
Сколько стоит токен: два расчёта
Посты для канала. На один пост уходит около 1 500 токенов на вход (инструкция плюс исходная новость) и 500 на выход.
| Модель | 1 пост | 1 000 постов |
|---|---|---|
| DeepSeek V4.1 Flash | около $0.001 | около $1 |
| Claude Opus 5.5 | около $0.016 | около $16 |
Чат-бот поддержки. 1 000 диалогов в день, на ответ уходит около 3 000 токенов на вход (инструкция, база знаний, история) и 300 на выход. В месяц это 30 000 ответов.
| Модель | В месяц, $ | В месяц, ₽ (курс ЦБ 80,87) |
|---|---|---|
| DeepSeek V4.1 Flash | около $38 | около 3 тыс. ₽ |
| GPT-6.1 Terra | около $135 | около 11 тыс. ₽ |
| Claude Sonnet 5.5 | около $270 | около 22 тыс. ₽ |
Разница между моделями достигает десятков раз. Поэтому в рабочих системах для простых массовых задач берут недорогие модели, а дорогие оставляют там, где без них не обойтись.
Как посчитать токены для своей задачи
- Возьмите 5-10 реальных запросов: инструкцию, данные, ожидаемый ответ.
- Посчитайте токены счётчиком поставщика модели или по данным о расходе после пробных запросов.
- Умножьте среднее на число запросов в месяц.
- Отдельно посчитайте вход и выход по ценам выбранной модели.
- Добавьте запас 20-30% на длинные запросы, повторы и рост объёма.
Что такое окно контекста
Окно контекста - это сколько токенов модель может учесть за один раз: инструкция, документы, история переписки и её собственный ответ вместе. У современных моделей окно бывает очень большим, например около 1 миллиона токенов у DeepSeek V4 и Kimi K3.
Что происходит, если текст не влезает:
- запрос просто не принимается;
- в чатах старые сообщения отбрасываются, и бот «забывает» начало разговора;
- в длинных документах модель хуже замечает детали из середины.
Большое окно удобно, но каждый токен в нём оплачивается. Поэтому вместо того, чтобы класть в запрос весь архив, лучше находить и передавать только нужные куски. Так работает RAG, о нём есть отдельная статья.
Лимиты токенов
- Максимум на ответ. У моделей есть предел длины одного ответа. Длинный отчёт иногда приходится собирать из нескольких частей.
- Лимиты в минуту. Поставщики ограничивают число токенов и запросов в минуту для аккаунта. Для массовых задач их нужно учитывать заранее.
- Лимиты в приложениях. В чатах по подписке считают не токены, а сообщения или «использование», и при активной работе их можно исчерпать.
Скрытые токены, о которых забывают
- Рассуждения. Модели, которые «думают» перед ответом, тратят на это токены, и они оплачиваются как выход.
- История диалога. В чате каждое новое сообщение отправляет модели всю предыдущую переписку заново.
- Инструкции и инструменты. Системная инструкция агента и описание его инструментов идут во вход каждого запроса.
- Картинки, аудио и видео. В мультимодальных моделях они тоже переводятся в токены и оплачиваются, часто по отдельным ценам.
Как экономить токены
- Давать модели только нужный кусок документа, а не весь архив.
- Выносить постоянную инструкцию в начало запроса, чтобы срабатывал кэш.
- Просить короткий ответ в нужном формате, а не сочинение.
- Обрезать или сжимать старую историю диалога.
- Для простых задач брать дешёвые модели, для сложных дорогие.
- Пакетную обработку, которой не нужен мгновенный ответ, отправлять через batch: у многих поставщиков это вдвое дешевле.
- Следить за расходом по дням и ставить лимиты, чтобы ошибка в автоматизации не съела бюджет за ночь.
Частые вопросы
Что такое токен в нейросети простыми словами?
Это кусочек текста, на которые модель режет запрос и ответ. Им же считают объём текста и стоимость работы.
Сколько слов в одном токене?
Точного ответа нет: зависит от языка и модели. Для английского ориентир около 3-4 символов на токен, русский текст обычно занимает больше токенов.
Почему выход дороже входа?
Модель генерирует ответ по одному токену, и это требует больше вычислений, чем чтение запроса.
Что такое окно контекста?
Это максимальный объём текста в токенах, который модель учитывает за один раз, включая инструкцию, документы, историю и ответ.
Почему чат-бот забывает начало разговора?
Вся переписка не помещается в окно контекста, и старые сообщения отбрасываются. Помогают сжатие истории и хранение важного отдельно.
Как узнать, сколько токенов в тексте?
У многих поставщиков есть счётчики токенов в документации или API, а после запросов видно фактический расход. Для бюджета хватает расчёта на нескольких реальных примерах.
Токены в ChatGPT и в API - это одно и то же?
Единица одна, но платят по-разному: в приложении по подписке с лимитами на использование, в API за каждый миллион токенов.