Comments 7
Не знаете как тарифицируется обращение к ассистентам?
К примеру, у меня основная инструкция ассистента = 1к токенов, плюс файлы еще на 10к токенов.
Переменная часть предположим каждый раз тоже 1к токенов.
При запросе, тарификация за инпут будет 12к токенов (весь объем информации) или только 1к токенов (за переменную часть)?
Если файл не обновляется, то будет 1к токенов
В ответе api, если он не стриминговый, в однос из полей есть подсчёт количества затраченных токенов
В документации нашлась такая фраза
When you use the Assistants API, you delegate control over how many input tokens are passed to the model for any given Run, this means you have less control over the cost of running your Assistant in some cases but do not have to deal with the complexity of managing the context window yourself.
Видимо, в переводе на русский язык это означает что-то типа "сколько считаем нужным столько и расходуем токенов". Жаль что даже статистику не показывают. Ну на то она и бета.
Важный момент - при каждом ране весь тред и инструкции отправляются модели полностью, т.е. тарифицируется каждый раз. Поэтому треды надо чистить/закрывать/создавать новые.
Какие преимущества вы видите в использовании Assistants API и Custom Instructions по сравнению с традиционными методами написания сопроводительных писем? Какие сценарии использования, кроме написания сопроводительных писем, вы можете представить для этих функций?
Я бы не хотел тут обсуждать именно методы написания сопроводительных писем. Допущение "Сопроводительные письма можно писать с помощью ChatGPT" является сомнительным и я не собираюсь его отстаивать (тем более что многое зависит от качества промпта).
Эту тему я взял для примера, потому что она мне показалась наиболее понятной и универсальной (в каком-то смысле "бытовой"), позволяющей достаточно внимания уделить технической стороне.
В остальном про "преимущества" я отчасти написал в начале раздела Assistants.
Сценарии использования - это отдельная сложная тема, которая мне самому пока не до конца понятна и которая явно не вписывается в формат комментария к преимущественно технической статье.
Тут надо отдельно или статью или книгу писать.
Введение в OpenAI Assistants API (а заодно и в ChatGPT Custom Instructions)