Расход токенов стал меньше

OpenAI (наш поставщик искусственного интеллекта) недавно анонсировал новую функцию — кэширование промптов. Если говорить простым языком — теперь повторяющиеся части запросов к нейросети будут временно сохраняться на стороне OpenAI и использоваться повторно, а значит — расходовать меньше ресурсов.

Учли эту особенность в расчете затраченных токенов в нашем сервисе. Будем автоматически снижать расходов токенов в таких запросах. А значит в среднем работа с нашими ассистентами будет требовать меньше ресурсов (токенов).