Message Threads от Anthropic сокращает время до первого токена на 35 процентов для длинных диалогов

Message Threads от Anthropic сокращает время до первого токена на 35 процентов для длинных диалогов

Anthropic выкатила публичную бета-версию функции Message Threads на платформе Claude. Новинка направлена на устранение одной из главных болей разработчиков, работающих с длинными сессиями: необходимость каждый раз пересылать всю историю диалога в API-запросе.

Как это работает

Ранее каждый запрос к API требовал повторной передачи полного контекста разговора. Message Threads меняет подход: с сервера отправляется только то, что изменилось с момента последнего сообщения. По данным Anthropic, для запросов объёмом от 500 000 до одного миллиона токенов время до первого токена сокращается примерно на 35 процентов.

При этом расход токенов остаётся прежним — Claude по-прежнему читает полную историю диалога, просто получает её более эффективным способом.

Кому это нужнее всего

Компания указывает, что максимальную выгоду получают:

  • кодинг-агенты;
  • агенты для работы с компьютером (computer-use agents);
  • рабочие процессы, обрабатывающие большие объёмы документов или изображений.

Технические детали и доступность

Поток данных между запросами хранится в памяти в зашифрованном виде и автоматически истекает через пять минут бездействия. Функция доступна на платформе Claude, а также через AWS, Microsoft Foundry и Google Cloud. Подробности о настройке и ограничениях изложены в документации Anthropic.

Apple ограничивает приложения для знакомств и ИИ-компаньонов пользователями 18 лет и старше
Apple ограничивает приложения для знакомств и ИИ-компаньонов пользователями 18 лет и старше

Apple объявила о пересмотре политик App Store: с 16 ноября все приложения, предлагающие функции знакомств и...

OpenAI нанимает экс-секретаря Армии, получая влияние на обе партии на фоне приближающихся промежуточных выборов
OpenAI нанимает экс-секретаря Армии, получая влияние на обе партии на фоне приближающихся промежуточных выборов

OpenAI наняла Дана Дрисколла — 26-го по счёту гражданского руководителя Армии США — на должность «Старший с...

Anthropic предупреждает, что находится на пороге RSI-возможности, то есть ИИ, способного создавать сам себя
Anthropic предупреждает, что находится на пороге RSI-возможности, то есть ИИ, способного создавать сам себя

В понедельник, когда внимание прессы было приковано к обновлённым финансовым данным — выручка Anthropic стр...

OpenAI направляет пользователей ChatGPT на более активное использование платных функций
OpenAI направляет пользователей ChatGPT на более активное использование платных функций

OpenAI вводит лимиты на платёжные карты и устройства для ChatGPT, формально называя это мерой безопасности,...