В понедельник, когда внимание прессы было приковано к обновлённым финансовым данным — выручка Anthropic стремительно растёт, но расходы идут за ней следом, — компания заложила в мелкий шрифт пересмотренного S-1/A куда более серьёзную новость: по всей видимости, лаборатория находится на пороге создания модели, способной к рекурсивному самоусовершенствованию (RSI).
Что такое RSI и почему это важно
RSI — это точка, в которой ИИ становится настолько хорош в обучении самого себя, что порождает драматическое ускорение возможностей. Для одних это катаклизм без возврата: ИИ превращает сам себя в нечто настолько мощное, что выходит за пределы человеческого контроля и может быть равнодушен к ущербу, который наносит, достигая своих целей. Для других — обещание технологии, превращающейся в инструмент невообразимой продуктивности и научных открытий.
Anthropic, судя по тексту filings, считает, что RSI — и то и другое одновременно.
Что именно написала Anthropic
В S-1 компания подтверждает, что уже использует ИИ в собственных НИОКР, но при этом предупреждает: применение ИИ для создания более способного ИИ может нести значительный риск безопасности, особенно если оно резко ускоряет темп прогресса. По словам Anthropic, это одна из областей, охваченных её Политикой ответственного масштабирования (Responsible Scaling Policy), в которой изложены планы по мониторингу и смягчению рисков по мере приближения к тому, что было названо «рекурсивным самоусовершенствованием».
Когда термин RSI стал популярен в начале этого года, многие считали его модным словом или, в лучшем случае, целью, слишком сложной для достижения, определения или доказательства. Однако в понедельник Anthropic добавила в раздел Risk Factors два конкретных заявления:
- Компания уже использовала ИИ для разработки новых моделей, скачки в возможностях которых она не распознала в тот момент.
- Внутренние оценки и ожидания относительно будущих моделей указывают на то, что Anthropic может в ближайшее время соответствовать собственному определению «драматически ускоренного прогресса, обусловленного ИИ» в рамках Политики ответственного масштабирования.
Особого внимания заслуживает признание: Anthropic прямо указывает, что в прошлом не выявляла значительное ускорение темпов собственной разработки, пока оно не произошло, и в будущем может вновь не выявить его вовремя.
Оговорки и обещания
При этом компания подчёркивает: ни одна из текущих моделей не пересекла порог RSI, и Anthropic продолжает оценивать лежащие в основе данные. В заявлении также обещано, что на предвидимое будущее люди останутся в процессе НИОКР. Anthropic не ожидает, что сможет безопасно использовать Claude для полностью автономного проектирования и создания последовательных поколений передовых моделей без значимого человеческого надзора или понимания, даже если это станет технически возможным. В связи с этим компания рассматривает обновление Политики ответственного масштабирования, чтобы сохранить за людьми контроль над разработкой передовых моделей.
Скептицизм и реальность
Критики могут возразить, что S-1 выполняет функции и раскрытия информации, и маркетинга, и что заявления о близости к модели, способной создавать саму себя, относятся скорее ко второй категории. Тем не менее не вызывает сомнений, что возможности Claude — особенно в области программирования, математики и кибербезопасности — выросли на порядок за этот год. Если Anthropic считает, что RSI близка, возможно, стоит в это поверить и действовать — а может быть, регулировать — соответственно.
