Как сообщает PCWorld, новая флагманская модель Claude Fable 5.1 при низком уровне вычислительных усилий может реже обращаться к поиску и инструментам извлечения данных. Вместо проверки актуальной информации модель в некоторых случаях полагается на собственную память, догадки и имеющиеся у нее сведения.
Anthropic уже описала эту особенность в рекомендациях по работе с Claude Fable 5.1. Проблема особенно заметна при вопросах о недавно представленных продуктах, ценах, ИИ-моделях и инструментах разработчиков, где информация быстро устаревает. Компания предложила два варианта настройки, позволяющих чаще заставлять модель проверять сведения перед ответом, пишет КТРК.
Claude Fable 5.1 может отвечать без проверки свежих данных
Особенность проявляется при выборе низкого уровня усилий, или effort level. В таком режиме Claude Fable 5.1 реже задействует доступные инструменты поиска и извлечения информации и чаще формирует ответ на основе собственной памяти.
Из-за этого пользователь может получить устаревшие или неточные сведения, сформулированные достаточно уверенно. Риск повышается при запросах о событиях и продуктах, появившихся после периода, данные за который представлены в знаниях модели.
Пользователям Claude знакома фраза «Позвольте проверить, а не гадать». Она появляется, когда модель решает обратиться к поиску вместо ответа исключительно на основе уже имеющихся знаний. При низком effort Claude Fable 5.1, согласно описанным наблюдениям, делает это реже и может сразу сформировать ответ без дополнительной проверки или предупреждения о возможной неактуальности информации.
Тест с новыми Mac mini показал проблему поиска
Во время тестирования сравнивалось поведение нескольких ИИ-моделей при вопросах о недавно появившихся продуктах. Более быстрые модели, включая Claude Haiku 4.5, а также ChatGPT и Gemini, чаще сначала проверяли актуальную информацию.
Показательным оказался запрос о недавно анонсированных моделях Mac mini компании Apple. Claude Fable 5.1 с низким уровнем effort не запустила поиск и сформировала уверенный ответ на основе уже доступных ей сведений.
Для новой модели такой сценарий особенно чувствителен. Ее собственная база знаний может не содержать полной информации о продуктах и событиях последних недель, поэтому отказ от поиска увеличивает вероятность фактической ошибки.
Anthropic предложила два способа заставить Claude чаще проверять информацию
Первый вариант заключается в повышении уровня effort. Пользователь может увеличить его для отдельного запроса, не сохраняя повышенный расход вычислительных ресурсов и токенов на протяжении всего разговора.
Второй вариант предполагает добавление отдельной инструкции в поле Instructions for Claude. Она должна заставлять модель проверять незнакомые или быстро меняющиеся понятия, даже если у нее уже есть определенные сведения о них.
Anthropic сформулировала рекомендацию следующим образом:
«Когда запрос касается имени, которое вы не можете с уверенностью опознать или которое вы знаете из динамичной сферы, такой как модели искусственного интеллекта или инструменты для разработчиков, где ситуация меняется за несколько месяцев, именно это имя и нужно проверить: поищите информацию перед ответом и включите имя так, как написал пользователь, по крайней мере в один запрос, даже в тех случаях, когда у вас есть определенное представление о предмете; частичная осведомленность как раз и делает устаревший ответ убедительным, поэтому знакомство — не повод пропускать поиск».
Смысл настройки заключается в том, чтобы модель не воспринимала знакомое название как достаточное основание для ответа без проверки. Наличие сведений о продукте еще не означает, что эти сведения отражают его текущее состояние.
Где риск устаревшего ответа особенно высок
Рекомендация наиболее актуальна для тематик, в которых данные способны заметно измениться за несколько недель или месяцев. К ним относятся ИИ-модели и сервисы, инструменты для разработчиков, технологические продукты, их характеристики и цены, а также финансовые данные.
Характерный пример — запрос о стоимости или спецификациях устройства, представленного несколько недель назад. Если модель не использует поиск, в ее базе может отсутствовать информация о таком продукте либо присутствовать только часть необходимых сведений.
Проблему усиливает частичная осведомленность: модель узнает название и располагает связанным с ним контекстом, поэтому способна сформировать правдоподобный ответ, хотя конкретные факты уже изменились или никогда не входили в ее обучающие данные.
Подобная инструкция может применяться и с другими языковыми моделями, которые склонны полагаться на сохраненные знания. Для локальных моделей без доступа к интернету сама инструкция не создаст возможность веб-поиска, однако принцип проверки актуальности остается существенным при построении систем с внешними источниками данных.
Напомним, ранее мы писали про проверку возраста для приложений в Windows 11 и ее работу.
