Об этом сообщает «КТРК» со ссылкой на The Conversation
Появление всё более мощных систем искусственного интеллекта сопровождается не только технологическим прогрессом, но и растущими опасениями. Власти США уже фиксируют случаи злоупотребления ИИ — так, недавно ФБР сообщило, что подозреваемые в подрыве клиники использовали нейросеть для получения инструкций по изготовлению взрывного устройства. Эта ситуация стала очередным напоминанием: технологии могут быть опасны без должного контроля.
На фоне подобных инцидентов один из пионеров ИИ, канадский профессор Йошуа Бенжио, представил инициативу, способную изменить правила игры. Его некоммерческая организация LawZero занимается разработкой новой системы «честного ИИ» — Scientist AI. Эта модель должна не только быть безопасной по замыслу, но и отслеживать потенциально вредоносные алгоритмы, выполняя роль цифрового надзирателя за другими ИИ.
Честный ИИ: в чём отличие от других моделей
Scientist AI разрабатывается с учётом принципов прозрачности и надёжности. Разработчики заявляют, что система сможет сообщать уровень уверенности в собственных ответах и объяснять принятые решения, позволяя человеку оценить их обоснованность. Это должно снизить риски, связанные с некорректными, но уверенными утверждениями нейросетей.
Вторая ключевая особенность — способность давать логические объяснения, доступные для восприятия человеком. Многие современные ИИ-модели стремятся к скорости и масштабируемости, жертвуя объяснимостью. Scientist AI возвращает эту функцию, делая взаимодействие с системой не только полезным, но и понятным.
ИИ против ИИ: когда нейросети следят друг за другом
Одной из задач Scientist AI станет контроль над другими алгоритмами. При нынешних масштабах — миллиарды запросов в день — человек уже не может эффективно отслеживать все риски. Только другой ИИ способен справляться с объёмом анализа, необходимым для предотвращения опасных последствий.
Бенжио предлагает использовать искусственный интеллект в качестве защитника от недобросовестных моделей. Эта идея получила поддержку в научном сообществе и рассматривается как потенциально единственный путь к реальному обеспечению безопасности в эпоху стремительного развития нейросетей.
Переосмысление архитектуры: мировая модель в ИИ
Команда Бенжио внедряет в Scientist AI компонент, который может коренным образом изменить работу ИИ — мировую модель. Она позволяет алгоритму формировать представление о физике, логике и причинно-следственных связях, как это делает человеческий мозг. Это особенно важно для систем, которые взаимодействуют с реальным миром.
Недостаток таких моделей в существующих ИИ приводит к распространённым ошибкам: нейросети плохо понимают движения человеческой руки или совершают нелегальные ходы в шахматах. Объяснение простое — без встроенного представления о мире алгоритм не может предсказать последствия своих действий или соблюдать правила, не прописанные напрямую.
Финансирование и вызовы: смогут ли идеи стать реальностью
Проект Бенжио финансируется в объёме 30 миллионов долларов — сумма значительная, но значительно уступающая многомиллиардным инвестициям крупных держав. Для создания действительно масштабной и надёжной модели нужны не только ресурсы, но и доступ к объёмам данных, которые сегодня контролируются глобальными IT-корпорациями.
Ещё одна проблема — даже при успешной разработке Scientist AI остаётся вопрос: как именно система будет влиять на другие ИИ, которые уже существуют и могут действовать автономно? Ответа пока нет. Тем не менее, попытка создать безопасную платформу с учётом этических и технических норм может задать новые стандарты для всего направления.
Напомним, ранее мы писали о том, как изменить приоритеты с помощью простых упражнений.
