Как сообщает 404 Media, OpenAI привлекает подрядчиков для анализа реальных разговоров пользователей с ChatGPT в рамках проекта Project Lily. Рецензенты изучают переписку и оценивают качество ответов чат-бота, в том числе проверяют наличие избыточных формулировок, покровительственного тона, смайликов и чрезмерно угодливых ответов.
При этом подрядчикам могут становиться доступны реальные частные разговоры пользователей, а вместе с ними — отдельные элементы персональной информации. По данным источника, имена пользователей рецензентам не показывают, однако используемые фильтры в отдельных случаях могут пропускать конфиденциальные сведения, особенно когда речь идет о коротких чатах, пишет КТРК.
Зачем подрядчики проверяют разговоры пользователей с ChatGPT
Проект получил название Project Lily. В распоряжении журналистов оказались инструкции для работников, материалы из рабочих каналов Slack, примеры реальных разговоров с ChatGPT и сведения о системе рейтингов, применяемой при классификации диалогов.
Сотрудников, которые занимаются этой работой, называют «экспертами по подсказкам». Их задача заключается не просто в чтении диалогов, а в оценке того, насколько качественно ChatGPT отвечает на запрос пользователя.
В частности, рецензенты обращают внимание на то, содержит ли ответ:
- ненужные и избыточные формулировки;
- покровительственный тон;
- чрезмерное количество смайликов;
- подхалимство и чрезмерное согласие с пользователем;
- попытки представить ответ искусственного интеллекта как личный человеческий опыт;
- другие признаки неестественного поведения чат-бота.
Очеловечивание системы и изложение ответа от лица ИИ так, будто речь идет о его собственном жизненном опыте, также считается нежелательным.
Сколько платят людям за проверку чатов
По словам привлеченных к проекту работников, проверка диалогов представляет собой довольно монотонную работу. При этом сообщается, что оплата может превышать 50 долларов в час.
Один из рецензентов также рассказал журналистам, что правила выполнения заданий регулярно меняются. По его словам, новые требования иногда могут противоречить предыдущим инструкциям.
При этом в рамках Project Lily рецензенты преимущественно оценивают качество самого ответа, а не проверяют фактическую достоверность всей информации, содержащейся в диалоге. Исключение могут составлять очевидные ошибки. Это допускает существование отдельных процессов или команд, отвечающих за другие виды проверки.
Какие личные данные могут увидеть рецензенты
Особое внимание в публикации уделяется вопросу конфиденциальности. По данным источника, большинство пользователей могут не осознавать, что отдельные разговоры способны попадать на ручную проверку.
Этот вопрос становится особенно чувствительным в случаях, когда люди обсуждают с чат-ботом личные проблемы, отношения, психологическое состояние или другие конфиденциальные темы.
Представители OpenAI, как сообщает источник, заявили журналистам, что подрядчики не видят имен пользователей. Однако фильтры, предназначенные для удаления персональной информации, могут пропускать некоторые конфиденциальные сведения. Риск такого сценария особенно отмечается для коротких разговоров.
Что еще может содержаться в материалах для проверки
В материалах, доступных рецензентам, как сообщается, могут присутствовать не только непосредственно сообщения из конкретного разговора. Они также могут включать краткое изложение пользовательского контекста.
В таких сводках могут содержаться краткие сведения о:
- вопросах, которые интересуют пользователя;
- его интересах;
- контексте предыдущего взаимодействия;
- вероятном местоположении;
- другой информации, необходимой для понимания разговора.
При этом проверки Project Lily отделены от процессов, связанных с безопасностью. Отдельные механизмы используются для выявления ситуаций, когда пользователь может пытаться причинить вред себе или другим при помощи чат-бота.
Можно ли запретить использование разговоров для улучшения ChatGPT
Пользователям доступны настройки, позволяющие отказаться от использования разговоров для улучшения моделей ChatGPT. При этом вопрос хранения уже существующих разговоров регулируется отдельно.
В публикации отмечается, что предыдущие чаты могут продолжать храниться в системе до их удаления в соответствии с действующими правилами и пользовательскими настройками. Также сообщается, что OpenAI ранее информировала пользователей о возможности доступа людей к некоторым разговорам в рамках процессов проверки и улучшения сервисов.
Подобная практика ручной проверки материалов применяется не только при разработке ChatGPT. В источнике отмечается, что аналогичные подходы к анализу данных и оценке работы систем используют и другие крупные разработчики искусственного интеллекта.
Напомним, ранее мы писали про изменения интерфейса Google Wallet и новый вертикальный список способов оплаты.
