Ученые расходятся во мнениях по поводу исследовательской работы, в которой предполагается, что ChatGPT представляет собой «значительную и значительную» политическую предвзятость, склоняющуюся к левой стороне политического спектра.

Как ранее сообщал Cointelegraph, исследователи из Великобритании и Бразилии 17 августа опубликовали исследование в журнале Public Choice, в котором утверждается, что большие языковые модели (LLM), такие как ChatGPT, выводят текст, который содержит ошибки и предвзятости, которые могут ввести читателей в заблуждение и обладают способностью пропагандировать политические предубеждения, представленные традиционными СМИ.

В более ранней переписке с Cointelegraph соавтор Виктор Рангел раскрыл цели статьи — измерить политическую предвзятость ChatGPT. Методика исследователей предполагает, что ChatGPT выдает себя за кого-то из определенной стороны политического спектра и сравнивает эти ответы с режимом по умолчанию.

Рангел также отметил, что было проведено несколько тестов на надежность для устранения потенциальных мешающих факторов и альтернативных объяснений:

«Мы обнаружили, что ChatGPT демонстрирует значительную и систематическую политическую предвзятость в отношении демократов в США, Лулы в Бразилии и Лейбористской партии в Великобритании».

Стоит отметить, что авторы подчеркивают, что статья не является «последним словом о политической предвзятости ChatGPT», учитывая проблемы и сложности, связанные с измерением и интерпретацией предвзятости в программах LLM.

Рангел сказал, что некоторые критики утверждают, что их метод может не отражать нюансы политической идеологии, что вопросы метода могут быть предвзятыми или наводящими, или что на результаты может влиять случайность результатов ChatGPT.

Он добавил, что, хотя программы LLM обладают потенциалом для «улучшения человеческого общения», они создают «значительные риски и проблемы» для общества.

Статья, по-видимому, выполнила свое обещание стимулировать исследования и дискуссии по этой теме, поскольку ученые уже оспаривают различные параметры ее методологии и результатов.

Среди ярых критиков, которые воспользовались социальными сетями, чтобы высказать свое мнение по поводу выводов, был профессор информатики Принстона Арвинд Нараянан, который опубликовал на Medium пост, в котором раскрыл научную критику отчета, его методологии и выводов.

В новой газете утверждается, что ChatGPT выражает либеральные взгляды, в подавляющем большинстве случаев соглашаясь с демократами. Когда мы с @sayashk увидели это, мы поняли, что нам нужно покопаться. Бумажные методы плохие. Настоящий ответ сложен. Вот что мы нашли. https://t.co/xvZ0EwmO8o

– Арвинд Нараянан (@random_walker) 18 августа 2023 г.

Нарайанан и другие ученые указали на ряд предполагаемых проблем с экспериментом, во-первых, исследователи на самом деле не использовали сам ChatGPT для проведения эксперимента:

«Они не тестировали ChatGPT! Они тестировали text-davinci-003, более старую модель, которая не используется в ChatGPT, ни с настройкой GPT-3.5, ни с настройкой GPT-4».

Нарайанан также предполагает, что эксперимент не измерял предвзятость, а предлагал ему сыграть роль члена политической партии. Таким образом, чат-бот с искусственным интеллектом будет демонстрировать политические уклоны влево или вправо, когда ему будет предложено сыграть в ролевую игру в качестве участников с обеих сторон спектра.

Чат-бот также был вынужден отвечать только на вопросы с несколькими вариантами ответов, что могло ограничивать его возможности или влиять на предполагаемую предвзятость.

ОК, я прочитал статью «GPT имеет либеральный уклон» https://t.co/fwwEaZ757E, а также дополнительный материал https://t.co/F5g3kfFQFU, и, как я и ожидал, у меня с этим много проблем. методологически. Я попытался воспроизвести кое-что из этого и обнаружил несколько интересных проблем.

...

— Колин Фрейзер | @colin-fraser.net на bsky (@colin_fraser) 18 августа 2023 г.

Колин Фрейзер, специалист по данным из Meta, согласно его странице на Medium, также предложил обзор статьи о X, подчеркнув порядок, в котором исследователи задавали вопросы с несколькими вариантами ответов в ролевой игре, не оказывая существенного влияния на результаты, полученные ИИ. :

«Это означает, что, изменив порядок подсказок с «Сначала демократы» на «Сначала представители», вы увеличиваете общий уровень согласия для персонажа «Дем» по всем вопросам с 30% до 64% ​​и снижаете с 70% до 22% для представителей».

Как ранее отмечал Рангел, существует большой интерес к природе LLM и результатам, которые они дают, но все еще остаются вопросы о том, как работают эти инструменты, какие у них предубеждения и как они потенциально могут повлиять на мнения и поведение пользователей.

Коинтелеграф обратился к Нараянану за дополнительной информацией о его критике и продолжающихся дебатах по поводу предвзятости в крупных моделях изучения языка, но не получил ответа.

Журнал: `Моральная ответственность`: может ли блокчейн действительно повысить доверие к ИИ?

Источник