31 мая OpenAI объявила о своих усилиях по расширению возможностей ChatGPT по решению математических задач, направленных на уменьшение количества случаев галлюцинаций искусственного интеллекта (ИИ). OpenAI подчеркнула, что уменьшение галлюцинаций является важнейшим шагом на пути к развитию согласованного ИИ.
В марте введение последней версии ChatGPT - ChatGPT-4 - еще больше продвинуло ИИ в мейнстрим. Однако генеративные чат-боты ИИ давно испытывают проблемы с точностью фактов, иногда генерируя ложную информацию, которую обычно называют "галлюцинациями". Об усилиях по уменьшению количества таких галлюцинаций ИИ было объявлено в сообщении на сайте OpenAI.
ИИ-галлюцинации - это случаи, когда системы искусственного интеллекта генерируют фактически неверные результаты, вводящие в заблуждение или не подтвержденные реальными данными. Такие галлюцинации могут проявляться в различных формах, например, генерировать ложную информацию, придумывать несуществующие события или людей или предоставлять неточные сведения об определенных темах.
OpenAI провела исследование, чтобы изучить эффективность двух типов обратной связи: "контроль результата" и "контроль процесса". Контроль результата предполагает обратную связь, основанную на конечном результате, в то время как контроль процесса обеспечивает ввод данных для каждого шага в цепочке размышлений. OpenAI оценивал эти модели с помощью математических задач, генерируя несколько решений и выбирая решение с наивысшим рейтингом в соответствии с каждой моделью обратной связи.
После тщательного анализа исследовательская группа обнаружила, что наблюдение за процессом дало более высокие результаты, поскольку оно побуждало модель придерживаться одобренного человеком процесса. В отличие от этого, контроль результатов оказался более сложным для последовательной проверки.
Компания OpenAI признала, что последствия наблюдения за процессами выходят за рамки математики, и для понимания их влияния в различных областях необходимы дальнейшие исследования. Компания выразила предположение, что если наблюдаемые результаты подтвердятся в более широком контексте, то наблюдение за процессами может предложить благоприятное сочетание производительности и согласованности по сравнению с наблюдением за результатами. Чтобы облегчить проведение исследований, компания публично опубликовала полный набор данных по супервизии процесса, приглашая к изучению и исследованию в этой области.
Хотя OpenAI не предоставила конкретных примеров, которые побудили ее исследовать галлюцинации, два недавних случая проиллюстрировали проблему в реальных сценариях.
В недавнем инциденте адвокат Стивен А. Шварц в деле Мата против авиакомпании Avianca признал, что полагался на чат-бот в качестве исследовательского ресурса. Однако информация, предоставленная ChatGPT, оказалась полностью сфабрикованной, что подчеркивает важность рассматриваемого вопроса.
OpenAIs ChatGPT - не единственный пример того, как системы искусственного интеллекта сталкиваются с галлюцинациями. ИИ компании Microsofts во время демонстрации своей технологии чат-бота в марте изучил отчеты о доходах и выдал неточные цифры для таких компаний, как Gap и Lululemon.
Журнал: 25 тысяч трейдеров ставят на биржевые ставки ChatGPT`s, искусственный интеллект отстойно играет в кости и многое другое
Источник
