GPT-4, последняя версия чат-бота искусственного интеллекта (AI), CHATGPT, может сдать экзамены в старших классах и экзамены юридических факультетов с оценками в 90-м процентиле и обладает новыми возможностями обработки, которые были невозможны с предыдущей версией.

Цифры из результатов тестов GPT-4 были разделены 14 марта своим создателем Open, показывающим, что он также может преобразовать изображения, аудио и видео вход в текст в дополнение к обработке «гораздо более нюансированных инструкций» более творчески и надежно.

«Он сдает моделируемый бар с оценкой в ​​лучших 10% тестовых участников», - добавил Openai. «Напротив, балл GPT-3,5 был около 10%».

Цифры показывают, что GPT-4 достиг 163 года в 88-м процентиле на экзамене LSAT-студенты-тестовые колледжа должны пройти в Соединенных Штатах, чтобы быть принятым в юридическую школу.

Результаты экзамена GPT-4 и GPT-3.5 на ряде недавних экзаменов в США. Источник: Openai
Результаты экзамена GPT-4 и GPT-3.5 на ряде недавних экзаменов в США. Источник: Openai

Оценка GPT4 поставит его в хорошую позицию, которая будет принята в 20 лучших юридических школ, и составляет всего на несколько отметок, о чем сообщается, необходимые для принятия престижным школам, таким как Гарвард, Стэнфорд, Принстон или Йельский университет.

Предыдущая версия CHATGPT набрала только 149 на LSAT, положив его в нижние 40%.

GPT-4 также набрал 298 из 400 на единообразном экзамене адвокатов-тест, проведенный недавно выпускными студентами-юристами, позволяющим им практиковать в качестве юриста в любой юрисдикции США.

Оценки UBE должны были быть приняты в практическую юридическую праву в каждой юрисдикции США. Источник: Национальная конференция экзаменаторов адвокатов
Оценки UBE должны были быть приняты в практическую юридическую праву в каждой юрисдикции США. Источник: Национальная конференция экзаменаторов адвокатов

Старая версия Chatgpt боролась в этом тесте, закончив в нижних 10% с оценкой 213 из 400.

Что касается основанных на фактических данных, основанном на фактических данных чтения и написания и сат-математических экзаменов, с которыми сталкиваются учащиеся средней школы США для измерения их готовности к колледжу, GPT-4 забил в 93-м и 89-м процентиле соответственно.

GPT-4 также преуспел в «жестких» науках, опубликовав значительно выше средних показателей процентиля в биологии AP (85-100%), химии (71-88%) и физики 2 (66-84%).

Результаты экзамена GPT-4 и GPT-3.5 на ряде недавних экзаменов в США. Источник: Openai.
Результаты экзамена GPT-4 и GPT-3.5 на ряде недавних экзаменов в США. Источник: Openai.

Однако его оценка AP Calculus был довольно средним, рейтинг в 43R до 59 -го процентиля.

Другая область, в которой GPT-4 не хватало, были на английских литературных экзаменах, опубликовав оценки в 8-44-м процентиле в двух отдельных тестах.

Openai сказал, что GPT-4 и GPT-3.5 сдали эти тесты с практических экзаменов 2022-2023 гг. И что «не было проведено конкретное обучение» с помощью инструментов обработки языка:

«Мы не провели конкретное обучение для этих экзаменов. Меньшинство проблем на экзаменах было замечено по модели во время обучения, но мы считаем, что результаты являются репрезентативными».

Результаты вызвали страх в сообществе Twitter.

Ник Алмонд, основатель FactoryDao, сказал своим 14 300 подписчикам в Твиттере 14 марта, что GPT4 собирается «напугать людей», и это «рухнет» глобальную систему образования.

Теория оценки была большой частью моей жизни в течение нескольких лет. Я стучал в этот день, наступающий много лет назад. Я буквально звучал как резидент в то время.

Но ... действительно это означает, что все, кроме раздраженной оценки, с этого момента.

- Drnick ️² (@drnicka) 14 марта 2023 г.

Бывший директор Coinbase, Конор Гроган, сказал, что он вставил смарт-контракт в прямом эфире в GPT-4 и мгновенно указал на несколько «уязвимостей безопасности» и рассказал, как можно использовать код:

Я бросил живой контракт Ethereum в GPT-4.

В одно мгновение он выделил ряд уязвимостей безопасности и указал на поверхностные площади, где можно было использовать контракт. Затем он проверил конкретный способ, который я мог бы использовать контрактный pic.twitter.com/its5puakuw

- Конор (@jconorgrogan) 14 марта 2023 г.

Ранее интеллектуальные аудиты контракта на CHATGPT обнаружили, что его первая версия также была способна определить ошибки кода и в разумной степени.

Роуэн Чунг, основатель информационного бюллетеня AI «The Bundown», поделился видео GPT, транскрибирующей поддельный веб -сайт, нарисованный вручную, на листе бумаги в код.

Я только что посмотрел, как GPT-4 превращает нарисованный вручную эскиз на функциональный веб-сайт.

Это безумие. pic.twitter.com/p5nsjrk7wn

- Роуэн Чунг (@rowancheung) 14 марта 2023 г.

Источник