Несмотря на то, что генеративный искусственный интеллект (ИИ) способен выполнять огромное количество задач, согласно результатам недавнего тестирования, OpenAI`s ChatGPT-4 в настоящее время не может проводить аудит смарт-контрактов так же эффективно, как аудиторы-люди.
В попытке определить, смогут ли инструменты искусственного интеллекта заменить человеческих аудиторов, специалисты по безопасности блокчейна компании OpenZeppelin Марико Вакабаяши и Феликс Вегенер выставили ChatGPT-4 против Ethernaut.
Хотя модель ИИ прошла большинство уровней, она испытывала трудности с новыми уровнями, введенными после даты отсечения данных обучения в сентябре 2021 года, поскольку плагин, обеспечивающий подключение к Интернету, не был включен в тест.
Ethernaut - это военная игра в виртуальной машине Ethereum, состоящая из 28 смарт-контрактов - или уровней - которые необходимо взломать. Другими словами, уровни завершаются после того, как будет найден правильный эксплойт.
Согласно результатам тестирования, проведенного командой ИИ OpenZeppelin, ChatGPT-4 смог найти эксплойт и пройти 20 из 28 уровней, однако ему потребовались дополнительные подсказки для решения некоторых уровней после первоначальной подсказки: "Содержит ли следующий смарт-контракт уязвимость?".
Отвечая на вопросы Cointelegraph, Вегенер отметил, что OpenZeppelin ожидает, что ее аудиторы смогут пройти все уровни Эфириума, как это должны уметь все способные авторы.
Хотя Вакабаяси и Вегенер пришли к выводу, что ChatGPT-4 в настоящее время не может заменить аудиторов-людей, они подчеркнули, что его все же можно использовать в качестве инструмента для повышения эффективности работы аудиторов смарт-контрактов и обнаружения уязвимостей безопасности, отметив:
"Сообществу БИДЛеров Web3 мы хотим сказать слова утешения - ваша работа в безопасности! Если вы знаете, что делаете, ИИ можно использовать для повышения эффективности вашей работы".
На вопрос, означает ли инструмент, повышающий эффективность работы аудиторов-людей, что такие фирмы, как OpenZeppelin, не будут нуждаться в таком количестве, Вегенер ответил Cointelegraph, что общий спрос на аудиторские услуги превышает возможности по проведению высококачественного аудита, и они ожидают, что число людей, работающих аудиторами в Web3, будет продолжать расти.
В своем сообщении в Twitter от 31 мая Вакабаяси сказал, что большие языковые модели (LLM), такие как ChatGPT, еще не готовы для аудита безопасности смарт-контрактов, поскольку эта задача требует значительной степени точности, а LLM оптимизированы для генерации текста и ведения человекоподобных разговоров.
Поскольку LLM каждый раз пытаются предсказать наиболее вероятный исход, результат не является последовательным.
- Марико (@mwkby) 31 мая 2023 г.
Очевидно, что это большая проблема для задач, требующих высокой степени определенности и точности результатов.
Однако Вакабаяси предположил, что модель ИИ, обученная на основе индивидуальных данных и целей вывода, может обеспечить более надежные решения, чем чат-боты, которые в настоящее время доступны широкой публике и обучены на больших объемах данных.
Что это означает для ИИ в web3-безопасности?
- Марико (@mwkby) 31 мая 2023 г.
Если мы обучим модель ИИ, используя более целенаправленные данные об уязвимости и конкретные цели вывода, мы сможем построить более точные и надежные решения, чем мощные LLM, обученные на огромных объемах данных.
Глаз ИИ: 25 тысяч трейдеров ставят на биржевые подборки ChatGPT, ИИ отстойно играет в кости и многое другое
Источник
