ChatGPT теперь может говорить, слушать и видеть изображения

Сфера генеративного искусственного интеллекта (ИИ) продолжает развиваться: компания OpenAI представила модель GPT-4V, поддерживающую зрение, и мультимодальные режимы общения для своей системы ChatGPT.

Благодаря новым обновлениям, о которых было объявлено 25 сентября, пользователи ChatGPT смогут вступать в диалог с ChatGPT. Модели, на базе которых работает ChatGPT, GPT-3.5 и GPT-4, теперь могут понимать устные запросы и отвечать на них одним из пяти различных голосов.

Теперь ChatGPT может видеть, слышать и говорить. В течение следующих двух недель пользователи Plus смогут вести голосовые разговоры с ChatGPT (iOS и Android) и включать в разговоры изображения (все платформы). https://t.co/uNZjgbR5Bm pic.Twitter.com/paG0hMshXb

- OpenAI (@OpenAI) 25 сентября 2023 г.

Как сообщается в блоге OpenAI, новый мультимодальный интерфейс позволит пользователям взаимодействовать с ChatGPT новыми способами:

"Сфотографируйте какую-нибудь достопримечательность во время путешествия и поговорите с ней в прямом эфире о том, что в ней интересного. Когда вы окажетесь дома, сфотографируйте свой холодильник и кладовую, чтобы понять, что будет на ужин (и задать последующие вопросы, чтобы узнать пошаговый рецепт). После ужина помогите ребенку решить математическую задачу: сделайте фотографию, обведите ее кружком и попросите его поделиться подсказками с вами обоими".

Обновленная версия ChatGPT будет доступна для пользователей Plus и Enterprise на мобильных платформах в течение ближайших двух недель, а доступ для разработчиков и других пользователей - "вскоре после этого".

Мультимодальное обновление ChatGPT произошло сразу после запуска DALL-E 3, самой совершенной системы генерации изображений OpenAI.

По данным OpenAI, в DALL-E 3 также интегрирована обработка естественного языка. Это позволяет пользователям общаться с моделью для точной настройки результатов, а также интегрировать ChatGPT для помощи в создании подсказок к изображениям.

Из других новостей в области ИИ: 25 сентября конкурент OpenAI компания Anthropic объявила о партнерстве с Amazon. Как сообщает Cointelegraph, Amazon инвестирует до 4 млрд. долл. в облачные сервисы и доступ к оборудованию. Взамен Anthropic заявила, что обеспечит расширенную поддержку базовой модели ИИ Amazon Bedrock, а также "безопасную настройку модели и тонкую настройку для предприятий".