Новый Chat GPT-4o распознает речь, видео и умеет петь

На днях Open AI представила новую мультмодальную модель GPT-4o (от omni – лат. «все»). Эта версия искусственного интеллекта будет бесплатной для всех. Доступ к GPT-4o появится в ближайшее время, но с ограничением по количеству сообщений. Об этом сообщает АПН со ссылкой на «РБК».

Разработчикам GPT-4o доступна по API. Она работает в два раза быстрее и стоит в два раза дешевле, чем GPT-4 Turbo.

Что нового появилось в этой версии Chat GPT

GPT-4o может работать с разными видами входных данных одновременно: текстом, звуком, изображением, и генерировать ответы в различных форматах. Например, человек сможет сфотографировать меню на иностранном языке и попросить GPT-4o перевести его, рассказать об истории происхождения блюда, а также получить рекомендации.

ИИ может расшифровать текст из видео и рассортировать его по спикерам.

GPT-4o понимает 50 языков и может моментально переводить с/на них. ИИ может имитировать человеческий голос, распознавать эмоции говорящего и шутить. В одной из демонстраций ChatGPT попросили воссоздать разные интонации голоса. Поэтому с ИИ можно общаться как с другом.

Также ИИ теперь можно перебивать в ходе беседы и просить исполнить песню.

GPT-4o начнут внедрять для пользователей ChatGPT тарифов Plus и Team в ближайшие недели, а скоро модель станет доступной для корпоративных пользователей. Бесплатной версии придется подождать несколько недель. Кстати, для бесплатного пользования будет расширен функционал: в частности, обновлённый чат-бот сможет искать информацию не только в своей ИИ-модели, но также в интернете; анализировать данные и создавать графики; работать с пользовательскими изображениями и файлами и так далее.

Дизайн мобильного приложения и сайта обновят, а также у ChatGPT появится приложение для macOS. Оно позволит интегрировать чат-бота в любые действия на ПК.

В OpenAI обещают, что в будущем модель сможет общаться посредством видео в реальном времени. Например, ChatGPT можно будет показать спортивную игру в прямом эфире и попросить ее объяснить правила.