一、GPT-4o 简介
北京时间 5 月 14 日，OpenAI 举行春季发布会。OpenAI 在活动中发布了新旗舰模型'GPT-4o'！据 OpenAI 首席技术官 Murtaza Murati 介绍，GPT-4o 在继承 GPT-4 强大智能的同时，进一步提升了文本、图像及语音处理能力，为用户带来更加流畅、自然的交互体验。
GPT-4o 的'o'代表'omni'，源自拉丁语'omnis'。在英语中'omni'常被用作词根，用来表示'全部'或'所有'的概念。GPT-4o 是一个多模态大模型，支持文本、音频和图像的任意组合输入，并能生成文本、音频和图像的任意组合输出。与现有模型相比，它在视觉和音频理解方面尤其出色。
二、GPT-4o 的性能
GPT-4o 可以在音频、视觉和文本中进行实时推理，接受文本、音频和图像的任何组合作为输入，并生成文本、音频和图像的任何组合进行输出。它可以最短在 232 毫秒内响应音频输入，平均为 320 毫秒，这与人类在对话中的响应时间相似。
文本能力
GPT-4o 在 0 次 COT（Chain of Thought）MMLU（常识问题）上创下了 88.7% 的新高分。此外，在传统的 5 次无 CoT MMLU 上，GPT-4o 创下了 87.2% 的新高。
音频能力
GPT-4o 在语音翻译方面创下了新的领先地位，并在 MLS 基准测试中优于 Whisper-v3。
各种语言的考试能力
M3Exam 基准测试既是多语言评估，也是视觉评估，由来自其他国家标准化考试的多项选择题组成，有时包括数字和图表。GPT-4o 在所有语言的基准测试中都比 GPT-4 强。（我们省略了斯瓦希里语和爪哇语的视力结果，因为这些语言只有 5 个或更少的视力问题。）
视觉理解
GPT-4o 在视觉感知基准测试中实现了最先进的性能。全面碾压之前的模型。所有视觉评估均为 0 次，其中 MMMU、MathVista 和 ChartQA 为 0 次 CoT。
语音交互
GPT-4o 在语音交互方面取得了重大进展。它采用了先进技术，显著提高了响应速度，使得对话更加流畅自然。在最近的发布会上，OpenAI 展示了 GPT-4o 在语音对话中的表现，它能够几乎实时地回答问题，并通过文本转语音技术进行朗读，提供了一种沉浸式的交流体验。此外，GPT-4o 还可以调整说话的语气，从夸张戏剧到冰冷机械，以适应不同的交流场景。令人兴奋的是，GPT-4o 还具备唱歌的功能，增添了更多的趣味性和娱乐性。
