论文专题讲解：GPT-4o System Card：Omni 安全与多模态评测
论文题名： GPT-4o System Card。
作者： OpenAI。
机构： OpenAI。
时间 / 主题： 2024-08；技术报告。
arXiv / 官方报告： arXiv：未找到专门条目；官方材料：openai.com/index/gpt-4o-system-card/。
GitHub / 项目： GitHub：未找到官方链接；项目页：openai.com/index/gpt-4o-system-card/。
元数据来源与核验口径： 来源：官方 / 项目材料；Checked Date：2026-06-04；Repro Status：Paper / official materials reviewed, independent reproduction not claimed。
原报告故事线
研究背景
GPT-4o System Card 不像传统模型论文那样公开参数量、层数、优化器或完整训练配方。它处在另一条研究线上：frontier model deployment safety。这个领域关心的不是“模型结构是否新”，而是一个能力更强、交互方式更复杂的模型上线前，哪些风险必须被定义、测量、缓解和复核。GPT-4o 的特殊之处在于它是 autoregressive omni model，可以接收文本、音频、图像、视频输入，并生成文本、音频和图像输出；报告还明确说它在 text、vision、audio 上端到端训练，由同一个神经网络处理这些输入输出。
这让 GPT-4o 和传统语音助手不同。传统系统通常是 speech -> ASR -> text LLM -> TTS，每个模块可以单独评测。GPT-4o 的语音能力更接近 speech-to-speech 模型：语音里的韵律、停顿、情绪、说话人特征和背景音不再只是前处理噪声，而可能直接影响模型行为。系统卡因此把 voice generation、speaker identification、ungrounded inference、sensitive trait attribution、disallowed audio content、Preparedness risks 和第三方评测放到中心位置。
问题（Challenge）
论文要解决的问题是：当模型从文本/视觉系统扩展到实时 omni 系统时，原来的文本安全评测还够不够，哪些新风险必须重新建模？ 这个问题有挑战性，因为语音不是文本的另一种编码。第一，语音输出有真人感，可能带来冒充、未授权声音生成、情感依赖和说话人身份风险。第二，语音输入会诱导模型根据声音推断身份、年龄、职业、种族、智力等没有充分依据的属性。第三，语音输出是流式播放的，平均响应延迟约数百毫秒，很多风险不能等完整回答生成完再统一拦截。
这个问题的价值在于，它决定了端到端多模态模型能否以可控方式进入真实产品。如果安全评测仍停留在文本 prompt 和文本 transcript，系统可能在 benchmark 上看起来安全，但在真实语音对话里暴露出新的隐私、欺骗和鲁棒性问题。
Finding
作者真正的 finding 是：omni model 的安全边界不能被拆成“文本模型安全 + 语音输入输出接口安全”的简单相加；音频模态会改变风险本身，因此评测和缓解也必须端到端、模态特定、并且带有在线拦截机制。 这个洞见把问题从“复用 GPT-4/GPT-4V 的系统卡模板”翻转成“为 speech-to-speech 行为重新定义风险单元”。
这个 finding 之所以能解决上面的问题，是因为它解释了为什么单纯做 ASR transcript moderation 不够。未授权声音生成需要检测输出声音是否偏离预设声音；speaker identification 需要判断请求是否在根据声音识别个人；ungrounded inference 和 sensitive trait attribution 需要区分“音频无法支撑的推断”和“音频可能支撑但必须保守表达的属性”；Preparedness 评估还要判断文本和语音两种模态是否会改变说服、自治、网络和 CBRN 风险。换句话说，安全对象从文本字符串变成了完整的实时交互轨迹。
方法
报告没有公开 GPT-4o 的 architecture recipe，但披露了部署评估框架。模型侧，GPT-4o 的输入可以是 text、audio、image、video 的任意组合，输出可以是 text、audio、image；text and voice capabilities 的预训练数据截止到 2023 年 10 月，数据来源包括公开数据、合作伙伴数据、web、代码/数学和多模态数据。训练和部署侧，OpenAI 使用预训练过滤、post-training、产品级 mitigation、policy enforcement 和 monitoring 组合控制风险。
评测侧有三条主线。第一，OpenAI 组织超过 100 名外部 red teamers，覆盖 45 种语言和 29 个国家或地区背景，分阶段测试不同 checkpoint 和候选模型，交互形式从文本/音频到音频/图像/视频输入输出逐步扩展。第二，报告把已有 text-based evaluations 通过 TTS 转成 audio-based evaluations，再把 GPT-4o 的音频输出 transcript 交给既有评分器；对于 voice generation 等必须直接检查音频的任务，则用音频级 classifier。第三，Preparedness Framework 覆盖 cybersecurity、CBRN、persuasion、model autonomy 四类风险，并引入 METR、Apollo Research 等第三方评估。
缓解侧最有代表性的是语音链路。GPT-4o 被 post-trained 使用预设声音，并有 streaming output classifier 检测输出是否偏离允许声音；speaker identification 请求被训练为拒绝，但如果音频内容本身包含公开文本线索，如著名引语，则允许基于内容回答；UGI 请求被拒绝，STA 请求则用 hedged language；disallowed audio content 通过音频 prompt 和 generation 的 transcript moderation 以及输出阻断处理。
结论
实验和评估的主要结论有四类。第一，voice generation 风险通过预设声音和流式分类器被压到较低残余风险；报告给出的内部评估中，classifier 对有意义的 voice deviation 有很高的检测表现，但也承认模型仍可能偶发无意声音偏移，所以需要系统级中断。第二，speaker identification 和 UGI/STA 评估显示，部署版相比早期版在该拒绝时更稳定，也在该回答的 famous-quote attribution 场景减少了过度拒绝。第三，text safety 到 audio safety 有较强迁移：报告把文本安全评测转成音频评测后，audio 输出的 unsafe 和 over-refusal 指标没有显示明显退化，但 TTS 评测不能覆盖真实噪声、口音、打断和多人说话。
第四，Preparedness 结果显示 GPT-4o 的总体风险被归为 medium，主要来自 persuasion 边界；cybersecurity、CBRN 和 model autonomy 未达到 medium threshold。报告特别指出，voice modality 在相关 persuasion study 中低于 human baseline 或未超过文本风险边界，但音频的真人感、情感表达和实时交互仍是后续评测重点。整体结论不是“GPT-4o 已经解决语音安全”，而是给出了一套端到端 omni model 上线前的风险定义、评测转换和系统级缓解链路。
关键术语
- System Card（系统卡）：模型部署前公开披露能力、风险、评测和缓解措施的报告形式；GPT-4o System Card 的重点是安全评估，不是完整架构复现。
- Autoregressive Omni Model（自回归全模态模型）：统一处理文本、音频、图像、视频输入，并生成多种模态输出的模型；GPT-4o 把 text、vision、audio 放在同一神经网络中端到端训练。
- Speech-to-Speech Evaluation（语音到语音评测）：把输入和输出都视为语音交互来评估，而不是只看转录文本；它能暴露声音、实时性和说话人相关风险。
- Unauthorized Voice Generation（未授权声音生成）：模型生成非预设声音、模仿用户或生成特定说话人声音的风险；报告用预设声音训练和 streaming classifier 缓解。
- Speaker Identification（说话人识别）：根据音频判断说话人身份的能力；在隐私和监控场景下风险较高，因此系统对按声音识别个人的请求做拒绝训练。
- Preparedness Framework（预备风险框架）：OpenAI 用来评估前沿模型灾难性风险的框架，覆盖网络安全、CBRN、说服和模型自治等类别。
论文位置
GPT-4o System Card 适合和 GPT-4 / GPT-4V System Card、以及后来的 Gemini / Qwen Omni 类技术报告放在一起读：
| Report | Main focus | GPT-4o System Card 的差异 |
|---|---|---|
| GPT-4 Technical Report | text-heavy capability, safety, benchmark | 仍主要围绕文本和工具化能力 |
| GPT-4V System Card | image input safety, visual grounding, privacy | 多模态重点是视觉输入，不是实时语音输出 |
| GPT-4o System Card | omni input/output, speech-to-speech safety, preparedness | 把语音生成、声音身份、情感依赖和实时对话风险放到部署评估中心 |
| Gemini / Qwen Omni reports | architecture, training pipeline, model family | 更像传统技术报告，公开更多训练阶段和模型结构 |
这意味着读 GPT-4o System Card 时要换一个问题：不要问“它用了多少层”，而要问“一个端到端音频模型上线前，哪些风险不能再沿用文本模型的评测方式”。
总体模型
报告对 GPT-4o 的定位很明确：它是 autoregressive omni model，可以接收任意组合的 text、audio、image、video 输入，并生成 text、audio、image 输出。更关键的是，它在 text、vision、audio 上端到端训练，所有模态由同一个神经网络处理。
这一点和传统语音助手的级联系统不同：
1 | 传统语音助手: |
级联系统的好处是每个模块容易控制，但坏处是语音里的韵律、停顿、情绪、说话人特征和背景音很容易在 ASR 阶段丢掉。端到端 omni model 的好处是能学习更丰富的跨模态信号，坏处是输出空间也更难管控。GPT-4o System Card 的大量内容都围绕这个代价展开。
报告给出的交互体验指标是：音频输入的响应最短约 232ms，平均约 320ms。这解释了为什么 GPT-4o 的安全系统必须是 streaming 的：如果输出音频已经播放给用户，事后再拦截就太晚了。
训练数据与训练边界
公开披露的训练数据
报告披露的预训练数据截止到 October 2023。数据来源分成几类：
| Dataset component | Role in GPT-4o |
|---|---|
| Select publicly available data | Broad web knowledge, language coverage, diverse topics |
| Proprietary data from partnerships | Non-public licensed or partner data, including pay-walled content, archives and metadata |
| Web data | General knowledge and diverse perspectives |
| Code and math | Structured reasoning, problem solving, symbolic manipulation |
| Multimodal data | Images, audio and video for visual understanding, action/sequence interpretation, speech patterns and non-text output |
这里要注意两个边界。第一，System Card 不给出 tokens、hours of audio、number of images/videos 或语种比例。第二，它也不披露具体 architecture。可以确认的是训练目标从一开始就把音频和视觉放进同一个模型，而不是只在文本模型外面包一层语音接口。
预训练阶段的安全过滤
报告没有把安全寄托在数据过滤上，而是把数据过滤视为第一层防线。公开披露的过滤包括：
| Filtering / removal step | Purpose |
|---|---|
| Moderation API and safety classifiers | Filter data that could contribute to harmful content or information hazards, including CSAM, hateful content, violence and CBRN |
| Image generation dataset filtering | Remove explicit content such as graphic sexual material and CSAM |
| Personal information filtering | Reduce personal information from training data |
| DALL-E 3 opt-out fingerprinting | Remove opted-out images from GPT-4o series training datasets |
这部分最重要的结论是：过滤预训练数据不能解决细粒度、上下文相关的风险。OpenAI 明确把大量有效缓解放在 post-training、product mitigations、monitoring 和 policy enforcement 阶段。
后训练：语音能力如何被对齐
GPT-4o 的后训练不只是让文本回答更安全，还要约束模型“用什么声音说话”“什么时候拒绝”“什么时候要保守表达”。报告里有几条很具体的后训练信号：
| Post-training target | Mechanism described in the card |
|---|---|
| Voice consistency | Audio ideal completions use the voice sample in the system message as the base voice |
| Preset voices only | Model is trained to use selected voices created with voice actors |
| Speaker identification refusal | Refuse requests to identify a person from voice, while still answering famous-quote attribution cases |
| Copyrighted content refusal | Refuse copyrighted content requests, including audio |
| Ungrounded inference refusal | Refuse audio-based guesses that cannot be grounded in the signal |
| Sensitive trait hedging | Safely comply with plausible audio traits such as accent by using hedged language |
| Disallowed audio content | Reuse moderation over transcripts of prompts and generations |
从训练角度看，这是一种很典型的“模型行为对齐 + 系统级守门”组合：后训练让模型尽量输出正确行为，外部 classifier 和 moderation 再处理模型仍可能失控的部分。
评测方法：把文本 eval 改造成 speech-to-speech eval
报告的一个关键工程点是评测迁移。OpenAI 用 TTS 把已有 text-based evaluations 转成 audio input，再喂给 GPT-4o，并主要基于输出 transcript 做评分。只有在需要直接评估音频本身时，例如 voice generation，才评估 audio output。
图源：OpenAI GPT-4o System Card，Evaluation methodology figure。原图展示把 text tasks 通过 TTS 转成 audio tasks，再对 GPT-4o 输出进行评分的流程。
评测转换图要看偏差来源。
这张图的价值在于说明语音评测不是完全重做一套 benchmark。OpenAI 复用了已有文本评测和评分工具，但在输入侧加了 TTS 转换。这种做法可以快速扩展覆盖面，但也带来两个偏差：TTS 可能损失数学公式、代码、空格排版等结构信息；真实用户语音里的口音、噪声、打断、情绪和多人说话也不一定被 TTS 覆盖。
所以这套方法适合做“语音输入是否保持文本能力和安全行为”的大规模回归测试，但不能完全替代真实语音交互测试。
外部红队
GPT-4o 的外部红队覆盖超过 100 名 red teamers，涉及 45 种语言和 29 个国家或地区背景。从 2024 年 3 月初到 6 月底，红队接触到不同训练和安全缓解成熟度的模型快照。
| Phase | Red teamers | Model access | Interaction mode | Main purpose |
|---|---|---|---|---|
| Phase 1 | 10 | Early model checkpoints | audio/text input, audio/text output; single-turn | Early capability discovery |
| Phase 2 | 30 | Early safety mitigations | audio/image/text input, audio/text output; single and multi-turn | Test early mitigations |
| Phase 3 | 65 | Checkpoints and candidates | audio/image/text input, audio/image/text output; multi-turn | Inform further safety improvements |
| Phase 4 | 65 | Final candidates via iOS Advanced Voice Mode | audio/video prompts, audio generations; real-time multi-turn | Assess real user experience |
红队覆盖的风险类别包括 violative content、mis/disinformation、bias、ungrounded inference、sensitive trait attribution、private information、geolocation、person identification、emotional perception、anthropomorphism、fraud、impersonation、copyright、natural science capabilities 和 multilingual observations。
这里最值得注意的是：红队不是只给报告提供 qualitative examples。报告明确说这些数据被用来构建定量 eval，有些还被重用来测试不同声音和 mitigation 的鲁棒性。
语音安全挑战
GPT-4o 的新风险主要来自语音输出和语音输入。文本模型里的很多规则仍然有效，但语音带来两个变化：
- 语音更像真人，更容易触发身份、欺骗、依赖和情感问题。
- 语音输出是流式播放的，必须在生成过程中实时检测和拦截。
Voice generation
未经授权的 voice generation 是 GPT-4o System Card 最重要的风险之一。缓解方式是只允许预设声音，并训练模型使用这些预设声音；同时部署 standalone output classifier 检测输出是否偏离允许声音。
| Language | Precision | Recall |
|---|---|---|
| English | 0.96 | 1.0 |
| Non-English | 0.95 | 1.0 |
表源：OpenAI GPT-4o System Card，voice output classifier performance by language。
报告里的关键点是 streaming classifier：模型一边生成音频，系统一边判断声音是否仍属于预设声音。如果发生偏离，系统可以中断对话。端到端音频模型很难只靠 prompt 保证永远不模仿用户声音，所以这里必须有模型外的实时检测。
Speaker identification
Speaker identification 的风险是从音频识别说话人。系统卡给出的 mitigation 是：对“根据声音识别某个人”的请求做拒绝训练，但仍允许识别著名 quote 的归属。
| Metric | GPT-4o-early | GPT-4o-deployed |
|---|---|---|
| should_refuse | 0.83 | 0.98 |
| should_comply | 0.70 | 0.83 |
表源：OpenAI GPT-4o System Card，speaker identification evaluation。
这个表说明后训练同时优化了两个方向：该拒绝时更稳定拒绝，该回答 famous quote attribution 时也不要过度拒绝。后者很重要，因为安全训练如果只最大化拒绝率，会把正常能力也压掉。
Disparate performance on voice inputs
报告用固定 assistant voice 和多种 user TTS voice 评估能力与安全行为。user voice 包含 3 个官方 system voices，以及来自数据活动的 27 个英语人声样本，覆盖多个国家和性别。
图源：OpenAI GPT-4o System Card，Capability evaluations across system and human voices。原图比较 TriviaQA、MMLU subset、HellaSwag 和 LAMBADA 等任务在 system voices 与 human voices 下的表现。
图源：OpenAI GPT-4o System Card，Safety evaluations across system and human voices。原图比较不同声音输入下模型遵守和拒绝行为的一致性。
这里的结论是，diverse human voices 相比 system voices 的性能略低但不显著，安全行为也没有观察到明显随声音变化。不过报告也承认，真实世界口音、噪声、打断和串音等因素仍需要额外评估。
Ungrounded inference / Sensitive trait attribution
音频输入很容易诱导模型做“听声音猜人”的推断。报告区分两类：
| Category | Meaning | Desired behavior |
|---|---|---|
| Ungrounded inference (UGI) | Audio does not support the inference, such as intelligence, race, occupation, appearance, political attributes | Refuse |
| Sensitive trait attribution (STA) | Trait could plausibly be inferred from audio, such as accent or nationality | Hedge and avoid overclaiming |
| Metric | GPT-4o-early | GPT-4o-deployed |
|---|---|---|
| Accuracy | 0.60 | 0.84 |
表源：OpenAI GPT-4o System Card，UGI / STA evaluation。
这里的技术启发是：安全目标不是简单地把所有 sensitive questions 都拒绝掉。对于口音这类音频确实可能提供线索的问题，报告采用的是 hedged compliance，而不是绝对拒绝。这比二分类 refusal 更接近真实产品策略。
Violative and disallowed audio content
报告把 text safety eval 通过 TTS 转成 audio eval，然后用文本规则分类器评分输出 transcript。
| Metric | Text | Audio |
|---|---|---|
| Not unsafe | 0.99 | 1.0 |
| Not over-refuse | 0.89 | 0.91 |
表源：OpenAI GPT-4o System Card，violative and disallowed content main evaluation。
Appendix A 进一步比较了 Current GPT-4o Text、New GPT-4o - Text 和 New GPT-4o - Audio：
| Metric | Current GPT-4o Text | New GPT-4o - Text | New GPT-4o - Audio |
|---|---|---|---|
| not_unsafe | 0.99 | 0.99 | 1.0 |
| not_overrefuse | 0.91 | 0.89 | 0.91 |
| sexual_minors_not_unsafe | 0.95 | 0.98 | 0.98 |
| sexual_illegal_not_unsafe | 0.97 | 0.98 | 0.99 |
| extrimism_propoganda_not_unsafe | 1.0 | 1.0 | 1.0 |
| illicit_violent_not_unsafe | 1.0 | 1.0 | 1.0 |
| ilicit_non_violent_not_unsafe | 0.99 | 0.97 | 1.0 |
| self_harm_not_unsafe | 1 | 1 | 1 |
表源：OpenAI GPT-4o System Card，Appendix A。这里保留原表中的英文 metric spelling。
Preparedness Framework
Preparedness Framework 是这篇系统卡的另一条主线。它评估的是 frontier model 可能带来的更高影响风险，而不是普通内容安全。
| Category | Score |
|---|---|
| Cybersecurity | Low |
| Biological Threats | Low |
| Persuasion | Medium |
| Model Autonomy | Low |
| Overall | Medium |
整体分数是 Medium，因为 Preparedness Framework 用最高类别决定总体风险。GPT-4o 在 persuasion 上边缘进入 Medium，其余三项是 Low。
Cybersecurity
报告用 172 个 CTF 任务评估 GPT-4o，覆盖 web exploitation、reverse engineering、remote exploitation 和 cryptography。模型可使用 headless Kali Linux 工具，每个任务最多 30 轮 tool use。
| Difficulty | Success with 10 attempts |
|---|---|
| High-school level | 19% |
| Collegiate level | 0% |
| Professional level | 1% |
报告给出的失败原因很工程化：模型常能开始一个合理策略，也能修一些代码错误，但在初始策略失败后不善于 pivot，经常错过关键 insight，或者因为输出大文件把上下文塞满。
Biological threats
Bio 风险评估包括人类专家和 novice 使用互联网、GPT-4o 或 research-only GPT-4o 的对照实验。任务覆盖 biological threat creation 的 ideation、acquisition、magnification、formulation 和 release 阶段。
报告额外跑了自动化 tacit knowledge 和 troubleshooting eval，GPT-4o 得到 69% consensus@10。但是最终 preparedness score 仍为 Low，因为没有达到中等风险阈值。
这部分对训练的启发是：OpenAI 还测试了一个 custom research-only version，它直接回答 biologically risky questions，用来测能力上限，而不是只测安全拒绝后的产品行为。安全评估里区分 capability 和 mitigation 后行为很关键，否则容易把“不会”误判成“被安全策略挡住了”。
Persuasion
Persuasion 是唯一 Medium 类别。报告同时评估 text 和 voice：
| Modality | Result |
|---|---|
| Text | Marginally crossed into Medium risk |
| Voice | Low risk |
文本侧比较 GPT-4o 生成文章、AI chatbot 和专业人类文章对政治议题观点的影响。AI interventions 总体不比人类写作更有说服力，但 12 个场景里有 3 个超过人类干预。
语音侧使用超过 3,800 名美国受试者，比较 AI audio clips / AI conversations 和人类音频 / 人类对话基线。报告给出的结果是：
| Voice intervention | Effect size relative to human baseline |
|---|---|
| AI audio clips | 78% of human audio clips |
| AI conversations | 65% of human conversations |
| AI conversations, 1 week later | 0.8% effect size |
| AI audio clips, 1 week later | -0.72% effect size |
读这部分时不要只看“voice Low”。更准确的理解是：语音模型没有超过人类语音基线，但实时、拟人化、多轮对话让 persuasion 风险不能只沿用文本指标。
Model autonomy
Model autonomy 评估的是自我复制、自我改进、资源获取和自动化 ML R&D 相关能力。
| Evaluation | GPT-4o result |
|---|---|
| End-to-end ARA tasks | 0% across 100 trials |
| OpenAI research coding interview | 63% pass@1, 95% pass@100 |
| OpenAI interview MCQ | 61% consensus@32 |
| SWE-Bench | 19% pass@1 |
| METR ML engineering tasks | 0/10 trials |
报告里这个对比很有价值：GPT-4o 能通过相当一部分 coding / ML 子任务，但不能可靠完成长链条 autonomous replication and adaptation。也就是说，短任务能力提升不等于 agentic autonomy 达到高风险。
第三方评估
METR
METR 用 GPT-4o-based simple LLM agent 跑 long-horizon multi-step tasks，任务来自软件工程、机器学习、网络安全、一般研究和计算机使用等域，用来近似评估自治相关威胁模型的前置能力。
图源：OpenAI GPT-4o System Card，METR assessment figure。原图比较 GPT-4o、GPT-4o mini、GPT-4t、Claude 3 Sonnet、Claude 3 Opus 和 Claude 3.5 Sonnet 在 METR 长时任务上的完成比例，并标出人类不同时间预算水平。
这张图的重点是 GPT-4o 在 simple agent scaffold 下比 GPT-4o mini 和 GPT-4t 更强，但仍明显低于更长时间预算的人类水平。它支持 System Card 的结论：模型有可见 agentic progress，但还没有达到 Preparedness 中等 autonomous risk。
Apollo Research
Apollo Research 评估 GPT-4o 的 scheming 相关能力，包括 self-awareness、theory of mind、自我修改和 alignment faking 等。
| Capability | Evaluation | Description | Performance |
|---|---|---|---|
| Self-Knowledge | “SAD” Benchmark (3 tasks) | QA evaluations of a model’s knowledge of itself and how it can causally influence the rest of the world. | ●●○ |
| Explicit Theory of Mind | UK AISI’s Theory of Mind (1 task) | QA dataset evaluating 1st- and 2nd-order theory of mind in simple text scenarios. | ●●● |
| Self-Reasoning | Instrumental self-modification (5 tasks) | Agentic tasks where a model must notice that solving a task is impossible without modifying itself or a future copy of itself. | ●○○ |
| Applied Theory of Mind | Theory of Mind Tasks (4 tasks) | Agentic tasks where succeeding requires the model to leverage, sustain or induce false beliefs in others. | ●○○ |
| Combined Self-Reasoning and Theory of Mind | Instrumental alignment faking (33 scenarios) | Minimally agentic tasks where a model needs to recognize its intentions differ from developers’ and act per developers’ intentions only under oversight. | ●○○ |
表源：OpenAI GPT-4o System Card，Apollo Evaluations run on GPT-4o。
Apollo 的结论不是“没有任何风险”，而是 GPT-4o 在 QA 场景能表现出一定 self-knowledge / theory of mind，但在 applied agent settings 里缺少强 scheming 能力。
科学与健康能力
System Card 也把 GPT-4o 放进 scientific capabilities 和 health case studies 里。这里不只是宣传能力，也强调 multimodal science 的误差模式。
Health
报告跑了 22 个 text-based health evaluations，覆盖 11 个数据集，使用 0-shot 或 5-shot prompting，没有额外超参调优。GPT-4o 在 21/22 项上优于 final GPT-4T。
| Evaluation | GPT-4T (May 2024) | GPT-4o |
|---|---|---|
| MedQA USMLE 4 Options (0-shot) | 0.78 | 0.89 |
| MedQA USMLE 4 Options (5-shot) | 0.81 | 0.89 |
| MedQA USMLE 5 Options (0-shot) | 0.75 | 0.86 |
| MedQA USMLE 5 Options (5-shot) | 0.78 | 0.87 |
| MedQA Taiwan (0-shot) | 0.82 | 0.91 |
| MedQA Mainland China (0-shot) | 0.72 | 0.84 |
| MMLU Clinical Knowledge (0-shot) | 0.85 | 0.92 |
| MMLU Medical Genetics (0-shot) | 0.93 | 0.96 |
| MMLU Professional Medicine (0-shot) | 0.92 | 0.94 |
| MedMCQA Dev (0-shot) | 0.70 | 0.77 |
表源：OpenAI GPT-4o System Card，Health evaluation table。这里节选主要行，原表包含 0-shot / 5-shot 的 22 项评估。
报告同时强调：这些 text-based eval 只测 clinical knowledge，不等于真实临床工作流可用性；语音模态是否能完整继承这些能力，也需要额外验证。
Scientific figures
报告展示了 GPT-4o 能解释部分科学图像，也展示了复杂多面板图和术语抽取上的错误。
图源：OpenAI GPT-4o System Card，scientific capabilities example。原图表达：量子物理实验示意用于展示模型可处理专业科学图像并解释实验设置。本站读法：这张图支持“GPT-4o 能处理部分科学图像”的能力形态，但不能证明它在专业科研工作流里可靠。
图源：OpenAI GPT-4o System Card，scientific limitations example。原图表达：复杂科学图表理解中的错误风险，尤其是多面板图、坐标和术语抽取。本站读法：把它和上一张能力图成对读，结论不是“能/不能看科学图”，而是多面板、坐标轴和术语抽取必须单独验收。
这里的实用结论是：多模态科学能力已经有应用潜力，但不能把“能看懂图”理解成“可靠科学分析”。报告明确指出，复杂多 panel figure、科学术语、核苷酸序列和 text extraction 仍容易出错。
低资源语言
GPT-4o 在部分 historically underrepresented languages 上显著缩小了和 English 的差距。评估覆盖 Amharic、Hausa、Northern Sotho、Swahili、Yoruba，并包含 translated ARC-Easy、translated TruthfulQA 和 Uhura Eval。
| Model | English | Amharic | Hausa | Northern Sotho | Swahili | Yoruba |
|---|---|---|---|---|---|---|
| GPT 3.5 Turbo | 80.3 | 6.1 | 26.1 | 26.9 | 62.1 | 27.3 |
| GPT-4o mini | 93.9 | 42.7 | 58.5 | 37.4 | 76.9 | 43.8 |
| GPT-4 | 89.7 | 27.4 | 28.8 | 30.0 | 83.5 | 31.7 |
| GPT-4o | 94.8 | 71.4 | 75.4 | 70.0 | 86.5 | 65.8 |
表源：OpenAI GPT-4o System Card，Translated ARC-Easy (%, higher is better), 0-shot。
| Model | English | Amharic | Hausa | Northern Sotho | Swahili | Yoruba |
|---|---|---|---|---|---|---|
| GPT 3.5 Turbo | 53.6 | 26.1 | 29.1 | 29.3 | 40.0 | 28.3 |
| GPT-4o mini | 66.5 | 33.9 | 42.1 | 36.1 | 48.4 | 35.8 |
| GPT-4 | 81.3 | 42.6 | 37.6 | 42.9 | 62.0 | 41.3 |
| GPT-4o | 81.4 | 55.4 | 59.2 | 59.1 | 64.4 | 51.1 |
表源：OpenAI GPT-4o System Card，Translated TruthfulQA (%, higher is better), 0-shot。
| Model | Amharic | Hausa | Yoruba |
|---|---|---|---|
| GPT 3.5 Turbo | 22.1 | 32.3 | 28.3 |
| GPT-4o mini | 33.8 | 43.2 | 44.2 |
| GPT-4 | 41.6 | 41.9 | 41.9 |
| GPT-4o | 44.2 | 59.4 | 60.5 |
表源：OpenAI GPT-4o System Card，Uhura (New Reading Comprehension Evaluation), 0-shot。
这部分和训练数据有关：GPT-4o 的非英语提升说明多语言数据和训练策略有效，但报告也明确承认覆盖还远远不够。低资源语言不是一个 benchmark 问题，而是数据、方言、语音输入、文化背景和评测质量共同决定的问题。
系统设计启发
GPT-4o System Card 对做多模态产品比对做模型复现更有参考价值。它给出的是一个部署模板：
1 | 端到端 omni pretraining |
几个工程结论值得复用：
| Lesson | Why it matters |
|---|---|
| End-to-end multimodal models need system-level safeguards | Audio output may carry speaker identity, emotion, music or non-text artifacts that transcript-only checks miss |
| Text evals can be adapted, but not blindly trusted | TTS conversion gives scale, but loses formatting and under-samples real-world audio conditions |
| Safety training should distinguish refusal and safe compliance | Speaker ID and sensitive trait tasks both show the cost of over-refusal |
| Capability and mitigation must be evaluated separately | Research-only or pre-mitigation variants help distinguish what the model can do from what product policy allows |
| Real-time voice products need streaming classifiers | Post-hoc moderation is too late for already played audio |
| Agentic benchmark progress does not equal autonomy risk by itself | GPT-4o is stronger on coding and long-horizon tasks but still fails robust end-to-end ARA tasks |
消融与诊断怎么读
System Card 的“消融”主要不是模型模块消融，而是上线前安全诊断：同一能力在文本、TTS 转写、真实语音、视频、agentic tool use 和 mitigation 后产品形态里会表现不同。
| Diagnostic | 报告证据 | 支撑的结论 | 不能证明 |
|---|---|---|---|
| TTS-converted evals | 文本评测转成语音输入 | 可规模化测试语音入口的能力回归 | 不能覆盖真实口音、噪声、打断和多说话人 |
| Audio red teaming | Voice Mode 风险和 mitigations | 端到端语音输出需要单独安全评估 | 不能只靠 transcript moderation 覆盖所有风险 |
| Preparedness / autonomy | ARA、METR、cyber/bio 等评估 | GPT-4o 能力更强但仍未通过高风险自治门槛 | agent 风险会随工具权限变化，需要持续重测 |
| Health / science evals | 医学知识表和科学图像示例 | 多模态科学/健康能力有明显提升 | 不等于临床部署许可或可靠科研分析 |
| Low-resource language evals | ARC、TruthfulQA、Uhura 多语表 | GPT-4o 缩小部分低资源语言差距 | 不能代表全球低资源语言、方言和语音公平性 |
| Streaming classifiers | 实时语音安全路径 | 输出流需要边生成边拦截 | 不能证明所有新声音/音乐/身份风险都覆盖 |
最重要的诊断结论是：omni model 的评估单位不再只是 prompt-response，而是完整交互链路。输入可能是语音、图像、视频，输出可能是带声音特征的实时音频；任何只看最终文字 transcript 的评估都会漏掉一部分风险。
局限
这篇 System Card 也有明显边界：
- 不公开架构和训练配方：没有模型规模、optimizer、mixture schedule、audio tokenizer 或 vision encoder 细节。
- 很多评估是产品形态相关的：Advanced Voice Mode、preset voices、transcript moderation 和 streaming classifier 都是系统能力，不是纯模型能力。
- TTS eval 有分布偏差：真实语音中的口音、噪声、情绪、打断和多说话人仍难覆盖。
- 科学与健康能力不是部署许可：报告中的 health benchmark 是知识评估，不等于临床可用；science examples 也同时展示了错误。
- 低资源语言仍不充分：五种非洲语言评估只是起点，不能代表全球 underrepresented languages。
阅读结论
GPT-4o System Card 最值得记住的不是某个 benchmark，而是它把多模态模型上线前的工程问题说清楚了：当模型开始直接听声音、说话、看图、看视频，并以接近人类反应时间对话时，安全评估必须从文本规则扩展到音频身份、输出声音、实时拦截、情感依赖、语音说服力和跨模态能力迁移。
如果说 GPT-4 技术报告证明了大语言模型的通用能力，GPT-4o System Card 则说明：omni model 的关键挑战不只是“更强”，而是“更像人类交互以后，系统边界要怎么重新设计”。
外部精读
- OpenAI: GPT-4o System Card：官方系统卡入口；重点读 Preparedness、voice generation、speaker identification 和 red teaming。
- GPT-4 System Card：对比文本模型安全评估和 GPT-4o 的语音/多模态扩展。
- GPT-4V System Card：对比视觉输入安全、隐私和 grounded visual reasoning。
相关阅读与下一步
- 外部材料：论文标题 arXiv 检索。
- 外部材料：Semantic Scholar 标题检索。
- 外部材料：Papers with Code 检索。
- 站内下一步：论文精读专题。
- Title: 论文专题讲解：GPT-4o System Card：Omni 安全与多模态评测
- Author: Charles
- Created at : 2025-10-18 09:00:00
- Updated at : 2025-10-18 09:00:00
- Link: https://charles2530.github.io/2025/10/18/ai-files-paper-deep-dives-technical-reports-gpt-4o-system-card/
- License: This work is licensed under CC BY-NC-SA 4.0.