深入剖析GPT-4o：下一代AI图像生成的王者还是仍需打磨的璞玉？

type

status

date

slug

summary

前言

AI圈最近什么最火？毫无疑问，OpenAI的GPT-4o凭借其惊艳的多模态交互能力刷爆了全网。除了流畅的语音对话，它在图像理解和生成方面的进化更是让人瞩目。从早期的GANs到主导一时的Diffusion模型，图像生成技术一直在狂飙突进。如今，像GPT-4o这样的原生多模态模型，似乎预示着一个新纪元的到来——一个真正统一理解和生成任务的架构。

然而，GPT-4o如同它的前辈一样，核心的架构设计、训练细节仍然笼罩在神秘的面纱之下（据报道可能采用了自回归机制）。这不禁让我们好奇：它在图像生成领域究竟达到了怎样的高度？它是否真的在统一文本和图像生成上取得了突破？

幸运的是，来自香港科技大学（广州）、新加坡国立大学、北京大学等顶尖机构的研究者们为我们带来了一篇及时的实证研究报告——《An Empirical Study of GPT-4o Image Generation Capabilities》。由于目前GPT-4o尚未开放API，这项研究通过大量的定性比较，为我们揭示了GPT-4o在图像生成方面相较于其他领先模型（如谷歌的Gemini 2.0 Flash以及各领域的SOTA模型）的优势与短板。

作为一名AI小学生，我将带你一起深入解读这篇论文，看看GPT-4o的图像生成能力究竟如何。

Prompt(from Openai): A wide image taken with a phone of a glass whiteboard, in a room overlooking the Bay Bridge. The field of view shows a woman writing, sporting a tshirt wiith a large OpenAI logo. The handwriting looks natural and a bit messy, and we see the photographer’s reflection.

GPT-4o图像生成能力大阅兵：实验设置概览

研究者们对GPT-4o进行了一场全面的能力评估，覆盖了四大类、超过20项具体的图像生成任务：

Text-to-Image (文生图): 包括复杂的文本指令遵循、文字渲染、文档生成、全景图生成、风格迁移等。

Image-to-Image (图生图): 包括图像编辑、单/多概念定制化、故事图像生成、低层视觉修复（去噪、去雨、去雾、低光增强、去模糊、超分、修复、扩展、上色、阴影/反光去除、重打光）、空间控制（Canny边缘、深度、草图、姿态、掩码引导生成）、相机控制、上下文视觉提示。

Image-to-3D (图生3D): 包括图像到3D建模、UV贴图到3D渲染、新视角合成。

Image-to-X (图生万物): 包括图像分割（指代性、语义、全景）、边缘检测、显著性物体检测、深度/法线估计、布局检测、文字检测、目标跟踪等图像理解与生成的交叉任务。

研究采用了定性分析的方法，细致地对比了GPT-4o与基线模型在各项任务上的表现，并总结了其典型的优势和失败案例（如低视觉质量、生成不一致、缺乏知识、指令遵循失败等）。

表1 GPT-4o 与 Baseline 对比：图像生成任务的定性误差分析

GPT-4o的惊艳之处：四大核心优势

通过广泛的比较，研究揭示了GPT-4o在多个方面展现出的卓越能力：

超凡的文字渲染能力 (Exceptional Text Rendering Capability): 这可能是GPT-4o最令人印象深刻的亮点之一。无论是在图像中渲染短语、长句甚至段落，GPT-4o都表现出色，能够保持正确的拼写、对齐和格式，甚至在生成文档风格的图像时也游刃有余。这种文字渲染的流畅性和准确性远超许多现有模型，对于图表生成、文档布局合成、富含说明的视觉叙事等应用至关重要。

图1 任务：长文本渲染。在图像上生成扩展、连贯和提示一致的文本内容。设置：对照先进的基线进行评估，包括 POSTA、Gemini 2.0 Flash 、Ideogram 3.0 和 Playground-v3 。观察结果GPT-4o 在长文本渲染方面表现出色，它能生成连贯、详细的文本信息，而且很少出现字符错误。

强大的组合泛化与指令遵循能力 (Compositional Generalization and Prompt Following): GPT-4o在理解和组合复杂场景元素、风格、属性方面表现出惊人的能力。它能准确地根据提示词将多个对象、属性（颜色、形状、数量）和空间关系组合在一起，即使是细节丰富、多属性的条件也能较好地处理，语义损失很小。这表明其对文本指令的理解达到了新的高度。

图2 任务：合成文本到图像的生成。评估复杂合成的图像-文本对齐情况。设置：每行显示一个文本提示以及 GPT-4o、Gemini 2.0 Flash和 FLUX.1-Pro生成的输出结果。观察结果与 Gemini 2.0 Flash 相比，GPT-4o 和 FLUX 生成的场景更加和谐自然。

内蕴的空间推理与多视角一致性 (Spatial Reasoning and Multi-View Consistency): 在涉及空间操作的任务中，如3D视图合成、相机视角控制、深度条件渲染等，GPT-4o能够保持几何一致性和视角的真实感。这暗示了模型即使没有明确的3D建模模块，也内在地学习到了强大的空间推理和结构感知能力。

图3 任务：图像到三维模型的渲染。评估二维图像的三维建模能力。设置：每行显示一张输入图像和一个文本提示，以及 GPT-4o、Gemini 2.0 Flash和 Midjourney v6.1 的输出结果。观察结果与 Gemini 2.0 Flash 和 Midjourney v6.1 相比，GPT-4o 能生成具有一致形状、纹理和可信线框的更好的 3D 模型渲染。

全面的图像变换能力 (Comprehensive Image Transformation Capability): GPT-4o在广泛的图像到图像转换任务上展现了强大的泛化能力，从低级图像恢复）到高级感知理解。令人惊讶的是，它在几乎没有任务特定微调的情况下就能处理这些多样化的转换。这表明模型学习到了鲁棒的视觉先验知识和空间语义，使其能在统一框架下执行校正和抽象结构预测。

图4 任务：风格转换，旨在以特定的艺术风格渲染图像，同时保留原始内容。设置：比较了 GPT-4o 与 Gemini 2.0 Flash 和 Midjourney v6.1 在多个艺术领域的人脸风格转换。观察结果与 Gemini 2.0 Flash 和 Midjourney v6.1 相比，GPT-4o 能更好地保存内容，保持细粒度的内容细节和结构一致性。在风格方面，它忠实于文本描述，有效地呈现了目标风格所特有的生动色调和柔和轮廓。这种对齐方式明显超越了 Gemini 2.0 Flash 和 Midjourney v6.1，凸显了 GPT-4o 在保留内容和忠实呈现不同风格方面的强大能力。

GPT-4o的短板与挑战：仍需打磨之处

尽管能力强大，GPT-4o并非完美，研究也指出了其存在的局限性：

生成不一致性 (Inconsistent Generation): 在某些情况下，尤其是在图像编辑或需要精确控制的任务中，GPT-4o的生成结果可能与原始图像或文本提示的精确语义（如物体数量、空间布局、特定形状、颜色）存在偏差。编辑区域外的细节有时也会被无意修改。

内容幻觉 (Hallucination): 与大型语言模型类似，GPT-4o有时会“幻觉”，生成逻辑上不合理、语义上不一致或事实上不正确的内容。例如，凭空捏造不存在的物体或地理特征，或错误地表现实体间的关系。这在复杂或欠具体的提示下尤为明显。

数据偏见 (Data Bias): 尽管在文本和视觉模态间表现出强对齐，GPT-4o在处理代表性不足的文化元素（如生成非西方式的物品）和渲染非拉丁文字（如中文、日文、阿拉伯文）时存在困难，生成的字符可能不完整、扭曲或被拉丁字母替代。这反映了训练数据中可能存在的偏见，是多语言、跨文化应用需要解决的关键问题。

图4 任务：合成文本到图像的生成。评估复杂合成的图像-文本对齐情况。设置：每行显示一个文本提示以及 GPT-4o、Gemini 2.0 Flash 和 FLUX.1-Pro 生成的输出结果。观察结果与 Gemini 2.0 Flash 和 FLUX 类似，GPT-4o 在生成文化相关元素和保持边界连续性方面存在困难。

特定任务的弱点: 在某些特定任务上，GPT-4o相较于专门优化的SOTA模型仍有差距。例如：

全景图生成: 难以生成真正无缝连接的360度全景图。

图6 任务：全景图像生成，旨在为静态场景创建身临其境的 360 度视图。设置：将 GPT-4o 与 Pano-SD 和 Gemini 2.0 Flash 等已有基线进行比较，以评估连贯全景图像的生成情况。观察结果：基线模型能可靠地生成左右两边无缝连接的全景图像，而 GPT-4o 则往往只能近似全景图像，难以保持图像边界的连续性。这种不足可能是由于其训练数据中的全景图像表示有限，而且倾向于生成垂直纵横比更高而不是更宽的图像，因此在这项任务中不如基线模型。

低层视觉保真度: 在图像修复、去噪等任务中，有时会改变图像内容而非仅仅修复，像素一致性不如专用模型。

精细空间控制: 在需要严格几何对齐的任务（如Canny/Sketch-to-Image）中，可能不如ControlNet等方法精确。

像素级理解: 在指代性分割等需要精确定位的任务上表现较弱。

特定理解任务: 在布局检测、文本检测、密集目标跟踪等任务上能力有限或输出格式不规范。

结论与展望：迈向统一多模态智能的一大步

这篇实证研究为我们提供了一个宝贵的窗口，得以一窥当前最先进的多模态模型GPT-4o在图像生成方面的真实能力。

总结来说：

优势： GPT-4o在文本渲染、复杂指令遵循与组合泛化、空间推理、图像变换通用性方面展现了SOTA级别的实力，特别是在理解和生成长文本、处理复杂场景构成上优势明显。

劣势： 它在生成一致性、内容幻觉、数据偏见（尤其文化和非拉丁文字）、以及特定任务（如全景图、精细控制、像素级定位）的精确性上仍有改进空间。

这项研究再次强调，模型架构固然重要，但训练数据、模型规模和优化策略同样是推动模型能力边界的关键因素。GPT-4o的成功很可能源于其前所未有的规模。

尽管存在局限，GPT-4o无疑代表了迈向统一视觉语言生成模型的重要里程碑。它展示了将强大的语言理解能力与高质量图像生成相结合的巨大潜力。未来，我们期待看到更多关于这类闭源模型的深入分析，以及开源社区在统一多模态模型架构和训练上的持续探索。如何克服当前模型的局限，实现更高保真、更可控、更公平的生成，将是下一阶段研究的重点。

GPT-4o，这位“全能选手”，虽非完美，但已足够让我们对AI生成内容的未来充满遐想。