大家好，我是 Axton。今天，我想和大家聊聊 GPT-4V多模态——这个在 2025 年（更新至 2025-05）依然是普通人能接触到的最强辅助工具。它不仅仅是一个技术名词，更是我们跨越技能鸿沟、高效解决问题的得力助手。别人家的孩子会写代码、会艺术设计，我或许不擅长，但没关系，我会用 GPT。这篇文章将为你揭示如何将 GPT-4V 的强大能力融入日常，让复杂问题迎刃而解，无论你是技术新手还是创意工作者。
明确目标：GPT-4V多模态是解决问题，还是测试边界？
在使用 GPT-4V多模态之前，我们首先需要明确自己的目标：是真正解决手头的问题，还是仅仅测试其能力边界。 我通读了长达 166 页的 GPT-4V 论文《大型多模态模型的黎明》(Dawn of Large Multimodal Models)，并精选了其中一些典型案例，它们的核心在于展示这项技术如何帮助我们解决实际问题，而非停留在炫技层面。
我看过许多应用案例，有些看起来非常酷炫，也很有前瞻性，但它们可能并不能直接解决你当下的困境。例如，让 GPT-4V 识别并解释 X 光片，这无疑展示了其强大的潜力。但在现实生活中，解读 X 光片这样的专业任务，我们还是应该寻求专业医务人员的帮助。因此，这类案例我会将其归类为测试 AI 能力边界的范畴。
要想让 GPT-4V多模态成为你手中的王牌，让你解决问题比别人快，完成任务比别人好，最重要的就是清晰地认识到 AI 的边界在哪里。我们需要了解它能做什么，不能做什么。只有这样，我们才能把 AI 的优势发挥到极致，同时避免在它尚不擅长的领域浪费时间。
日常难题终结者：GPT-4V多模态的实用案例
GPT-4V多模态最直接的价值，体现在它能帮我们轻松应对日常生活中那些看似棘手的小麻烦。 想象一下，家里的咖啡机故障灯突然亮了，或者新买的路由器不知道网线该插哪个口，这些小事有时也能让人头疼。
就拿我家的咖啡机来说，有一次它突然亮起了一个我不认识的指示灯。我随手拍了张照片，用箭头标记出那个亮灯的位置，然后上传给 ChatGPT 提问：”我的咖啡机上突然亮起了一个灯，红色箭头所指的灯，这是什么意思呢？请帮我分析一下。”ChatGPT 很快告诉我，那个 “Clean Me” 灯意味着机器需要清洁，并给出了一些通用的清洁步骤。
由于我自认动手能力不强，便追问：”我已经用清水和洗洁精彻底擦洗了咖啡机，但是灯还是亮着，而且我也找不到说明书了，怎么办？” 这时，ChatGPT 给出了一些更具针对性的建议，比如执行清洁周期、如何重置指示灯、断电重启或联系客服。我进一步提供了咖啡机的品牌，它便判断出最可能的情况是需要执行特定的清洁周期——这是完全正确的。虽然它建议的启动清洁程序（按单杯或双杯按钮）与实际操作（按住电源同时按两个按钮）略有出入，但对于不爱动手的小伙伴来说，这已经是非常有用的指引了。
类似的场景还有很多。比如，面对路由器背面的多个网口，黄色和银色的插口都能插网线，我该选哪个连接电脑呢？我把路由器的背面图发给 ChatGPT，它准确地指出黄色的插口是局域网 (LAN) 插口，用于连接家中设备。对于银色插口，它最初未能识别出下方的文字，但推断可能与 Internet 或 WAN 接口有关，并建议如果只是连接电脑访问家庭网络，应使用黄色接口。当我告知它银色插口下方写着 “ETH10G” 时，ChatGPT 立刻明白这是一个万兆以太网口，能提供更高的数据传输速度，但对于一般家庭连接单台电脑而言，黄色网口依然是首选。即便最初信息不全，它给出的结论也相当可靠。
甚至在操作软件时遇到不认识的图标，比如我在 Bing 浏览器中看到一个麦克风图标，不确定其用途。我截了图，用箭头标出，然后问 ChatGPT：”红色箭头所指的这个按钮是做什么用的呢？” 它立刻清晰地告诉我那是一个麦克风图标。这些看似简单的应用，却能实实在在地解决我们生活和工作中遇到的设备和电脑问题。
完整视频请点击观看：
创意工作的得力助手：与 GPT-4V多模态共创海报
除了解决技术难题，GPT-4V多模态在创意领域同样能大放异彩，比如协助我们完成专业级别的设计任务。 假设我有一个产品，需要在圣诞节拍摄一个宣传海报，但我既没有导演也没有美工，这时 GPT-4V 就能派上用场了。
首先，我需要一个产品。既然手头没有实体产品，我就让 DALL·E 3 帮我生成一个。我要求它生成一张化妆品的产品图片，背景为绿幕，产品颜色要突出（不能是绿色），并在产品上用文字标识我的品牌 “axtonliu.ai”，还特意嘱咐它仔细检查拼写。DALL·E 3 最初给我的图片中，有一个瓶子看起来像药瓶，我便要求修改得”更加现代、简约、高贵”。调整后的图片虽然没有完全按要求加上网址，但品牌名拼写正确，整体效果也令人满意。为了后续能复现类似风格，我还向它索要了这张图片的种子值。
接下来，我将这张产品图片上传给 ChatGPT，并提出需求：”请你帮我设计一个圣诞节促销的海报。你需要仔细描述你所设计的海报图片当中的产品背景以及周边的设计元素的每一个细节。” ChatGPT 随即给出了一份详尽的海报设计描述。在实际操作中，如果我对这份设计满意，就可以据此进行拍摄或绘图。为了简化演示，我直接将这份设计描述交还给 DALL·E 3，让它根据之前的种子值和新的设计要求来生成最终的海报图片。最终呈现的海报效果相当不错。可以想见，如果我们使用真实的产品图片，并与 AI 进行更深入的沟通和迭代，效果一定会更加惊艳。
随时随地的私人教师：GPT-4V多模态的教育应用
GPT-4V多模态还能化身为一位博学的私人教师，随时随地为我们答疑解惑，拓展知识边界。 如果我想学习一些课外知识，比如生物、地理或物理，但又没有家教，自学时遇到问题怎么办？ChatGPT 就是一个很好的求助对象。
我曾从网上找来一张人类细胞的图片，上传后对 ChatGPT 说：”你是一个专业的生物老师，我是一个充满好奇心的六岁的小学生，看到这张图片非常好奇，请你仔细的给我讲一讲关于这张图片的一切。” ChatGPT 立刻切换到适合小学生的口吻，生动地解释了细胞膜”就像细胞的围墙，保护细胞内的所有东西”等等。
不仅是生物，几乎所有学科的问题都可以尝试交给 GPT-4V。论文中也展示了几个例子：比如地理题，通过观察地图图片，判断本初子午线穿过了哪些大洋（大西洋、南大洋、北冰洋）；还有物理题，比较两个封闭瓶子中气体样本的粒子平均动能，通过图片中给出的粒子质量和平均速度（一个 600 米/秒，另一个 540 米/秒），判断哪个样本温度更高。GPT-4V 准确地指出速度快的样本 A 温度更高。对于这类问题，我们还可以要求它用”五岁孩子能懂的语言”来解释，它就会讲得尽可能浅显易懂。
如果你是动物爱好者，GPT-4V 也能帮你识别动物种类。我上传了一张猫咪的照片，它准确描述了场景：”一只白色的猫（实际上猫咪身上有橘黄色斑纹，但大部分是白色）躺在一个计算机桌上，计算机是 Apple 的，猫眼睛紧闭在小憩，下面是个机械键盘，键盘左上角的红色键帽上写着 Escape 键。” 它不仅识别了物体，还对场景氛围进行了描述，认为”整体来说整个场景给人一种宁静温馨的感觉”。当我追问这只猫的品种时，由于照片中猫咪眼睛未睁开，特征不明显，它给出了几种可能的品种。但当我换了一张更清晰的猫咪照片时，它就基本判断出是美国短毛猫（实际上是美短，而非英短，判断基本准确）。同样，遇到不认识的植物，或者想了解某种花的养护建议，拍张照片问问 GPT-4V，往往能得到满意的答案。
超越表面：GPT-4V多模态的推理与数据处理
更令人印象深刻的是，GPT-4V多模态展现出了强大的推理能力和数据处理效率，能从图像中洞察深层信息。 论文中有一个”侦探推理”的例子非常有趣：给定一张房间的照片，要求扮演侦探从视觉线索中推断信息。
GPT-4V 的分析相当细致：它推断房间属于一个年轻成年人或青少年（从休闲服装和带电脑的书桌判断）；此人可能是学生或在家工作者（从桌子和电脑判断）；注重时尚（有多件夹克和鞋子）；房间可能位于寒冷气候地区（从外套和靴子——尽管我没在图中看到靴子——判断）；可能不太整洁（从杂乱的桌子和挂在门上的衣服判断）；房间可能位于较老或更具乡村风格的建筑中（从暴露的管道和看起来磨损的墙壁判断）。这种基于常识的推理能力，对于 AI 而言是至关重要的进步。
在办公场景中，如果老板给你一张表格图片，让你整理到 Excel 里，手动输入效率太低。这时，我们可以把图片交给 GPT-4V，请它将图片中的表格转换成 Markdown 格式。它输出的 Markdown 代码可以直接复制到编辑器中使用。虽然在这个例子中，商品名称的中文识别存在一些错误，但表格中的数字识别是完全正确的。有了这项功能，许多 OCR 工具或许都可以省了。
此外，GPT-4V 还能根据图形生成代码。论文中展示了这样一个例子：给它一张折线图的图片，要求生成能够画出相似曲线的 Python 代码。GPT-4V 提供的代码虽然画出的曲线不尽相同，但稍作修改即可使用。当然，目前 GPT-4V 辅助编写代码更多是提供便利，减轻常规代码的编写工作量，并不能完全替代程序员。那些画张草图就能生成完整界面的演示，其演示意义往往大于实际应用价值。至少在现阶段，我们还无法完全依赖 ChatGPT 来开发一个可产品化的软件。所以，软件工程师们，你们依然是安全的，而且有了这样的利器，只会如虎添翼。
迈向智能未来：GPT-4V 与机器人的无限可能
GPT-4V多模态所展示的导航与规划能力，预示着它已经具备了智能大脑的雏形，只待一个”身体”去执行。 论文中一个模拟机器人导航的演示尤其令人印象深刻。
首先，提示 AI：”你是一个家用机器人，被要求去厨房的冰箱拿东西。这张图片显示的是你当前的位置，请计划你的下一步行动。” 机器人（GPT-4V）看到一张所处环境的照片后，回答：”我的下一步行动将是向右转，并且向走廊前进，因为我可以看到厨房很可能就在那个方向上。然后我会继续穿过走廊，直到到达厨房并且找到冰箱。”
接着，我们告诉它：”你在走廊上，这是你在走廊上能够看到的场景，你接下来要做什么呢？” GPT-4V 根据新的视觉输入，决策道：”从当前的位置，我可以看到右边的厨房。我的下一个动作将是向右转，并且向厨房前进。” 场景继续切换：”现在你在厨房了，这是你从那里能看到的。你可以看到冰箱吗？你接下来要做什么？” GPT-4V 回答：”从这个位置我可以看到厨房右侧的冰箱。我的下一个动作将是向前移动，并稍微向右转以接近冰箱。”
最后，当机器人到达冰箱前，面对冰箱的近景照片，它规划出：”我的下一步行动将是向前移动，并且稍微向左，跟冰箱门对齐。然后我将使用我的机械臂打开冰箱门，并取出所需物品。” 这一系列连贯的感知、决策与规划，完整地模拟了机器人的导航过程。这让我深信，GPT-4V 已经拥有一个智能大脑，所缺的仅仅是一个能够执行指令的身体。
这只是 GPT-4V 诸多能力中的冰山一角。我强烈建议大家有时间可以去阅读那篇 166 页的论文，它能让你全面了解 GPT-4V 目前的能力边界以及未来可期的发展方向。当然，如果你懒得看也没关系，我会将阅读论文的心得整理成思维导图，并通过我的 Newsletter 分享给大家，欢迎订阅。
全局性核心要点总结
回顾这些案例，GPT-4V多模态的核心价值在于其实用性与前瞻性的结合。首先，它极大地降低了解决日常技术难题的门槛，让每个人都能更自信地应对未知设备或软件的挑战。其次，它为创意工作者提供了强大的辅助，能够参与从初步构思到具体设计描述的流程，有效提升创作效率。再者，它在个性化学习与知识探索方面潜力巨大，无论是解答专业问题还是用通俗易懂的方式科普知识，都有望成为普惠的教育工具。更重要的是，理解并善用其边界，明确其优势与局限，才能真正发挥其最大效能，避免不切实际的期望。最后，GPT-4V多模态所展现的复杂推理与环境理解、规划能力，清晰地描绘了未来通用人工智能应用的广阔前景，它正逐步从一个工具演变为一个具备初步认知能力的”伙伴”。
独特深度洞见
GPT-4V多模态的出现，与其说是一项技术的革新，不如说是一场认知方式的革命。它挑战的并非人类的智能本身，而是我们解决问题的传统路径和对”能力”的固有定义。未来，真正的竞争力或许不再仅仅是掌握多少孤立的技能点，而是如何与这样高级的 AI 进行有效协作，即学会提出正确且富有洞察力的问题，并能批判性地评估、整合 AI 的输出，将其融入更宏大、更复杂的创新图景之中。这标志着人机协同将进入一个更深、更广的层面。
更多关于 OpenAI 最新模型进展的细节，可参考我的上一篇文章 👉 OpenAI o3和o4-mini模型有什么新特点？它们如何改变AI的思考方式？
今天的分享就到这里。我是 Axton，咱们下期再见。
