【新智元导读】OpenAI重磅发布的GPT-4.1系列模型,带来了编程、指令跟随和长上下文处理能力的全面飞跃!由中科大校友Jiahui Yu领衔的团队打造。与此同时,备受争议的GPT-4.5将在三个月后停用,GPT-4.1 nano则以最小、最快、最便宜的姿态强势登场。
它们均拥有最高100万Token的超大上下文窗口,在代码、指令跟随等核心能力上全面超越GPT-4o及GPT-4o mini,并且知识截止日期也已更新至2024年6月。
值得注意的是,GPT‑4.1系列将仅通过API提供,并已向所有开发者开放。
GPT-4.1 nano是OpenAI首个nano模型,也是他们目前可用模型中最快、最便宜的一款。
GPT-4.1 mini在多项基准测试超越GPT-4o,速度快一倍的同时成本骤降83%,效率拉满!
自此,谜语人奥特曼口中的「quasar」也终于得到了确认——就是GPT-4.1!
而随着能力更强、成本延迟更低的GPT-4.1的推出,一直以来都饱受争议的GPT‑4.5 Preview也将在3个月后(7月14日)从API中下架。
对此OpenAI表示,GPT‑4.5原本就是作为研究预览版推出的,目的是探索和实验一个大规模、计算密集型的LLM。
虽然模型即将停用,但OpenAI会把开发者喜爱的创造力、写作质量、幽默感等特点,继续融入未来的API模型中。
在这个demo中,研究者要求GPT-4.1做一个在线抽认卡网页应用,提出了许多相当具体的要求。比如点击抽认卡时,要出现3D动画。
相比之下,GPT-4.1就完成得十分流畅了,无论是在颜色,还是在3D动画上。
下面是一个OpenAI的Playground,在演示中,研究者要求GPT-4.1生成一个单一的Python文件代码应用,在右侧模拟用户查询,这个网站可以接收大型文本文件、回答相关问题。
可以看到,模型产生了数百行代码。研究者将这些代码实际运行后,发现效果出人意料的好。
研究者上传了文件——NASA自1995年8月以来的服务器请求响应日志文件,
在这个文件中,左侧是向NASA服务器发出请求的客户端名称,这是一个包含大量日志行的长文件,左侧大概有450000个token的内容。
这里,研究者偷偷添加了一行实际上不是HTTP请求响应的内容,这支堆栈中的小「针」,很难发觉。
OpenAI特意强调,在实践中非常重要的一点,就是API开发者是如何提示模型的。
在这个任务中,GPT-4.1的任务是日志分析员助手。研究者告诉它输入的数据以及用户的查询该如何构建。
接下来还有一些规则,比如模型只用回答日志数据内容相关的问题,问题应该始终在查询标签内格式化,如果其中一项不真实请回复错误消息等等。
研究者询问:fnal.gov发出了多少请求?模型拒绝了,因为它没有在查询标签内格式化。
这样,开发者就可以明确让模型做到「不做某事」,这是开发过程中一个极其有意义的关键细节——遵循负面指令。
价格方面,GPT‑4.1虽然比GPT‑4o便宜了26%,但输入、输出依然高达每百万token 2美元和8美元。
GPT‑4.1 nano是OpenAI迄今为止价格最低、速度最快的模型,输入、输出分别为0.1美元和0.4美元。
对于重复使用相同上下文的查询,这些新模型的提示词缓存折扣已从之前的50%提高至75%。
在各种编程任务上明显比GPT-4o强得多,比如用智能体解决编程问题、前端开发、减少不必要的代码修改、严格跟随不同的格式、保持工具使用的一致性等等。
这说明GPT-4.1在浏览代码库、完成任务以及生成既能运行又能通过测试的代码方面有了很大提升。
对于SWE-bench Verified,模型会接收一个代码仓库和问题描述,并需要生成一个补丁来解决该问题。其性能高度依赖于所使用的提示词和工具
对于希望编辑大型文件的API开发者而言,GPT-4.1在处理各种格式的代码差异(code diffs)时,可靠性要高得多。
Aider多语言差异基准测试,不仅衡量了模型跨多种编程语言的编码能力,也衡量了其以完整文件格式和不同格式生成代码变更的能力。
如此一来,开发者便无需重写整个文件,而是让模型输出变更的行即可,从而大幅节省成本并降低延迟。
对于倾向于重写整个文件的开发者,GPT‑4.1的输出Token上限也提高到了32,768个Token(GPT‑4o为16,384个)。其中,可以使用Predicted Outputs功能来降低完整文件重写的延迟。
在Aider的多语言基准测试中,模型通过编辑源文件的方式解决来自Exercism的编码练习,并允许一次重试。「whole」格式要求模型重写整个文件,这可能速度较慢且成本较高。「diff」格式则要求模型编写一系列搜索/替换块
此外,GPT‑4.1在前端编码方面相较于GPT‑4o也有显著改进,能够创建出功能更完善、视觉上更美观的Web应用。
在直接对比评估中,人类评委有80%的情况更倾向于选择GPT‑4.1生成的网站,而非GPT‑4o。
在指令跟随方面,OpenAI特地开发了一套内部的评估体系,用以追踪模型在多个维度及以下几个关键指令跟随类别上的表现:
否定性指令(Negative instructions):避免执行特定行为。(示例:「不要让用户联系支持人员」)
有序指令(Ordered instructions):按给定顺序执行一系列操作。(示例:「先询问用户姓名,再询问其邮箱地址」)
内容要求(Content requirements):确保输出内容包含特定信息。(示例:「撰写营养计划时,必须包含蛋白质克数」)
排序(Ranking):按特定方式排列输出内容。(示例:「按人口数量对结果进行排序」)
识别知识边界(Overconfidence):在无法获取所请求信息或请求超出指定范畴时,回答「我不知道」或类似表述。(示例:「如果你不知道答案,请提供支持团队的联系邮箱」)
这些类别是基于开发者反馈确定的,反映了他们认为最为相关且重要的指令跟随维度。其中,每个类别都将提示词按难度分为了简单、中等和困难三类。
在处理困难提示词方面,GPT-4o和GPT-4o mini只有不到30%的正确率,而新系列中最小的nano都达到了32%。
内部指令跟随能力评估是基于真实的开发者用例和反馈,涵盖了不同复杂程度的任务,并结合了关于格式、详细程度、长度等方面的指令要求
对许多开发者而言,多轮指令跟随至关重要,这意味着模型需要在对话深入时保持连贯性,并记住用户先前告知的信息。
而GPT-4.1能够更好地从对话历史消息中提取信息,从而实现更自然的交互。
在MultiChallenge基准测试中,模型面临的挑战是在多轮对话里,能够正确使用来自先前消息(对话上文)的四种类型的信息
此外,GPT‑4.1在IFEval上的得分为87.4%,而GPT‑4o为81.0%。IFEval使用包含可验证指令的提示词(例如,指定内容长度或避免使用特定术语/格式)。
更强的指令跟随能力不仅能提升现有应用的可靠性,也能实现过去因模型可靠性不足而难以实现的新应用
早期测试人员反馈,GPT‑4.1可能更倾向于跟随字面指令,因此OpenAI建议在设计提示词时力求明确和具体。
长上下文理解能力是法律、编码、客户支持及诸多其他领域应用的一项关键能力。
100万Token是什么概念?类比来说,其包含的内容量可以达到整个React代码库8倍以上!
下面,演示了GPT‑4.1在上下文窗口不同位置检索隐藏的小段信息(即「针」)的能力。
在长达100万 Token的各种上下文长度和所有位置点上,GPT‑4.1都能持续准确地检索到「针」。这意味着它能有效提取当前任务所需的相关细节,无论这些细节位于输入的哪个部分。
在实际应用时,用户通常需要模型能够检索并理解多条信息,并且理解这些信息片段之间的相互关联。
该评估包含用户与助手之间的多轮合成对话,在对话中用户要求模型就某个主题进行创作,例如「写一首关于貘的诗」或「写一篇关于石头的博客文章」。
模型必须准确检索出与用户指定的某一特定实例相对应的响应(例如,「请给我第三首关于貘的诗」)。
这项任务的挑战在于,这些相似请求与上下文的其他部分非常接近——模型很容易被细微差异误导,比如将关于貘的短篇故事误认为诗歌,或将关于青蛙的诗歌误认为关于貘的诗歌。
当上下文达到GPT‑4o极限的12.8万Token时,GPT‑4.1的表现明显更优;即使上下文长度扩展到100万Token,它依然能保持强劲的性能。
在OpenAI-MRCR中,模型必须回答一个问题,该问题涉及在分散注意力的内容中区分2、4或8个用户提示
许多面向开发者的长上下文用例需要在上下文中进行多次逻辑跳跃,例如在编写代码时在多个文件之间切换,或在回答复杂的法律问题时进行文档的交叉引用。
模型(甚至人类)理论上可以通过单次遍历或通读上下文来解决OpenAI-MRCR问题,但Graphwalks的设计旨在要求跨上下文多个位置进行推理,并且无法通过顺序处理来解决。
Graphwalks用一个由十六进制哈希值组成的有向图填充上下文窗口,然后要求模型从图中的一个随机节点开始执行广度优先搜索(BFS)。接着,要求模型返回特定深度的所有节点。
GPT‑4.1在此基准测试中达到了61.7%的准确率,与o1的性能持平,并轻松击败了GPT‑4o。
在Graphwalks中,要求模型从一个大型图中的随机节点进行广度优先搜索
GPT‑4.1系列在图像理解方面能力极强,特别是GPT‑4.1 mini实现了显著飞跃,在图像基准测试中其表现常常优于GPT‑4o。
在CharXiv-Reasoning基准测试中,模型需回答关于科学论文中图表的问题
在Video-MME(长视频,无字幕)基准测试中,模型需要根据时长30-60分钟且无字幕的视频来回答多项选择题。
在Video-MME中,模型根据30-60分钟长且无字幕的视频回答多项选择题
下文完整列出了在学术、编程、指令跟随、长上下文、视觉及函数调用评估中的结果。
Jiahui Yu目前负责感知(Perception)团队,研究领域是深度学习和高性能计算。
他在中国科技大学少年班获得计算机学士学位。在伊利诺伊大学香槟分校获得博士学位。
04月08日,浙江磐安:司法建议助七子花野外回归,线上威尼斯赌城,云顶快速登陆,斗球app官方下载安装,皇冠hga2021
04月08日,场地自行车女团竞速赛:中国队无缘奖牌,GPK钱龙捕鱼技巧视频,天琪棋牌,足球外围365安全吗,沙巴sb体育网站
04月08日,海南实施59国人员入境免签政策6年来超94万旅客免签入境,hga030客户端,澳门拉斯维加斯游戏平台,葡京现金游戏开户,188bet平台
04月08日男子6米陡坡掉落又被落石砸伤 医生从腹腔搬“救兵“为其保肢鸿博下载九游官网个人中心登录葡萄京澳门官网大全真金电玩城下载官网
04月08日从卷利率到卷额度 消费贷竞争白刃化九游会在哪里玩头头体育客户端银河网站怎么登录不了澳门皇冠视频在哪里
04月08日四川康定山洪泥石流灾害已致12人遇难、15人失联英亚真人体育娱乐全民斗地主炸金花棋牌宝马会外围官网顶级线上娱乐……
04月08日,一名中国游客在南非潜水时遇难 当地警方展开调查,手机娱乐注册,天博app下载地址在哪,优信彩票官网登录,云顶投注登录
04月08日,【奋力谱写中国式现代化新篇章——习今年以来治国理政纪实】着眼中国式现代化建设全局 共谱发展协奏曲,尊龙人生就是博i,九卅ju11,申博手机APP,开元棋牌下载
04月08日降雨增多 云南野生菌进入交易旺季万赢国际网址通缉令-1稳定的网络捕鱼永利爆大奖
04月08日,国家金融监管总局推动国有大型保险集团发挥头雁作用成效初显,明牌牛牛在什么情况抢庄,pt游戏为什么恐怖,威尼斯人官方手机下载,ROR在线日,好评中国·五四青年节漫评③丨铭记金刚川上的“英雄桥”,澳门威利斯网站是多少,优博app链接,球探比分直播即手机版,yabo22vip网投
04月08日,1至10月全国铁路发送旅客37.1亿人次 再创历史同期新高,乐鱼体育是正规平台吗,怎么下载皇冠直营赌场,365体育网上介绍,九五至尊体育下载
04月08日上海青少年“传统文化嘉年华”上多种方式体验中医智慧与精妙bet体育开户bt365博彩app2019最新地址澳门所有娱乐官方首页澳博体育网址是多少
04月08日北京市文联携手门头沟建设“诗画乡村”MG技巧及建议1xbet是什么美高梅网上直营188体育在哪注册
04月08日韩媒:韩国警方调查总统尹锡悦涉“内乱罪”指控体育BOB赌注亚星官方娱乐BBIN体育真人国际炸金花
尘白禁区1.8版本最全角色攻略,我是刑警既朴实无华也与时俱进广东清远春耕现场:3000斤巨型豆腐送“福”九游会老版网站od体育网页版登录GPK钱龙捕鱼打法菠菜大全
郑秀妍晒与郑秀晶的合照,丁禹兮猫塑水利部:前7个月全国完成水利建设投资6894亿元澳门银银河下载bibibi下载最新版365bet官网平台网址完美体育官网
四海重明,张本智和vs林昀儒外资金融机构看好亚洲经济澳门百老汇平台开户欧宝体育在线登录开心娱乐官网斗地主线个表现说明子宫很健康,周杰伦演唱会父亲罕见现身春节前车厘子进入销售旺季 看车厘子如何抢“鲜”上市银河网址下载皇冠信用平台英皇国际在线真人打千赢国际游戏登录不了
孙乐言 我现在不是一个普通人了,苹果头显VisionPro将停产接力护绿41年——探访亚洲最大白梭梭林保护区AG哪个网站是真的万人水果球探足球比分app下载棋牌游戏门户
幽游白书,七三一部队罪证陈列馆发文感谢纪念中马“乒乓外交” 马来西亚马六甲举办乒乓交流会多宝苹果版星辉娱乐注册登录真钱金沙下注网址世博体育app下载苹果版
@BETHASH6