2023 年 10 月,Vercel AI 模型路由器的请求中,超过四分之一是针对决策模型,而非传统的 LLM。这对于仅在一个月前才出现的技术来说,是一个重大突破。决策模型本质上是专门的 LLM,它们不生成文本标记,而是快速且经济地从预设选项中进行选择,同时评估其选择的置信度。它们在生产环境中的价值尤其高,因为在这些环境中,决策速度往往比更慢、更昂贵的“前沿”模型所提供的详细理由更重要。
Jev 现象:市场领导者和新进入者
市场主导地位和快速增长
TypeSafe 公司凭借其 Jev 系列模型实现了 75 亿美元的市值,并继续主导市场。仅在上周,OpenRouter 服务就处理了超过 15 亿次对 TypeSafe 模型的请求。
然而,这类模型的创建简易性导致 Jev 发布后不久就出现了数十个类似产品。一位亚马逊工程师在周末开发了自己的模型,很快,每个主要的云服务提供商都推出了自己的解决方案。
巨头入局:Microsoft Decision-1.1
最近,微软首席执行官萨蒂亚·纳德拉宣布立即在 Azure 平台上广泛推出其自己的决策模型 Microsoft-Decision-1.1。这凸显了该方向对于科技巨头的战略重要性。
初创公司的创新:Sqwish 和数据方法
吸引投资和独特主张
英国初创公司 Sqwish,决策模型 kettei fat 的开发者,宣布在种子前轮融资中筹集了 300 万美元。联合创始人 Ushnish Sengupta 和 Federica Freddy 在剑桥大学学习期间相遇,最初开发小型 LLM,但随着 Jev 的出现,他们意识到其架构在创建强大决策模型方面的潜力。
数据和定制的作用
这类模型成功的关键在于数据。TypeSafe 首席执行官 Diogo Almeida 告诉 TechCrunch,创建 Jev 最困难的部分是使用统计调整的合成数据对其判断进行精细校准。
Sqwish 也使用合成数据,但他们独特的卖点是内置的后训练工具,允许客户使用自己的数据来提高模型的准确性。
“我们与竞争对手的不同之处在于,我们为客户提供了同样强大的功能……他们可以继续上传他们的生产数据,就像我们训练我们的模型一样,他们的模型也可以在对他们重要的任务上不断改进,”Sqwish 首席执行官 Ushnish Sengupta 在接受 TechCrunch 采访时指出。
模型选择与评估:真正重要的是什么
真实案例优于基准测试
评估决策模型并非易事。Sqwish 的 kettei fat 模型在某些测试中表现良好,但大多数开发人员都认为,真正的效率只有在实践中才能体现出来。
开发人员可以轻松地替换一个模型来评估其在特定上下文中的表现。

“基准测试更多的是一种尝试模型的邀请,而持续的微调才是他们应该留下的原因,”Sengupta 说道。
Microsoft Decision 1.1 模型也是在成本、延迟、智能和校准之间精心平衡的结果。负责该项目的工程副总裁 Achint Srivastava 同意,过度关注基准测试是一个错误。
“我们发现‘经过最大程度测试’的模型在实际企业使用中很快就会失败,”Srivastava 在一封电子邮件中写道。“我们的测试强调了在一款模型中确保准确性、可靠性、速度和成本效益是多么困难。Microsoft-Decision-1.1 和 Jev 是少数几个在所有四个方面都表现出色的模型,即使在评估‘延迟’或前所未见的基准测试时,也能反映真实的用例。”
决策模型的未来:与 LLM 的共生
对于像 Sqwish 这样的初创公司来说,与巨头的竞争开辟了新的机遇。Freddy 预测,未来系统将结合“系统一智能”(决策模型)和“系统二智能”(边缘 LLM)。这将创建更高效、功能更强大的人工智能解决方案。了解更多关于视频内容推广的信息。
常见问题
什么是决策模型?
它们是专门的AI模型,基于LLM架构,但经过优化,可以快速、经济地从给定选项中进行选择,而不是生成文本。它们还会评估自己对所做决定的信心。
它们与传统LLM有何不同?
主要区别在于目标:LLM生成内容,而决策模型选择最佳选项。前者速度较慢且资源密集,后者速度快且对特定任务高效。
定制化在这些模型中扮演什么角色?
定制化,即根据客户自身数据对模型进行再训练的能力,成为成功的关键因素。这可以显著提高特定业务环境中决策的准确性和相关性。
结论
决策模型正在迅速改变AI格局,为企业在关键运营自动化方面提供前所未有的速度和效率。如果您希望优化流程并减少日常决策带来的“头痛”,这些技术值得密切关注。
我们提供通过短视频进行全面推广,包括内容创建和针对不同平台的改编,让您能够专注于战略任务。联系我们,了解我们如何帮助您将先进的AI解决方案整合到您的视频营销策略中,并一站式订购所有服务,从而节省预算和精力。
