Stability AI 推出使用最少、高度综合的数据训练的新 FreeWilly 语言模型

访问我们的点播库以查看 VB Transform 2023 会议。在此注册

城里有一个新的大语言模型 (LLM)——实际上是两个——90 年代的孩子会立即认出他们的名字：FreeWilly1 和 FreeWilly2。

周五，Stability AI 揭开了这两位新法学硕士的面纱。Stability AI 是图像生成 AI Stable Diffusion 背后的公司，由前英国对冲基金人 Emad Mostaque 创立，Emad Mostaque 被指控夸大自己的简历。这两个新的法学硕士均基于 Meta 的开源 LLaMA 和 LLaMA 2 模型版本，但在全新且较小的数据集（包括合成数据）上进行训练。

这两种模型都擅长复杂的推理、错综复杂的语言，以及回答与法律和数学等专业领域相关的复杂问题。

稳定性子公司 CarperAI 已根据“非商业许可”发布了 FreeWillys，这意味着它们不能用于盈利/公司/商业目的，而是旨在推进研究并促进人工智能社区的开放获取。

事件

VB Transform 2023 按需

您错过了 VB Transform 2023 的会议吗？注册以访问我们所有特色会议的点播库。

现在注册 更小、更环保的鲸鱼

模型名称源自微软研究人员开发的“Orca”人工智能训练方法，该方法允许“较小”模型（暴露于更有限数据的模型）实现暴露于更大数据集的大型基本模型的性能。 （不是指从 IRL 船上沉没的逆戟鲸。）

具体来说，FreeWilly1 和 FreeWilly2 使用 Enrico Shippole 创建的四个数据集的指令，使用 600,000 个数据点（仅为原始 Orca 数据集大小的 10%）进行训练，这意味着它们比原始 Orca 模型和大多数主要法学硕士便宜得多，也更加环保（使用更少的电力和碳足迹）。这些模型始终表现出出色的性能，在某些情况下可以与 GPT-3.5 上的 ChatGPT 相媲美甚至更好。

合成数据训练有望实现