类ChatGPT开源模型,允许商业化!Dolly 2.0震撼发布!

添加书签

专注AIGC领域的专业社区,关注GPT-4、百度文心一言、华为盘古等大语言模型(LLM)的发展和应用落地,以及国内LLM的发展和市场研究,欢迎关注!

全球知名云计算服务商Databricks在官网发布了拥有120亿参数,类ChatGPT开源模型Dolly 2.0。(开源地址:https://huggingface.co/databricks/dolly-v2-12b)

目前,已开源的类ChatGPT模型Alpaca、Guanaco、LuoTuo、Vicuna、Koala、BAIZE、Latin Phoenix等,都有一个致命缺点——无法商业化。因为这些项目都是基于LLaMA开发的,其规定只能用于学术研究不能商业化。并且多数训练数据是从Open AI的API获取,被禁止用于打造竞品。

Dolly 2.0是基于EleutherAI pythia模型开发,已获得了商业化许可。这对于那些无法承担昂贵的ChatGPT API企业、个人开发者来说是一个大福利。并且Databricks是一家成立了10多年的云数据AI管理公司,在12个国家设有办事处,其AI产品在功能迭代、创新方面非常高效稳定。

值得一提的是,Dolly 2.0不仅开源了代码,就连15,000个纯人工生成的原始问答数据训练集也开源了,同样可以用于商业化。Databricks认为,他们是全球首家开源原始大模型训练数据集的厂商。(数据集开源地址:https://github.com/databrickslabs/dolly/tree/master/data)

类ChatGPT开源模型,允许商业化!Dolly 2.0震撼发布!插图


5,000名员工帮助Dolly 2.0打造原始训练数据集

其实20天前,Databricks就发布了Dolly1.0,仅用了30美元的成本就训练出了类似ChatGPT的大语言模型。无数的开发者问了同样的问题,可以商业化吗?答案是不可以

Dolly 2.0产品演示

这是因为Dolly1.0使用了OpenAI API的数据集,进行了关键步骤和响应对数据集上的训练。如果厂商使用了OpenAI API获取的数据进行核心模型训练,全部禁止商业化

类ChatGPT开源模型,允许商业化!Dolly 2.0震撼发布!插图1

从Open AI的论文来看,原始InstructGPT模型是在一个包含 13,000 个指令遵循行为演示的数据集上训练的。也就是说,如果能原创13,000个问答,就可以避开Open AI顺利实现商业化

Databricks受此启发,调集内部5,000名员工开始编写脑洞、常规、创意写作、分类、文本摘要、特定场景等几乎涵盖所有领域的,15,000个高质量原创人工生成的问答提示,用于专门训练Dolly 2.0。

类ChatGPT开源模型,允许商业化!Dolly 2.0震撼发布!插图2

事实上,原创15,000个问答并且丝毫不能与ChatGPT生成的数据集重复是相当困难的,如果出现重复整个训练集都会遭到污染,不能用于商业化。

为了激励员工,Databricks在内部举办了一个原创问答数据比赛,前20名将获得大奖。并且Databricks还规定了原创问答的范围,例如,总结维基百科的知识,原创诗歌/情书,写一段脑洞大开的演讲等。

类ChatGPT开源模型,允许商业化!Dolly 2.0震撼发布!插图3

起初,Databricks认为能收到10,000个原创问答都很困难,实际上员工对这个活动充分了兴趣,最终收货了超过15,000个高质量数据集。经过高质量的数据集训练Dolly 2.0的问答表现几乎完美复刻了ChatGPT。

Databricks表示,由于训练集有限,Dolly 2.0在复杂语法提示、开发代码、复杂逻辑运算、文笔模仿等方面还有很大的进步空间。但Databricks会加快对Dolly 2.0的功能迭代,使其变得更加强大、高效。

关于Databricks

Databricks创立于2013年总部位于美国旧金山,在12个国家设有办事处。主要提供云数据管理服务,企业客户超过7,000家,典型客户包括:微软、亚马逊、Tableau、Booz Allen Hamilton等世界知名企业。

本文素材来源Databricks,如有侵权请联系删除

END

加入AIGC开放社区交流群

添加微信:13331022201 ,备注“职位信息&名字”

管理员审核后加入讨论群