solidot新版网站常见问题,请点击这里查看。

Databricks 发布开源指令微调大语言模型 Dolly 2.0

人工智能
Wilson (42865)发表于 2023年04月12日 23时20分 星期三

来自苍穹微石
Databricks 公司两周前发布了它的指令遵循(instruction-following)大语言模型 Dolly,本周三它发布了 Dolly 2.0——可授权商业使用的开源指令微调大语言模型。Dolly 2.0 有 120 亿参数,基于 EleutherAI pythia 模型家族,使用高质量的人类生成的指令遵循数据集进行微调。Databricks 开源了 Dolly 2.0 的整个系统,包括训练代码、数据集和模型权重,全都适合商业使用。而目前开源社区流行的 LLaMA 衍生模型使用的是非商业使用授权。


https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm