关注我们：

solidot新版网站常见问题，请点击这里查看。

BentoML 发布大模型开放平台 OpenLLM

人工智能
Wilson (42865)发表于 2023年06月19日 23时19分 星期一

来自伊甸
BentoML 发布了大模型开放平台 OpenLLM，采用 Apache-2.0 许可证，允许用户在云端或本地（对硬件有高要求）部署和运行任何开源大模型，构建 AI 应用。OpenLLM 支持的开源大模型包括了 StableLM、Falcon、Dolly、Flan-T5、ChatGLM 和 StarCoder 等。不同模型对硬件有不同的需求，举例来说，有 400 亿参数的 Falcon 40b 模型需要英伟达 48GB 显存的 A100 专业显卡。开发者表示他们正在开发微调功能，预计会很快释出。


https://github.com/bentoml/OpenLLM