solidot新版网站常见问题,请点击这里查看。
消息
本文已被查看 5404 次
压缩算法为大模型“瘦身”
普林斯顿大学和斯坦福大学团队开发出一种新压缩算法 CALDERA,能精简大模型(LLM)的海量数据,为 LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本,还能推动 LLM 在手机和笔记本电脑上高效使用。
团队举例称,当人们使用 ChatGP T时,请求会被发送到 OpenAI 公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大,通常还很慢。如果用户想要使用消费级图形处理单元运行 LLM,就需要对这些 LLM 进行压缩。
CALDERA 算法通过减少 LLM 冗余并降低信息层的精度来发挥作用。“瘦身”后的 LLM 更加精简,可在手机或笔记本电脑等设备上存储和访问,同时提供了与未压缩版本几乎一样准确而微妙的性能。虽然 CALDERA 并非首个压缩LLM的算法,但其独特之处在于兼具“低精度”和“低排序”两种特性。其中,“低精度”减少了比特数,加快了数据存储和处理速度。而“低排序”则降低了 LLM 数据中的冗余。
https://github.com/pilancilab/caldera
https://news.sciencenet.cn/htmlnews/2024/11/534486.shtm
https://github.com/pilancilab/caldera
https://news.sciencenet.cn/htmlnews/2024/11/534486.shtm