solidot新版网站常见问题,请点击这里查看。

英伟达 CUDA 对机器学习的垄断正逐步瓦解

人工智能
Wilson (42865)发表于 2023年01月16日 22时16分 星期一
来自美丽新世界
过去十年,机器学习软件开发框架经历了巨大变化。虽然大部分框架严重依赖于英伟达 CUDA,在 英伟达 CUDA 上有最佳性能。但随着 PyTorch 2.0 和 OpenAI Triton 的到来,英伟达 CUDA 对机器学习的垄断地位正逐渐瓦解。几年前,Google 的 TensorFlow 框架及专用加速器 TPU 具有先发优势,Google 被认为有望在机器学习行业占据主导地位。然而 Google 未能将先发优势转变为行业主导地位。PyTorch 赢了。没有使用 PyTorch 和 GPU 的 Google 孤立于机器学习社区。Google 偏爱自己软件栈和硬件,甚至于以典型的 Google 风格,它还开发了第二个框架 Jax 与自家的 TensorFlow 展开直接竞争。PyTorch 的一大优势是其灵活性,而即将到来的 2.0 将能更容易的利用不同硬件资源。PyTorch 2.0 改进英伟达 A100 GPU 训练性能达 86%,CPU 推理性能提升 26%,显著减少了训练模型所需的计算时间和成本。它还可以扩展到 AMD、英特尔、Tenstorrent、Luminous Computing、特斯拉、Google、亚马逊、微软、Marvell、Meta、Graphcore、Cerebras、SambaNova 等公司生产的 GPU 和加速器上。OpenAI 的 Triton 同样对英伟达的机器学习闭源软件护城河产生冲击,它可以跳过闭源 CUDA 库如 cuBLAS,使用开源库如 cutlass。优化 CUDA 需要对底层硬件有深入了解,而 Triton 能让高级语言达到与使用低级语言相当的性能,提高了可用性。OpenAI Triton 目前只支持英伟达 GPU,但未来将会支持其它硬件制造商。


https://www.semianalysis.com/p/nvidiaopenaitritonpytorch