深度学习公司Deci推出了 DeciCoder，这是一种新的基于人工智能的生成基础模型，可以用各种编程语言生成代码。据该公司称，该模型拥有 10 亿个参数和包含 2048 个标记的大型上下文窗口，这使其能够生成高质量且多样化的代码片段。
Deci 首席执行官兼联合创始人 Yonatan Geifman 告诉元宇宙 Post，模型推理成本是代码生成等生成式 AI 应用的一个主要问题。高成本主要是由于这些模型的大小、计算要求以及底层大型语言模型 (LLM) 的内存强度。因此，快速生成需要昂贵的高端硬件。
“抵消这些过高成本并将推理支出减少 4 倍的解决方案是开发更高效的模型，”Geifman 告诉元宇宙 Post。 “这些模型应该能够在更便宜的硬件上快速推理，而不牺牲准确性。这正是 DeciCoder 所做的，并且它在这方面脱颖而出。”
该公司表示，当在较便宜的 NVIDIA A10G 硬件上运行时，DeciCoder 的推理速度超过了在价格较高的 NVIDIA A100 上运行的 SantaCoder（10 亿参数范围内最受欢迎的模型）。此外，A10 上的 DeciCoder 比 A10 上的 SantaCoder 快 3.5 倍，比 A100 上的 SantaCoder 快 1.6 倍。
Geifman 声称 DeciCoder 还具有出色的准确性。该模型在所训练的所有三种编程语言（Python、JavaScript 和 Java）上的准确性均优于 SantaCoder。
他表示，与 Deci 的 Infery 工具一起使用时，生成模型可显着降低推理成本：与 SantaCoder 在 HuggingFace 推理端点上的性能相比，每 1,000 个代币的成本降低了 71.4%。
“DeciCoder 允许企业将其代码生成工作负载迁移到更便宜的硬件，而不牺牲速度或准确性，或者在更少的 GPU 时间内生成更多代码，从而降低推理过程中的计算成本，”
盖夫曼分享道。
此外，据报道，DeciCoder 与 A10G GPU 上的 Infery（Deci 的推理加速库）相结合，有助于最大限度地减少碳足迹。该公司声称，与相同硬件上的 SantaCoder 相比，每个模型实例的年碳排放量减少了 324 千克二氧化碳。
通过令人印象深刻的基准推进代码生成
Geifman 解释说，两个主要的技术特点有助于 DeciCoder 提高吞吐量并减少内存使用：DeciCoder 的模型创新架构和 Deci 推理加速库的利用。
“Deci 的架构是由其专有的神经架构搜索技术 AutoNAC 生成的，该技术在计算机视觉和 NLP 方面生成了多个高效的基础模型，”他说。 “模型架构的内在设计赋予 DeciCoder 卓越的吞吐量和准确性。虽然 DeciCoder 与 SantaCoder 和 OpenAI 的 GPT 模型一样，都是基于 Transformer 架构，但它在分组查询注意力 (GQA) 的独特实现方面有所不同。”
GPT-3、SantaCoder 和 Starcoder 使用多查询注意力而不是多头注意力来提高效率，从而加快推理速度。然而，与多头注意力相比，这种效率是以质量和准确性降低为代价的。
Deci 的 GQA 比 Multi-Query Attention 在准确性和效率之间取得了更好的平衡。它保持相似的效率水平，同时显着提高准确性。
当比较 DeciCoder 和 SantaCoder 时，差异变得更加明显，两者都部署在 HuggingFace 推理端点上。 DeciCoder 的吞吐量提高了 22%，并且准确性有所提高，如第二个图表和下图所示。
Deci表示，其LLM推理加速库Infery使用该公司研究和工程团队开发的先进专有工程技术来加速推理。
该公司声称，这些可以进一步提高吞吐量，并且可以应用于除 Deci 之外的任何法学硕士。此外，该公司表示，Infery 相对易于使用，开发人员只需几行代码即可采用复杂、高度先进的技术。
利用 AutoNAC 实现准确性和速度的最佳平衡
根据盖夫曼的说法，对“最佳”神经网络架构的追求历来是一项劳动密集型的手动探索。虽然这种手动方法通常会产生结果，但它非常耗时，并且通常无法确定最有效的神经网络。
“人工智能社区认识到神经架构搜索（NAS）作为潜在的游戏规则改变者的前景，可以自动开发高级神经网络。然而，传统 NAS 方法的计算需求限制了少数拥有大量资源的组织的可访问性。”
盖夫曼告诉元宇宙邮报。
Deci 声称，其“AutoNAC”功能可以通过提供计算高效的方法来生成 NAS 生成的算法，从而简化 NAS 流程，从而缩小潜力和可行性之间的差距。
该公司解释说，AutoNAC 是一种算法，以特定数据集特征、模型任务、性能目标和推理环境作为输入，并输出最佳神经网络，该网络可在满足指定要求的准确性和推理速度之间实现最佳平衡。
除了Yolo-NAS等对象检测模型之外，AutoNAC 还为 NLP 任务 ( DeciBert ) 和计算机视觉任务 ( NAS SegFormer ) 生成了基于 Transformer 的模型。
该公司宣布，DeciCoder 的推出是一系列备受期待的版本中的第一个，概述了 Deci 的生成人工智能产品，这些版本将于未来几周内发布。
DeciCoder 及其预训练权重现已在宽松的 Apache 2.0 许可证下提供，授予开发人员广泛的使用权利并将模型定位于现实世界的商业应用程序。
阅读更多：
- 具有 70 亿个参数的 LLaMa 在 Apple M2 Max 芯片上实现闪电般的快速推理
- GPT-4 泄露的细节揭示了其庞大的规模和令人印象深刻的架构
- ChatGPT 在所有人工智能基准测试中击败中国聊天机器人 Ernie
这篇文章《Deci 推出 DeciCoder 以利用生成式 AI 简化代码开发》首先出现在元宇宙 Post上。
