深度學習公司Deci推出了 DeciCoder，這是一種新的基於人工智慧的生成基礎模型，可以用各種程式語言生成程式碼。據該公司稱，該模型擁有 10 億個引數和包含 2048 個標記的大型上下文視窗，這使其能夠生成高質量且多樣化的程式碼片段。
Deci 執行長兼聯合創始人 Yonatan Geifman 告訴元宇宙 Post，模型推理成本是程式碼生成等生成式 AI 應用的一個主要問題。高成本主要是由於這些模型的大小、計算要求以及底層大型語言模型 (LLM) 的記憶體強度。因此，快速生成需要昂貴的高階硬體。
“抵消這些過高成本並將推理支出減少 4 倍的解決方案是開發更高效的模型，”Geifman 告訴元宇宙 Post。 “這些模型應該能夠在更便宜的硬體上快速推理，而不犧牲準確性。這正是 DeciCoder 所做的，並且它在這方面脫穎而出。”
該公司表示，當在較便宜的 NVIDIA A10G 硬體上執行時，DeciCoder 的推理速度超過了在價格較高的 NVIDIA A100 上執行的 SantaCoder（10 億引數範圍內最受歡迎的模型）。此外，A10 上的 DeciCoder 比 A10 上的 SantaCoder 快 3.5 倍，比 A100 上的 SantaCoder 快 1.6 倍。
Geifman 聲稱 DeciCoder 還具有出色的準確性。該模型在所訓練的所有三種程式語言（Python、JavaScript 和 Java）上的準確性均優於 SantaCoder。
他表示，與 Deci 的 Infery 工具一起使用時，生成模型可顯著降低推理成本：與 SantaCoder 在 HuggingFace 推理端點上的效能相比，每 1,000 個代幣的成本降低了 71.4%。
“DeciCoder 允許企業將其程式碼生成工作負載遷移到更便宜的硬體，而不犧牲速度或準確性，或者在更少的 GPU 時間內生成更多程式碼，從而降低推理過程中的計算成本，”
蓋夫曼分享道。
此外，據報道，DeciCoder 與 A10G GPU 上的 Infery（Deci 的推理加速庫）相結合，有助於最大限度地減少碳足跡。該公司聲稱，與相同硬體上的 SantaCoder 相比，每個模型例項的年碳排放量減少了 324 千克二氧化碳。
通過令人印象深刻的基準推進程式碼生成
Geifman 解釋說，兩個主要的技術特點有助於 DeciCoder 提高吞吐量並減少記憶體使用：DeciCoder 的模型創新架構和 Deci 推理加速庫的利用。
“Deci 的架構是由其專有的神經架構搜尋技術 AutoNAC 生成的，該技術在計算機視覺和 NLP 方面生成了多個高效的基礎模型，”他說。 “模型架構的內在設計賦予 DeciCoder 卓越的吞吐量和準確性。雖然 DeciCoder 與 SantaCoder 和 OpenAI 的 GPT 模型一樣，都是基於 Transformer 架構，但它在分組查詢注意力 (GQA) 的獨特實現方面有所不同。”
GPT-3、SantaCoder 和 Starcoder 使用多查詢注意力而不是多頭注意力來提高效率，從而加快推理速度。然而，與多頭注意力相比，這種效率是以質量和準確性降低為代價的。
Deci 的 GQA 比 Multi-Query Attention 在準確性和效率之間取得了更好的平衡。它保持相似的效率水平，同時顯著提高準確性。
當比較 DeciCoder 和 SantaCoder 時，差異變得更加明顯，兩者都部署在 HuggingFace 推理端點上。 DeciCoder 的吞吐量提高了 22%，並且準確性有所提高，如第二個圖表和下圖所示。
Deci表示，其LLM推理加速庫Infery使用該公司研究和工程團隊開發的先進專有工程技術來加速推理。
該公司聲稱，這些可以進一步提高吞吐量，並且可以應用於除 Deci 之外的任何法學碩士。此外，該公司表示，Infery 相對易於使用，開發人員只需幾行程式碼即可採用複雜、高度先進的技術。
利用 AutoNAC 實現準確性和速度的最佳平衡
根據蓋夫曼的說法，對“最佳”神經網路架構的追求歷來是一項勞動密集型的手動探索。雖然這種手動方法通常會產生結果，但它非常耗時，並且通常無法確定最有效的神經網路。
“人工智慧社群認識到神經架構搜尋（NAS）作為潛在的遊戲規則改變者的前景，可以自動開發高階神經網路。然而，傳統 NAS 方法的計算需求限制了少數擁有大量資源的組織的可訪問性。”
蓋夫曼告訴元宇宙郵報。
Deci 聲稱，其“AutoNAC”功能可以通過提供計算高效的方法來生成 NAS 生成的演算法，從而簡化 NAS 流程，從而縮小潛力和可行性之間的差距。
該公司解釋說，AutoNAC 是一種演算法，以特定資料集特徵、模型任務、效能目標和推理環境作為輸入，並輸出最佳神經網路，該網路可在滿足指定要求的準確性和推理速度之間實現最佳平衡。
除了Yolo-NAS等物件檢測模型之外，AutoNAC 還為 NLP 任務 ( DeciBert ) 和計算機視覺任務 ( NAS SegFormer ) 生成了基於 Transformer 的模型。
該公司宣佈，DeciCoder 的推出是一系列備受期待的版本中的第一個，概述了 Deci 的生成人工智慧產品，這些版本將於未來幾周內釋出。
DeciCoder 及其預訓練權重現已在寬鬆的 Apache 2.0 許可證下提供，授予開發人員廣泛的使用權利並將模型定位於現實世界的商業應用程式。
