新聞說:蘋果 AI 終於來了！誠意滿滿，4 種版本開源生成式 AI 模型 OpenELM，蘋果總算有生成式 AI 的新舉措。為了在加速生成式 AI 的發展，蘋果在開源 AI 平台 Hugging Face 上發布一個具有開源訓練和推理框架的高效語言模型，名為 OpenELM。據了解，OpenELM 有四種尺寸：2.7 億、4.5 億、11 億和 30 億個參數版本，定位於超小規模模型，而微軟 Phi-3 模型為 38 億。 這種小模型運行成本更低，可在手機和筆記型電腦等設備上運行。同時，在 WWDC24 開發者大會之前，蘋果徹底開源了 OpenELM 模型權重和推理程式碼，資料集和訓練日誌等。 而且，蘋果還開源了神經網路庫 CoreNet。早在今年 2 月，庫克就表示，蘋果生成式 AI 功能將於「今年稍後」推出，有消息稱即將在 6 月發布 iOS 18 可能是蘋果 iOS 史上 「最大」的更新，而 9 月也將推出首款 AI iPhone 設備。今，蘋果似乎在新一輪 AI 浪潮快到尾聲的時刻追趕上了產業腳步。隨著 ChatGPT 風靡全球，近幾個月來，三星、谷歌、小米等手機廠商全面推進大語言模型在手機、平板等端側上的使用，包括照片處理、文字處理增強等，並形成一大賣點 。 而蘋果很少透露且極少有類似的自備功能，主要是用第三方工具做到類似效果。今年 2 月財報會議上，庫克首次公佈生成式 AI 計劃，並將在今年稍後將 AI 技術整合到其軟體平台中。庫克表示，「我只想說，我認為蘋果在生成式 AI 和 AI 方面存在著巨大的機會，無需透露更多細節，也無需超出自己的預期。展望未來，我們將繼續投資於這些和其他 將塑造未來的技術。 其中包括 AI，我們繼續在AI領域花費大量時間和精力，我們很高興能在今年晚些時候分享我們在該領域正在進行的工作的細節。」事實上，自年初至今，蘋果在生成式 AI 領域動作不斷。 今年 3 月，蘋果技術團隊發表論文，首次披露蘋果大模型 MM1，涵蓋 300 億參數、支援多模態、支援 MoE 架構，超半數作者屬於 華人。如今，針對手機、平板等端側領域，蘋果真正的開源模型終於來了。根據論文顯示，蘋果開源了大語言模型 OpenELM，有指令微調和預訓練兩種模型版本，共有2.7億、4.5億、11億和30億4種參數，提供生成文本、代碼、翻譯、總結摘要等功能。雖然最小的參數只有 2.7 億，但蘋果使用了包括 RefinedWeb、去重的 PILE、RedPajama 的子集和 Dolma v1.6 的子集在內的公共資料集，一共約 1.8 萬億 tokens 資料進行了預訓練 ，這也是其能以小參數表現出超強性能的主要原因之一。例如，11 億參數的 OpenELM，比 12 億參數的 OLMo 模型的準確率高出 2.36%，而使用的預訓練資料卻只有 OLMo 的一半。在訓練流程中，蘋果採用了 CoreNet 作為訓練框架，並使用了 Adam 優化演算法進行了 35 萬次迭代訓練。 而蘋果的 MobileOne、CVNets、MobileViT、FastVit 等知名研究都是基於 CoreNet 完成的。蘋果在論文中也表示，與以往只提供模型權重和推理程式碼並在私有資料集上進行預訓練的做法不同，蘋果發布的版本包含了在公開資料集上訓練和評估語言模型的完整框架，包括訓練日誌、多個檢查點和預訓練配置。 同時，蘋果也發布將模型轉換為 MLX 庫的程式碼，以便在蘋果設備上進行推理和微調。「此次全面發布旨在增強和鞏固開放研究社區，為未來的開放研究工作鋪平道路。」蘋果研究團隊表示。
