AI 開源與微調:Meta Llama 3.1 405B 與 OpenAI GPT-4o mini 各擅其場

Posted by

Meta 最新開源的 Llama 3.1 405B 模型,以其 4,050 億個參數和多語言支持,展現了開源 AI 的強大潛力。與此同時,OpenAI 推出了 GPT-4o mini 模型及其微調工具,提供兩個月的免費試用機會,讓我們能夠逐步微調模型以提升生成結果品質。這兩家公司均強調開源和靈活性在 AI 領域的重要性,並致力於推動更開放和高效的 AI 生態系統。

Meta 開源 AI 模型 Llama 3.1 405B 瞄準開源 AI 的未來

Meta 於日前開源了其最新的 AI 模型 Llama 3.1 405B,擁有高達 4,050 億個參數和 12.8 萬個 Token 的脈絡長度,支援 8 種語言,成為目前全球最大且最強的開源 AI 模型。

Llama 3.1 405B 在多項基準測試中表現優異,超越了包括 GPT-4、Claude 3.5 等多種封閉模型。Meta 的創辦人 Mark Zuckerberg 強調,開源是 AI 發展的未來,並期望 Llama 系列模型能如 Linux 一般成為業界標準。Meta 正與多家業者合作,推動開源生態體系的建立。

關鍵技術特點

規模與性能:Llama 3.1 405B 是 Meta 迄今開發的最大模型,經過超過 15 兆個 Token 的訓練,使用超過 1.6 萬個 H100 GPU。
開放與靈活:相比封閉模型,Llama 3.1 405B 更具成本效益和性能優勢,其開放性有助於微調和淬鍊出更小的模型。
生態系建設:Meta 與 Amazon、Databricks、Nvidia 等公司合作,推動開放生態系的發展,以促進市場使用 Llama 模型進行自定義訓練和推論。

競爭優勢

Llama 3.1 系列模型在多項基準測試中均優於市場上的頂級模型,包括 GPT-4 和 Claude 3.5。特別是在數學、推論、工具使用和多語言處理等方面,Llama 3.1 405B 顯示出卓越的性能。

未來展望

Mark Zuckerberg 表示,Meta 的目標是讓 Llama 成為 AI 領域的業界標準,並強調開源模式將帶來更多的安全性和創新。Meta 計畫通過建立強大的開放生態體系,與政府及業界合作,確保在 AI 領域保持領先優勢。

OpenAI 推出 GPT-4o mini 微調工具,免費試用兩個月

另一方面,在 Meta 這次開源的新 AI 模型消息出來後,目前 AI 業界的重點大廠 OpenAI 也宣布推出了最新的小模型 GPT-4o mini,並在不到一週內宣布提供其微調工具的免費試用兩個月。這款微調工具現已藉由現有的 API 提供給 tier 4 和 tier 5 用戶,並計劃逐步向所有收費等級用戶開放。從即日起到 9 月 23 日,每日有 200 萬字符可免費使用。

主要特點

微調工具:允許用戶輸入更多訓練範例,提升生成結果品質,並降低字符成本和延遲。
支持模型:可微調 GPT-4 和 GPT-4o mini 等模型,後者尤其適合大部分用戶。
免費試用:提供兩個月的免費試用,每日 200 萬字符的額度。

使用與定價

微調工具的使用費用視使用模型而異,如 GPT-4o mini 的提示輸入費用為每百萬字符 0.3 美元,輸出費用為每百萬字符 1.2 美元。Batch API 輸入則費用更低。
未來計劃

OpenAI 計畫逐步擴大微調工具的使用範圍,並讓用戶能夠更高效地利用 GPT-4o mini 模型的強大功能,實現更高品質的生成結果。

歡迎留下您的想法與意見:
新網站新氣象,會想到緞帶教堂的美好
一直很喜歡的緞帶教堂 Ribbon Chapel
2024 年 7 月
1234567
891011121314
15161718192021
22232425262728
293031