AI 不過周末，硅谷也是如此。大周日的，Llama 家族上新，一群 LIama 4 就這么突然發(fā)布了。
這是 Meta 首個基于 MoE 架構(gòu)模型系列，目前共有三個款：
Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth。
最后一個尚未推出，只是預(yù)告，但 Meta 已經(jīng)毫不避諱地稱前兩者是“我們迄今為止最先進(jìn)的型號，也是同類產(chǎn)品中最好的多模態(tài)型號”。
詳細(xì)來看一些關(guān)鍵詞 ——
Llama 4 Scout，16 位專家的 170 億激活參數(shù)的多模態(tài)模型，單個 H100 GPU 可運(yùn)行，同類 SOTA，并擁有 10M 上下文窗口。
Llama 4 Maverick，128 位專家的 170 億激活參數(shù)多模態(tài)模型，擊敗 GPT-4o 和 Gemini 2.0 Flash，與 DeepSeek-V3 同等代碼能力參數(shù)只要一半，主打與 DeepSeek 一樣的性價比，單個 H100 主機(jī)即可運(yùn)行。
Llama 4 Behemoth：2 萬億參數(shù)的超大超強(qiáng)模型，以上二者都由這個模型蒸餾而來；目前還在訓(xùn)練中；多個基準(zhǔn)測試超過 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。
Meta 官推激情表示，這些 Llama 4 模型標(biāo)志著 Llama 生態(tài)系統(tǒng)新時代 —— 原生多模態(tài) AI 創(chuàng)新的開始。
與此同時，大模型競技場排名迎來一輪更新。
此次發(fā)布的 Llama 4 Maverick，在困難提示、編碼、數(shù)學(xué)、創(chuàng)意寫作方面并列第一；得分 1417，不僅大大超越了此前 Meta 自家的 Llama-3-405B（提升了 149 分），還成為史上第 4 個突破 1400 分的模型；。
而且跑分明確 —— 超越 DeepSeek-V3，實(shí)現(xiàn)亮相即登頂，直接成為排名第一的開源模型。
谷歌 CEO 劈柴哥第一時間發(fā)來賀電：
AI 世界，從不平淡！
恭喜呀！前進(jìn)吧，Llama 4 團(tuán)隊！
中杯、大杯首批亮相
了解了 Llama 4 家族全體成員后，我們先來見識一下首批發(fā)布的 2 個模型：
中杯
：Llama 4 Scout（偵查兵 Llama 4）。
大杯
：Llama 4 Maverick（特立獨(dú)行的 Llama 4）。
兩者均已能在 Llama 官網(wǎng)和抱抱臉上下載。
我們抓取并提煉出這倆模型的一些特點(diǎn)：
Meta 首批 MoE 架構(gòu)模型
這是 Llama 系列，第一批使用 MoE（混合專家模型）構(gòu)建的模型。
中杯 Llama 4 Scout 有 17B 激活參數(shù)，擁有 16 個專家模型。
大杯 Llama 4 Maverick 擁有 17B 激活參數(shù)，擁有 128 個專家模型。
至于還沒和大家正式見面的超大杯 Llama 4 Maverick，擁有 288B 激活參數(shù)，擁有 16 個專家模型。
非常長 ———— 的上下文
Llama 4 系列，均具有很長的上下文窗口。
這一點(diǎn)主要體現(xiàn)在 Meta 公布的中杯 Llama 4 Scout 的詳細(xì)數(shù)據(jù)里：
Llama 4 Scout 提供了行業(yè)領(lǐng)先的 100 萬上下文窗口。
經(jīng)過預(yù)訓(xùn)練和后訓(xùn)練，Llama 4 Scout 長度為 256K，這使基本模型具有高級長度泛化能力。
這個配置，讓它在廣泛的測評集上，比 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1 的結(jié)果更優(yōu)秀。
它在「大海撈針」測試上的表現(xiàn)如下：
結(jié)果如下：
那么之前的 Llama 系列模型的上下文窗口情況呢？
Llama 1，上下文窗口為 2k；
Llama 2，上下文窗口默認(rèn)為 4k，但可以通過微調(diào)等可以拓展到 32k；
Llama 3，上下文窗口是 8k，后來 Llama 3.1 的長文本能力拓展到了 128k。
Meta 官方博客中是這么寫的：
（Llama 4 的長上下文）開辟了一個充滿可能性的世界，包括多文檔摘要、解析廣泛的用戶活動以執(zhí)行個性化任務(wù)以及對龐大的代碼庫進(jìn)行推理。
原生多模態(tài)設(shè)計
Llama 4 系列，開啟了 Llama 的原生多模態(tài)時代。
而已經(jīng)公開對外的中杯和大杯，被官方稱為“輕量級原生多模態(tài)模型”。
給用戶的體驗(yàn)就是，上傳一張圖片，可以直接在對話框中提問關(guān)于這張圖片的各種問題。
不是我說，Llama 終于長眼睛了?。?！
