商業(yè)
2025年過半,多家車企目標(biāo)銷量完成率不足30%
2025年上半年,比亞迪銷量領(lǐng)先,小鵬年度目標(biāo)完成率最高,8家車企完成率不足3成。
李旭
26分鐘前
Hugging Face、英偉達(dá)和約翰霍普金斯大學(xué)的研究人員近日宣布推出ModernBERT,這是對2018年發(fā)布的BERT模型的重大升級。ModernBERT不僅保留了BERT的高效性,還新增了處理長達(dá)8192個(gè)Token上下文的能力,顯著提升了模型的適用范圍和性能。
盡管BERT模型自發(fā)布以來一直是Hugging Face平臺上最受歡迎的模型之一,每月下載量超過6800萬次,但隨著技術(shù)的進(jìn)步,原版BERT已顯得有些落后。ModernBERT的開發(fā)團(tuán)隊(duì)借鑒了近年來大型語言模型(LLM)的進(jìn)展,對BERT的架構(gòu)和訓(xùn)練過程進(jìn)行了全面改進(jìn)。
據(jù)悉,ModernBERT使用了2萬億個(gè)Token進(jìn)行訓(xùn)練,使其在多種分類測試和向量檢索測試中均達(dá)到了業(yè)界領(lǐng)先水平。目前,開發(fā)團(tuán)隊(duì)已發(fā)布了兩個(gè)版本的ModernBERT,分別是1.39億參數(shù)和3.95億參數(shù)版本,供開發(fā)者和研究人員使用。