近期,隨著人工智能(AI)技術(shù)的快速迭代與產(chǎn)業(yè)化加速,詞元(Token)作為大模型處理信息的基本單位,成為公眾日益熟知、高度關(guān)注的熱詞。
我們每使用一次AI大模型,都要消耗一定數(shù)量的詞元,一次復(fù)雜的智能體任務(wù)可能要消耗數(shù)萬個詞元。小小的詞元,如何撬動AI大產(chǎn)業(yè)?當(dāng)前還存在哪些挑戰(zhàn)、短板?“新華視點”記者進(jìn)行了調(diào)查。
調(diào)用量兩年間增長超千倍
“今天北京的天氣如何?”“能幫我生成一個AI短劇嗎”“我要去演講,幫我做一份PPT”……如今,在工作生活中遇到問題,找大模型助手“AI一下”越來越常見。
這些AI應(yīng)用的背后,都離不開詞元。深圳行勝數(shù)字技術(shù)有限公司CEO郝放表示,詞元是信息時代和AI時代的分水嶺,信息時代的度量單位是字節(jié),AI時代的度量單位是詞元。
深圳云天勵飛技術(shù)股份有限公司董事長兼CEO陳寧表示,詞元是數(shù)字化的價值載體,可計量、定價、交易,是智能時代的價值錨點和連接技術(shù)供給與商業(yè)需求的結(jié)算單位。一個詞元約等于0.75個英文單詞,背后對應(yīng)著真實的算力、電力和基礎(chǔ)設(shè)施成本。
詞元正串聯(lián)起新的經(jīng)濟(jì)鏈條。如上游GPU(圖形處理器)芯片、AI服務(wù)器等為詞元提供算力支持,中游云服務(wù)商、大模型廠商負(fù)責(zé)詞元的工業(yè)化生產(chǎn)、分銷與商業(yè)化運營,下游AI智能體、企業(yè)級應(yīng)用等是詞元消耗的最終場景。
在廣東韶關(guān),一個個數(shù)據(jù)中心日夜不停處理著大灣區(qū)的算力請求,有了這些算力,詞元才能源源不斷產(chǎn)生。而在下游的深圳華強北,玩具、眼鏡、樂器等普通硬件產(chǎn)品,加載AI智能體、有了“新大腦”后,便成為詞元的消耗載體。
來自國家數(shù)據(jù)局的數(shù)據(jù)表示,我國日均詞元調(diào)用量從2024年初的1000億躍升至2026年3月的140萬億以上,兩年間增長超千倍。第三方機(jī)構(gòu)預(yù)測,到2030年中國AI推理詞元消耗量將增長超300倍。
中國(深圳)綜合開發(fā)研究院通證數(shù)字經(jīng)濟(jì)研究中心主任李恩漢說,工廠、港口、跨境電商、金融、物流等高頻場景有海量的詞元調(diào)用需求。當(dāng)把AI嵌入生產(chǎn)、運營和服務(wù)流程,把問答工具升級成真正能“跑業(yè)務(wù)”的智能體,詞元就能變成實實在在的產(chǎn)值和稅收。
今年初,以“龍蝦”為代表的AI智能體爆火,推動詞元調(diào)用量激增。不少海外用戶調(diào)用中國大模型API(應(yīng)用程序編程接口),在中國完成推理運算,結(jié)果回傳境外,“電力未出境,但價值跨境交付”。部分中國大模型收入爆發(fā)式增長,20天的累計收入已超過2025年全年總收入。
3月12日,在江蘇省連云港市連云區(qū),用戶在使用開源AI智能體“龍蝦”電腦網(wǎng)頁版。新華社發(fā)(王春攝)
仍難標(biāo)準(zhǔn)計量 治理還有難點
“詞元是新的大宗商品?!痹谟ミ_(dá)2026年度開發(fā)者大會上,英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛說。
不少業(yè)界人士表示,雖然風(fēng)口已至、發(fā)展空間廣闊,但當(dāng)前有關(guān)詞元的計量、交易與管理,還有不少問題待解。
——仍難標(biāo)準(zhǔn)計量,“熱鬧多、閉環(huán)少”。騰訊研究院相關(guān)負(fù)責(zé)人表示,不同的詞元價值不一樣。百萬個詞元,如果是用來閑聊的,可能僅值0.01美元;如果是用來寫代碼的,可能值200美元;如果是用來做法律文檔審閱的,可能值1000美元。這也導(dǎo)致一個可能的情況:不到5%的詞元消耗,創(chuàng)造了超過80%的可測量價值。
在詞元生產(chǎn)端,也存在類似情況。同時,在編程、視頻生成、聊天等之外,AI應(yīng)用尚未大范圍普及,不少企業(yè)的收入增長建立在資本開支擴(kuò)張和短期訂單上,還未形成穩(wěn)定、可復(fù)購的商業(yè)模式。
——規(guī)則尚不完善,不利于長期發(fā)展。陳寧認(rèn)為,當(dāng)前我國大模型正在服務(wù)全球用戶,詞元可直接跨境交付,不需要通過集裝箱和海關(guān);但現(xiàn)有的貿(mào)易統(tǒng)計框架、分類還無法準(zhǔn)確描述這種新型貿(mào)易。同時,大量AI服務(wù)創(chuàng)造的價值,游離于國內(nèi)生產(chǎn)總值(GDP)統(tǒng)計之外,也可能帶來一定信息遺漏和盲區(qū)。
——安全隱患凸顯,謹(jǐn)防新型騙局。國家安全部微信公號發(fā)文提醒,詞元在使用過程中存在一定的安全風(fēng)險,包括泄露劫持風(fēng)險、偽造篡改風(fēng)險、詐騙陷阱風(fēng)險等。不法分子可通過跨站腳本攻擊(XSS)、公共Wi-Fi嗅探等方式,竊取、截獲未加密的令牌。同時,不法分子還有可能制造“虛假令牌”,誘導(dǎo)用戶泄露身份證號、手機(jī)號等隱私信息。
“如何進(jìn)一步提升詞元流通的安全,這是當(dāng)前亟待解決的一個問題?!焙路耪f。
在一些社交平臺和私域社群里,詞元被包裝成新一代“暴富密碼”。“現(xiàn)在囤詞元,就像早年囤比特幣、囤域名,是通往財富自由的新風(fēng)口”“Token就是數(shù)字石油!現(xiàn)在不囤,以后稀缺了哭都來不及”“我有內(nèi)部渠道,Token價格打三折!囤貨轉(zhuǎn)手就賺”等話術(shù)層出不窮。
深圳市人工智能行業(yè)協(xié)會執(zhí)行會長郎麗艷表示,詞元只是一個度量單位,真正有價值的是算力和高質(zhì)量數(shù)據(jù);要防止有人渾水摸魚,以詞元為噱頭制造新型騙局。
完善治理機(jī)制 提高安全防范意識
在不少業(yè)界人士看來,要持續(xù)健全有關(guān)詞元的標(biāo)準(zhǔn)、市場、公共治理等機(jī)制,促進(jìn)相關(guān)產(chǎn)業(yè)高質(zhì)量發(fā)展。
陳寧建議,加強實時算力供給與應(yīng)用需求匹配能力,實現(xiàn)算力資源的精準(zhǔn)匹配、動態(tài)調(diào)度與高效利用,構(gòu)建與之相適應(yīng)的統(tǒng)計制度,助力詞元成為數(shù)字經(jīng)濟(jì)中的通用計價單位,貫穿AI服務(wù)、數(shù)據(jù)交易與算力租賃全場景。
合肥零次方機(jī)器人有限公司聯(lián)合創(chuàng)始人李宜哲表示,具身智能是AI智能體的物理載體,可將數(shù)字世界的詞元價值延伸至物理場景,實現(xiàn)“智能決策+物理執(zhí)行”一體化。要盡快確定標(biāo)準(zhǔn),打通詞元在人、機(jī)、物三方融合中的通用價值。
要持續(xù)推動技術(shù)突破,提升經(jīng)濟(jì)性、安全性。上海交通大學(xué)副教授、無問芯穹聯(lián)合創(chuàng)始人戴國浩建議,研究打造敏感數(shù)據(jù)端側(cè)脫敏、高智能任務(wù)上云執(zhí)行的端云一體架構(gòu),通過推理優(yōu)化有望降低云端成本,支撐安全、低成本、規(guī)?;脑~元應(yīng)用。
不少業(yè)界人士認(rèn)為,要研究詞元應(yīng)用的能耗與碳治理,推廣綠色算力認(rèn)證,重視環(huán)境成本,并持續(xù)推動構(gòu)建數(shù)字經(jīng)濟(jì)全球治理新秩序。
郎麗艷表示,要建立可信、高效、公平的價值度量與分配體系,才能讓數(shù)據(jù)、算力、算法、智能體充分釋放價值。隨著詞元機(jī)制不斷完善,AI將全面融入產(chǎn)業(yè)流程,重塑生產(chǎn)、分配、交換、消費全鏈條。
有關(guān)部門提醒,面對詞元熱潮,我們既要理性看待其價值,又要注意信息安全、隱私安全,提高安全防范意識,做到了解、善用。如遭遇詐騙、信息泄露或發(fā)現(xiàn)非法活動,應(yīng)及時向有關(guān)部門反映。(記者孫飛、陳宇軒)