京東言犀大模型：數(shù)智供應(yīng)鏈，為大模型提供“產(chǎn)業(yè)基因”原創(chuàng)
大模型真正實(shí)現(xiàn)自己的價值，一定是在產(chǎn)業(yè)應(yīng)用中。
大模型是當(dāng)下每一個企業(yè)的關(guān)注焦點(diǎn)，從技術(shù)路徑看，大模型的技術(shù)底座是Transformer，各家都是基于此做大規(guī)模預(yù)訓(xùn)練，再不斷進(jìn)行調(diào)優(yōu)成為屬于自己的模型，這也產(chǎn)生了許多具有行業(yè)屬性的“行業(yè)大模型”，所以大模型真正的挑戰(zhàn)并不僅僅是技術(shù)競爭，更重要的是如何在行業(yè)中實(shí)現(xiàn)突破。
這也正是京東瞄準(zhǔn)的方向。京東集團(tuán)CEO許冉曾說，“大模型真正實(shí)現(xiàn)自己的價值，一定是在產(chǎn)業(yè)應(yīng)用中。”作為一家新型實(shí)體企業(yè)，京東選擇了與業(yè)內(nèi)通用大模型差異化的路線，把面向產(chǎn)業(yè)的京東言犀大模型和言犀AI開發(fā)計算平臺推至臺前，將前沿AI技術(shù)與數(shù)智供應(yīng)鏈相結(jié)合，帶來真正意義上的產(chǎn)業(yè)價值。
如何評判大模型的產(chǎn)業(yè)價值？
談到產(chǎn)業(yè)大模型，很多人第一反應(yīng)是聚焦某個行業(yè)做小模型。京東探索研究院院長、科技智能服務(wù)與產(chǎn)品部總裁何曉冬表示，其實(shí)做產(chǎn)業(yè)模型還是需要通用域的數(shù)據(jù)，它提供了背景常識性的知識。“行業(yè)模型并不意味著小模型，也不意味著單獨(dú)某一個領(lǐng)域的數(shù)據(jù)，而是通用公域數(shù)據(jù)加上行業(yè)數(shù)據(jù)一起，構(gòu)成了產(chǎn)業(yè)大模型的訓(xùn)練數(shù)據(jù)來源。”
京東在多個領(lǐng)域都形成了完整的數(shù)智供應(yīng)鏈，包括零售、物流、健康、金融、客服、采購、營銷等，每年數(shù)百億的智能交互數(shù)據(jù)，為大模型提供了豐富的“產(chǎn)業(yè)基因”。言犀大模型融合了70%通用數(shù)據(jù)和30%數(shù)智供應(yīng)鏈原生數(shù)據(jù)訓(xùn)練。這些數(shù)據(jù)來源于京東服務(wù)的千萬自營商品SKU，5000萬工業(yè)品SKU，超800萬家活躍企業(yè)客戶，以及全國超2000個產(chǎn)業(yè)帶的真實(shí)需求。何曉冬說，“某種意義上，我們相當(dāng)于既有了“通識教育”，又讀了四年專業(yè)性的本科教育。”
大模型的價值=算法×算力×數(shù)據(jù)×產(chǎn)業(yè)厚度的平方，這是京東提出的大模型價值評判公式。在算法架構(gòu)上，言犀大模型采用分布式訓(xùn)練框架（Megatron+DeepSpeed），并通過京東自研向量數(shù)據(jù)庫Vearch為大模型提供長期記憶。Vearch能夠支持百億級向量數(shù)據(jù)的高性能檢索，延時降低到毫秒級。目前，Vearch已經(jīng)服務(wù)超過100家大中型企業(yè)用戶，將其用于大模型預(yù)訓(xùn)練，可以降低80%的推理成本。
對于商用大模型而言，生成內(nèi)容的準(zhǔn)確性至關(guān)重要，目前言犀大模型的效果在實(shí)體屬性抽取準(zhǔn)確率達(dá)到了96%。早在2020年京東就發(fā)現(xiàn)大模型“胡說八道”的問題，并開始自研算法，首創(chuàng)了基于領(lǐng)域知識注入的預(yù)訓(xùn)練語言模型K-PLUG，不僅提高了推理速度，還大大降低了模型部署的成本。
在算力上，京東21年構(gòu)建了全國首個基于DGX SuperPOD架構(gòu)的超大規(guī)模計算集群——天琴α，算力總規(guī)模達(dá)到135TFLOPS（每秒浮點(diǎn)運(yùn)算次數(shù)），推理提速6.2倍，推理成本節(jié)省90%。成為大模型背后強(qiáng)大的算力支撐。
在算法、算力、數(shù)據(jù)三個指標(biāo)之上，更關(guān)鍵的是技術(shù)在產(chǎn)業(yè)場景落地應(yīng)用，創(chuàng)造實(shí)際價值。目前，言犀已經(jīng)在零售、物流、健康、工業(yè)等領(lǐng)域?qū)崿F(xiàn)落地應(yīng)用，為超5.8億用戶，數(shù)十萬商家提供服務(wù)。
言犀AI開發(fā)計算平臺，助力企業(yè)大模型落地
大模型的應(yīng)用方式，通常是通過API接口來調(diào)用。但這對于一些傳統(tǒng)行業(yè)客戶來說，還是有一定的技術(shù)門檻。何曉冬曾在采訪中表示，很多客戶唯一關(guān)心的就是服務(wù)效率，只要能將產(chǎn)品用起來就好。
京東基于言犀大模型解耦出的底層能力，推出了“言犀AI開發(fā)計算平臺”，平臺覆蓋數(shù)據(jù)準(zhǔn)備、模型開發(fā)、模型訓(xùn)練以及模型部署的AI開發(fā)全流程。內(nèi)含多個行業(yè)知識庫，包括零售、物流、健康等十余個產(chǎn)業(yè)Know-How，可以為平臺上的基礎(chǔ)大模型，提供豐富的行業(yè)應(yīng)用場景。同時，平臺為企業(yè)提供了百余種訓(xùn)練和推理優(yōu)化工具，能讓用戶把通用模型迅速轉(zhuǎn)化為專業(yè)模型。
通過言犀平臺，不到一周時間，即可完成從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、到模型部署的全流程，之前需要10余人的科學(xué)家團(tuán)隊工作，現(xiàn)在只需要1-2個算法人員。利用平臺模型加速工具優(yōu)化，推理成本可節(jié)約90%。
京東健康發(fā)布的京醫(yī)千詢大模型，就是建立在京東言犀通用大模型基礎(chǔ)之上，可以快速完成在醫(yī)療健康領(lǐng)域各個場景的遷移和學(xué)習(xí)，從而實(shí)現(xiàn)產(chǎn)品和解決方案的全面AI化部署。
當(dāng)前國內(nèi)正處于大模型熱潮，做大模型的公司層出不窮，但京東給出了明確的產(chǎn)業(yè)落地路線圖。言犀大模型將以“三步走”路徑先進(jìn)行內(nèi)部實(shí)踐再服務(wù)產(chǎn)業(yè)�，F(xiàn)階段，京東發(fā)布了言犀大模型與大模型計算開放平臺，今年下半年，將大模型應(yīng)用于京東內(nèi)部核心業(yè)務(wù)并形成最佳實(shí)踐，針對一些重點(diǎn)場景的標(biāo)桿客戶進(jìn)行對外服務(wù)。2024年上半年，將全面開放大模型能力，向產(chǎn)業(yè)輸出可用、可控、可信、可負(fù)擔(dān)的定制化模型，縮小數(shù)字和技術(shù)鴻溝，助力實(shí)體經(jīng)濟(jì)。
6年前，劉強(qiáng)東吹響“技術(shù)、技術(shù)、技術(shù)”的號角。2017年年底，京東成立了人工智能研究院，開始對AI技術(shù)布局。
2020年，基于全棧自研AI技術(shù)，京東推出言犀人工智能應(yīng)用平臺，開始把積累的人工智能技術(shù)，跟行業(yè)合作伙伴進(jìn)一步打磨、推向各行各業(yè)。
2021年，京東在重慶建立了全球首個超算中心，圍繞人工智能、量子計算等方向進(jìn)行科學(xué)研究探索。同年，十億級大模型K-PLUG發(fā)布。
2022年，織女模型參數(shù)達(dá)到百億級，在全球自然語言處理領(lǐng)域頂級測試中，以總平均分91.3分位居榜首，刷新自然語言理解技術(shù)世界紀(jì)錄。
2023年7月，京東發(fā)布千億級言犀大模型，再次展現(xiàn)了京東對產(chǎn)業(yè)服務(wù)的深度思考和技術(shù)實(shí)力。
對于京東而言，技術(shù)從未是終點(diǎn)，而是通往更大目標(biāo)的橋梁。京東發(fā)展產(chǎn)業(yè)大模型，是為了將產(chǎn)業(yè)實(shí)踐中沉淀的數(shù)字化能力，開放出來惠及社會，不斷提升產(chǎn)業(yè)效率。京東不僅在自身的數(shù)智供應(yīng)鏈上創(chuàng)造價值，也在與各行各業(yè)的合作伙伴共同探索和創(chuàng)新，讓大模型成為產(chǎn)業(yè)升級的助推器。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志，閱讀更多雜志內(nèi)容，請掃描下方二維碼
