跨越AI 1.0到2.0，明略科技營銷大模型賽道下的創(chuàng)新與發(fā)展原創(chuàng)
無論是AI 1.0還是AI 2.0時代，數(shù)據(jù)毫無疑問一直都是非常重要的生產(chǎn)要素。尤其是在大模型時代，數(shù)據(jù)質(zhì)量直接影響模型效果。對于入局大模型賽道的企業(yè)玩家來說，手握優(yōu)質(zhì)數(shù)據(jù)意味著絕對性優(yōu)勢。而明略，則將賽道錨定在了營銷領(lǐng)域。
在明略科技集團首席技術(shù)官郝杰看來，目前我們已經(jīng)從AI 1.0步入到了AI 2.0時代。AI 1.0的末期可以追溯到2017年Transformer模型的發(fā)明，并進一步升級到了BERT、GPT等模型。“我個人將這個階段稱為模型預(yù)訓(xùn)練時代。從去年11月底ChatGPT問世以來，我們正式步入了AI 2.0時代，也就是大模型時代。”
郝杰表示，自從GPT問世以來，它對各行各業(yè)都產(chǎn)生了影響，但他個人認為營銷行業(yè)是最受影響的。例如，在美國，已經(jīng)有自動生成營銷文章的工具如Jasper、Copy.ai，甚至以前專注于消費者市場的產(chǎn)品，如Notion，現(xiàn)在也投入到了面向企業(yè)的營銷文章生成領(lǐng)域，與更多競品競爭。
在營銷領(lǐng)域，每個人對于營銷都有不同的理解，營銷是一個非常廣泛的領(lǐng)域，不僅包括市場營銷，還包括銷售、售前售后服務(wù)、客戶成功以及客服、用戶增長的CDP和DMP等等，體系非常多面且復(fù)雜，且直接面對消費者。
無論是AI 1.0還是AI 2.0時代，數(shù)據(jù)毫無疑問一直都是非常重要的生產(chǎn)要素。尤其是在大模型時代，數(shù)據(jù)質(zhì)量直接影響模型效果。對于入局大模型賽道的企業(yè)玩家來說，手握優(yōu)質(zhì)數(shù)據(jù)意味著絕對性優(yōu)勢。而明略，則將賽道錨定在了營銷領(lǐng)域。
在營銷領(lǐng)域，明略毫無疑問是“頭號玩家”。2006年，明略科技旗下子品牌秒針系統(tǒng)成立，為廣告主提供準確的互聯(lián)網(wǎng)用戶行為數(shù)據(jù)，發(fā)展至今，秒針所監(jiān)測的范圍幾乎深度覆蓋市面上所有主流媒體和廣告形式，成為國內(nèi)第一家申請MRC認證并唯一通過移動應(yīng)用內(nèi)曝光監(jiān)測審計的第三方監(jiān)測機構(gòu)。2019年，明略科技成為國家“營銷智能”領(lǐng)域新一代人工智能開放創(chuàng)新平臺。
明略科技通過分析知識圖譜和社交媒體上的輿情，發(fā)現(xiàn)牛油果酸奶是一個有潛力成為爆品的新產(chǎn)品品類，建議某乳品行業(yè)的龍頭企業(yè)推出相關(guān)產(chǎn)品，并通過其營銷大模型進行創(chuàng)新產(chǎn)品的研發(fā)和上市準備，例如設(shè)計杯子包裝、準備了關(guān)于牛油果酸奶口味、成分、功效等方面的信息，讓大模型生成更多關(guān)于牛油果酸奶的文章，以及與其他飲品的比較和用戶在輿論中的反應(yīng)趨勢的歸因分析，最終實現(xiàn)該創(chuàng)新產(chǎn)品的落地上市。
這個案例充分展示了明略科技通過大模型生成解決方案的能力，從分析洞察到內(nèi)容生成到投放監(jiān)測，貫穿營銷全鏈路。
本篇文章將跟隨郝杰的講述，跨越AI 1.0至2.0，回顧十幾年來技術(shù)變革歷程，探尋營銷未來發(fā)展的創(chuàng)新突破點。
從AI 1.0到2.0的跨越
在AI 1.0階段，明略科技其實進行了很多探索，比如會話智能業(yè)務(wù)線的底層技術(shù)就是NLP技術(shù)，它是一款業(yè)務(wù)增長引擎，以SaaS交付方式幫助企業(yè)營銷、銷售部門實現(xiàn)銷售過程數(shù)字化和銷售業(yè)績歸因分析。
在AI 1.0時代的末期，明略科技的AI模型已經(jīng)達到億級別參數(shù)規(guī)模。“我們使用的模型更多是基于BERT的路線，包括BERT和一些變種，如Albert等模型。我們曾經(jīng)使用Albert模型贏得了一些重要比賽的冠軍，這意味著在這個不太大的非生成式大模型上，我們有過成功的經(jīng)驗。但成功之下也有教訓(xùn)，就是人力投入的比例很高，因為非生成式的AI需要人工標注來做監(jiān)督訓(xùn)練。”郝杰說。
AI 1.0和2.0的一個重大區(qū)別就是以GPT為代表的生成式AI不再需要如此多的有監(jiān)督人工標注。從人力標注的角度來看，成本大大降低了。但這些成本轉(zhuǎn)移到算力和無監(jiān)督學(xué)習所需的海量語料上，可能會增加更多的成本。
目前明略科技正在進行大模型的開發(fā)，并且已經(jīng)轉(zhuǎn)向使用生成式大模型，采用了GPT模型。郝杰表示，“我們從零開始進行了明略科技營銷行業(yè)的大模型預(yù)訓(xùn)練，這一點非常重要。從0開始意味著我們不是在微調(diào)已有模型，盡管我們有能力進行微調(diào)和對齊。我們已經(jīng)找到了一條自己預(yù)訓(xùn)練的道路。”
在第一階段的預(yù)訓(xùn)練過程中，明略科技沒有直接使用第三方開源大模型已經(jīng)訓(xùn)練好的模型，而是精心準備了第一個token。經(jīng)過幾個月的調(diào)整，一個具有70億參數(shù)的明略營銷行業(yè)大模型問世了，它具備思維鏈COT能力，能夠按照要求分步達成任務(wù)。相比沒有思維鏈的情況下，它所給出的答案質(zhì)量更高，覆蓋美妝、汽車、3C、大健康和食品飲料行業(yè)這五大重點行業(yè)，具備進行文本生成、文本擴寫和問答等能力。
現(xiàn)在明略科技正在進行二次預(yù)訓(xùn)練的工作，利用成熟的開源模型作為二次預(yù)訓(xùn)練的參數(shù)初始化。在郝杰看來，模型并不是越大越好，中小企業(yè)會受困于模型訓(xùn)練所消耗的財力和人力，選擇7B這樣的主流尺寸對于企業(yè)本身來說是合適的。如果技術(shù)能力過關(guān)，百億參數(shù)已經(jīng)足夠展現(xiàn)出中小企業(yè)在垂直行業(yè)中的優(yōu)勢，可以構(gòu)建起競爭壁壘。
明略科技混合通用語料和營銷相關(guān)的數(shù)據(jù)，讓模型看到一些它之前沒有機會看到的文章、書籍，以及明略科技在社交媒體平臺上爬取、篩選、清洗的高質(zhì)量帖子，還有交付給客戶的優(yōu)質(zhì)報告、PPT等文檔，以及營銷領(lǐng)域的大師級著作。
訓(xùn)練數(shù)據(jù)的質(zhì)量也將會直接影響到大模型的效果，大模型的知識吸收程度或知識表達方式是由初級到高級，由具象到抽象的一個過程。明略科技在模型訓(xùn)練的過程中，也是由淺入深地給提供語料，因為模型的學(xué)習實際上是一個經(jīng)驗學(xué)科。明略科技對于數(shù)據(jù)有嚴格的質(zhì)量把控。
“我們會讓大模型逐步學(xué)習，然后注入一些專業(yè)知識，這樣的學(xué)習過程是循序漸進的。專業(yè)知識來源于明略科技的秒針行業(yè)知識庫和知識圖譜，這是我們十七年來在各行各業(yè)積累的領(lǐng)域知識。知識圖譜比知識庫更高級，具有可讀性強的特點。而知識庫則更樸素一些，但兩者差別不大，都包含大量實體、關(guān)系和屬性。”郝杰解釋說。
目前，明略科技在完成大模型的調(diào)教和訓(xùn)練后，將其應(yīng)用于重點行業(yè)，使得模型在回答問題、生成文章、推理等方面應(yīng)該比外部的開源和閉源模型效果更顯著。尤其是在與明略科技的Agent集成、與各種大小模型、API、數(shù)據(jù)庫和知識庫打通之后，模型效果更加顯著超過外部的通用模型，展示明略科技在AI 2.0時代的實力。
從AI Agent到insight agent、knowledge agent
AI Agent在營銷領(lǐng)域有很多實際應(yīng)用。例如，我們可以使用AI Agent進行內(nèi)容生成和診斷，幫助市場部門撰寫營銷短文、制定營銷策略等。大型客戶通常每天都在各個社交媒體平臺上投放營銷內(nèi)容。在過去，他們可能依賴代理公司或廣告公司來制作這些內(nèi)容，但在大模型時代，他們開始將預(yù)算用于大模型AI的探索性應(yīng)用。
明略科技成功為一些重點行業(yè)的客戶提供了AI Agent的服務(wù)，例如，我們批量為客戶生成了大量短文內(nèi)容，客戶可以從中挑選，并直接發(fā)布到社交平臺上面。
郝杰介紹說，明略科技將客戶的需求轉(zhuǎn)化為精心設(shè)計的prompt，通過prompt engineering的過程逐步提高生成文章的質(zhì)量。通過與大模型進行對話，詢問不同的問題，可以將一個簡單的問題轉(zhuǎn)化為一篇內(nèi)容豐富的文章。
在生成文章之后，明略科技使用質(zhì)量評估模型來評估生成的文章，并根據(jù)評估結(jié)果進行調(diào)整。這種評估過程不僅依賴于人工的判斷，還使用了AI1.0時代積累下來的質(zhì)量評估模型和方法論。
明略科技的秒針營銷科學(xué)院通過研究大量客戶案例，包括美妝、食品飲料、頭部快消等等，總結(jié)出優(yōu)質(zhì)內(nèi)容具備的“四有三友好”原則：在創(chuàng)作側(cè)，好內(nèi)容需要具備和用戶“有關(guān)系”、對用戶“有好處”、讓用戶覺得“有意思”，對內(nèi)容“有期待”的“四有”原則；在傳播側(cè)，則需要滿足和平臺的“算法友好”“圈層習慣友好”“平臺語境友好”三大原則。具體創(chuàng)作時，要綜合考慮用戶和產(chǎn)品本身的圈層、場景、痛點、賣點，基于這些原則大規(guī)模生產(chǎn)內(nèi)容，更為高效。
明略科技將“四有三友好”的理論引入到大模型的算法中，通過對帖子進行評級，進行基于人類反饋的強化學(xué)習，使大模型輸出結(jié)果能夠符合人類的期望。
除了內(nèi)容生成，明略AI agent還專注于分析洞察，即insight agent。比如針對廣告監(jiān)測業(yè)務(wù)，客戶的廣告預(yù)算、曝光有、點擊、轉(zhuǎn)化率等；聲量起伏趨勢、競品橫向?qū)Ρ鹊龋@都需要分析洞察，從而為客戶下一步投放做指導(dǎo)。
“明略科技通過與頭部客戶和標桿客戶進行POC（Proof of Concept）的打磨，打造出效果可接受、能被更廣泛訂閱的標準化產(chǎn)品。我們從圖片生成開始，然后擴展到營銷文章，內(nèi)容生成已經(jīng)成為活躍的領(lǐng)域，洞察則是幫助實現(xiàn)內(nèi)容下游價值的一部分。有了內(nèi)容生成與洞察，我們的其他業(yè)務(wù)將與之相結(jié)合，形成一個更有利的閉環(huán)。”郝杰說。
除了內(nèi)容，洞察，明略的AI agent還具備知識管理功能。各行各業(yè)的企業(yè)都有管理內(nèi)部知識的需求。在AI 1.0的時代，這一類產(chǎn)品被稱為企業(yè)知識，像金融行業(yè)有專門的供應(yīng)商提供企業(yè)知識管理的產(chǎn)品。在進入2.0時代，我們需要使用大模型重新構(gòu)建企業(yè)知識庫，明略科技將其稱為knowledge agent。
“我們的目標是讓大模型能夠訪問各行業(yè)的數(shù)據(jù)和API，以提供更全面的服務(wù)。大模型只是具備類似愛因斯坦大腦或百科全書的能力，但還需要與各行各業(yè)的數(shù)據(jù)庫和API對接，以獲取更多信息。”郝杰總結(jié)說。
技術(shù)創(chuàng)新展現(xiàn)強大實力
明略科技在大模型、AI agent等方面的探索充分表現(xiàn)了其技術(shù)創(chuàng)新實力。
大模型其實是由若干個transformer block構(gòu)成，底層的block負責學(xué)習初級知識，如語法、詞匯量、常識等，中間層的block則學(xué)習專門性的知識，如數(shù)理化、編程等，最高層的block則學(xué)習抽象的概念。
“在過去的幾年中，我一直在思考如何改進大模型。去年七月份我們提出了自己的模型，叫做blockformer，它把幾十個transformer blocks連接成了一個更大的block，具有更高的推理精度。得益于此，我們在中文語音識別的排行榜上取得了第一名。”郝杰說。
大模型離不開堅實的基礎(chǔ)設(shè)施，明略科技構(gòu)建了公有云、私有云混合的底座，確保成本可控和滿足擴展性需求。在工程和算法上，明略科技優(yōu)化開源的并行訓(xùn)練與推理架構(gòu)，完成一次和二次預(yù)訓(xùn)練，并通過并行計算解決顯存不足的情況。
對于大模型來說，數(shù)據(jù)安全非常重要。明略科技始終遵循合法合規(guī)的原則，以數(shù)據(jù)安全和隱私保護為最高綱領(lǐng)，百分之百尊重客戶和用戶的隱私安全。
“為了確保安全，我們采取了一系列技術(shù)手段，如脫敏、過濾和加密。在AI 2.0時代，大模型也會遵循相同的原則。我們不會涉及不應(yīng)該觸碰的內(nèi)容，只會處理合法合理能接觸的內(nèi)容。處理過程中會進行加密和權(quán)限管理，以保證數(shù)據(jù)的安全。另外，針對營銷行業(yè)，如果客戶需要將內(nèi)容投放到市場上，我們會從公開渠道獲取信息。這些加密和過濾措施不會對模型訓(xùn)練和最終輸出結(jié)果產(chǎn)生影響。”郝杰說。
自2017年起，明略科技陸續(xù)通過了信息安全管理體系認證（ISO 27001）、質(zhì)量管理體系認證（ISO 9001）、IT服務(wù)管理體系認證（ISO 20000）、隱私信息管理體系認證（ISO27701），旗下核心產(chǎn)品營銷智能平臺通過等級保護三級認證。今年3月，明略科技成為首批入選“卓信大數(shù)據(jù)計劃”成員單位，進一步從數(shù)據(jù)安全合規(guī)指導(dǎo)、數(shù)據(jù)安全管理能力建設(shè)、數(shù)據(jù)安全技術(shù)等方面持續(xù)提升能力，為客戶提供全方位的安全合規(guī)服務(wù)支撐和保障。
明略科技深耕人工智能領(lǐng)域17年，幫助2000＋企業(yè)在數(shù)字化轉(zhuǎn)型中挖掘數(shù)據(jù)價值及商業(yè)價值，積累了大量的營銷側(cè)數(shù)據(jù)和知識圖譜豐富經(jīng)驗，沉淀了大量的營銷專業(yè)數(shù)據(jù)，將沉淀的垂直行業(yè)數(shù)據(jù)、行業(yè)經(jīng)驗，注入到明略科技為客戶定制的大模型中，將打造出內(nèi)容更加聚焦、更適合營銷場景的營銷領(lǐng)域AI智能體，滿足客戶多樣化的任務(wù)和場景需求。
“展望未來，市場是多維度的競爭。技術(shù)也從來不會是護城河，因為技術(shù)總是在不斷的變化和進步中。技術(shù)的發(fā)展就像海浪一樣，一浪接著一浪，每一浪你都必須跟上，否則就會被拋在后面。”郝杰最后說。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志，閱讀更多雜志內(nèi)容，請掃描下方二維碼
