如果說re:Invent第一天的重點(diǎn)是Amazon Nova，第二天的重點(diǎn)就是如何在模型之后進(jìn)行訓(xùn)練、推理，并應(yīng)用落地。

這對(duì)應(yīng)的就是Amazon SageMaker、Amazon Bedrock和Amazon Q。

亞馬遜云科技人工智能與數(shù)據(jù)副總裁Swami Sivasubramanian認(rèn)為，現(xiàn)在我們正站在生成式AI的融合點(diǎn)上，這一進(jìn)程雖然不總是清晰，但我們正被好奇心和解決客戶實(shí)際問題的渴望驅(qū)使。

亞馬遜云科技人工智能與數(shù)據(jù)副總裁Swami Sivasubramanian

SageMaker訓(xùn)練功能加速

Amazon SageMaker已經(jīng)有已經(jīng)有數(shù)十萬名客戶在使用，它已經(jīng)是世界上用于構(gòu)建、訓(xùn)練和部署ML模型的最受歡迎的服務(wù)。

在第一天的Keynote中，亞馬遜云科技首席執(zhí)行官M(fèi)att Garman講述了下一代Amazon SageMaker，其將大數(shù)據(jù)處理、快速SQL分析、機(jī)器學(xué)習(xí)、模型開發(fā)以及生成式AI的關(guān)鍵能力集成于一個(gè)統(tǒng)一平臺(tái)中。

Amazon SageMaker進(jìn)化的步伐不會(huì)放慢，尤其是訓(xùn)練功能。

自去年以來，Amazon SageMaker發(fā)布的140多項(xiàng)新功能幫助客戶更快更高效構(gòu)建模型。尤其是生成式AI出現(xiàn)，亞馬遜云科技知道客戶需要新工具和功能支持模型訓(xùn)練和推理。

為減輕訓(xùn)練過程的復(fù)雜負(fù)擔(dān)，亞馬遜云科技推出Amazon SageMaker HyperPod。其具備先進(jìn)的彈性能力，可實(shí)現(xiàn)集群在全棧故障時(shí)的自動(dòng)恢復(fù)，同時(shí)提供快速檢查點(diǎn)和主動(dòng)計(jì)算資源管理功能，成為客戶訓(xùn)練基礎(chǔ)模型的首選基礎(chǔ)設(shè)施。

Amazon SageMaker HyperPod flexible training plans靈活訓(xùn)練計(jì)劃也是一個(gè)改變游戲規(guī)則的功能，簡化模型訓(xùn)練計(jì)劃管理。其能夠快速創(chuàng)建訓(xùn)練計(jì)劃自動(dòng)預(yù)留容量，設(shè)置集群，創(chuàng)建模型訓(xùn)練作業(yè)，為數(shù)據(jù)科學(xué)團(tuán)隊(duì)節(jié)省數(shù)周訓(xùn)練時(shí)間。

Amazon SageMaker HyperPod task governance 任務(wù)治理功能，通過自動(dòng)化生成式AI任務(wù)的優(yōu)先級(jí)排序和管理，幫助客戶最大化計(jì)算資源利用率，最多可降低40%的成本。

同時(shí)Amazon SageMaker合作伙伴AI應(yīng)用支持功能，讓合作伙伴的AI應(yīng)用程序都可以部署在Amazon SageMaker，將幫助客戶通過無縫、完全托管體驗(yàn)加速模型開發(fā)生命周期，無需預(yù)配或管理基礎(chǔ)設(shè)施，數(shù)據(jù)永遠(yuǎn)不會(huì)離開Amazon SageMaker開發(fā)環(huán)境，實(shí)現(xiàn)了安全性和隱私性。

Amazon Bedrock一站式生成式AI解決方案

推理可以讓基礎(chǔ)模型走出實(shí)驗(yàn)室進(jìn)入現(xiàn)實(shí)世界，改變行業(yè)，Amazon Bedrock就是為了幫助企業(yè)構(gòu)建和擴(kuò)展生成式AI應(yīng)用程序。

現(xiàn)在Amazon Bedrock已經(jīng)不僅僅是一個(gè)模型庫，更是一種構(gòu)建和擴(kuò)展生成式AI應(yīng)用最簡單和最快速的方式。覆蓋選擇最佳的模型，優(yōu)化成本、延遲和準(zhǔn)確性，使用自有數(shù)據(jù)定制，確保安全性和負(fù)責(zé)任AI，構(gòu)建和協(xié)調(diào)Agent五大能力。

在模型提供上，Amazon Bedrock將提供poolside、Luma AI的模型，同時(shí)將新增Stability AI的Stable Diffusion 3.5模型。

除了這些模型之外，Amazon Bedrock Marketplace還為用戶提供了訪問100多個(gè)來自領(lǐng)先提供商的100多個(gè)新興和專業(yè)基礎(chǔ)模型。用戶可以通過Amazon Bedrock的統(tǒng)一API輕松調(diào)用這些模型，并結(jié)合知識(shí)庫、智能防護(hù)和智能代理功能。

在成本、延遲和準(zhǔn)確性上，Amazon Bedrock提示詞緩存功能，能夠降低延遲高達(dá)85%，成本降低高達(dá)90%。

Bedrock Intelligent Prompt Routing提示詞智能路由功能，動(dòng)態(tài)的將請(qǐng)求路由到最有可能以最低成本和最佳響應(yīng)的模型，成本節(jié)省高達(dá)30%。

根據(jù)自有數(shù)據(jù)定制上，發(fā)布了Amazon Kendra GenAI Index，可以為RAG和Amazon Bedrock提供托管檢索，支持對(duì)40多個(gè)企業(yè)數(shù)據(jù)源的連接器，簡化RAG對(duì)企業(yè)數(shù)據(jù)源的連接。

Amazon Bedrock Knowledge Bases能夠支持結(jié)構(gòu)化數(shù)據(jù)檢索支持，簡化RAG對(duì)各類結(jié)構(gòu)化數(shù)據(jù)的使用。Amazon Bedrock Knowledge Bases能夠支持GraphRAG，增強(qiáng)RAG對(duì)知識(shí)圖譜的集成。

Amazon Bedrock Data Automation自動(dòng)化非結(jié)構(gòu)化多模態(tài)數(shù)據(jù)的轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。

在確保安全性和負(fù)責(zé)任AI上，Amazon Bedrock Guardrails Multimodal toxicity detection進(jìn)行基于策略的圖片惡意內(nèi)容檢測，增強(qiáng)多模態(tài)應(yīng)用安全。

構(gòu)建和協(xié)調(diào)Agent上，從本周開始Amazon Bedrock開始支持多智能體協(xié)作，使構(gòu)建和協(xié)調(diào)專門的智能體來執(zhí)行復(fù)雜工作流程變得容易。

Amazon Q生成AI小助手

Amazon Q Developer即是你的亞馬遜云科技專家，也是最有能力的軟件開發(fā)生成式AI助手。

現(xiàn)在Amazon Q Developer可以在SageMaker Canvas中的支持，通過自然語言開發(fā)ML模型，特別可以幫助在機(jī)器學(xué)習(xí)模型開發(fā)方面經(jīng)驗(yàn)較少的客戶。

Amazon Q在Quicksight Scenarios中的支持，實(shí)現(xiàn)BI對(duì)復(fù)雜業(yè)務(wù)問題的自動(dòng)拆解，業(yè)務(wù)人員可以使用自然語言要求Amazon Q幫助解決復(fù)雜的商業(yè)問題，加速商業(yè)分析。

亞馬遜云科技技術(shù)副總裁Mai-Lan Tomsen Bukovec對(duì)Amazon Q在Quicksight Scenarios中的支持非常興奮，她說，它消除了對(duì)技術(shù)的理解需求，讓業(yè)務(wù)部門的用戶可以直接從數(shù)據(jù)中獲取價(jià)值，無需關(guān)注技術(shù)細(xì)節(jié)，為他們提供了極大的便利。

她同時(shí)還提到，亞馬遜云科技的做法是幫助客戶降低數(shù)據(jù)成本提供低成本，來應(yīng)對(duì)數(shù)據(jù)增長的挑戰(zhàn)，并支持?jǐn)?shù)據(jù)的多樣性，這對(duì)于 AI 和機(jī)器學(xué)習(xí)至關(guān)重要。

生成式AI的障礙與解決之道

雖然有了完備的產(chǎn)品技術(shù)服務(wù)，企業(yè)在面對(duì)生成式AI時(shí)還是會(huì)有一些疑慮。亞馬遜云科技全球服務(wù)副總裁Uwem Ukpong總結(jié)了企業(yè)采用生成式AI的三大挑戰(zhàn)：

云遷移瓶頸：全球85%的客戶仍依賴本地?cái)?shù)據(jù)中心，生成式AI對(duì)計(jì)算能力的需求迫使他們考慮如何快速轉(zhuǎn)向云端，以充分釋放AI的潛力。

數(shù)據(jù)孤島難題：企業(yè)數(shù)據(jù)分散在多個(gè)孤島中，需要整合或建立高效的數(shù)據(jù)訪問管道，才能支持分析、模型訓(xùn)練和推理。

應(yīng)用場景聚焦：生成式AI出現(xiàn)后，許多客戶急于開展概念驗(yàn)證（POC），但常常缺乏明確的投資回報(bào)目標(biāo)和支持，影響了實(shí)際落地效果。

生成式AI創(chuàng)新中心的成立就是為了幫助不同AI技術(shù)水平的客戶，自去年成立以來，已經(jīng)與客戶合作完成了超過700個(gè)應(yīng)用案例。

對(duì)于具備軟件開發(fā)能力的客戶，更多地尋求經(jīng)驗(yàn)的指導(dǎo)和借鑒，亞馬遜云科技提供“低強(qiáng)度指導(dǎo)”（low torch engagement），通過經(jīng)驗(yàn)分享和建議幫助客戶獨(dú)立推進(jìn)項(xiàng)目。對(duì)于缺乏開發(fā)能力、沒有深厚技術(shù)基礎(chǔ)的客戶，亞馬遜云科技提供“白手套服務(wù)”（white glove service），亞馬遜云科技的開發(fā)團(tuán)隊(duì)幾乎會(huì)像內(nèi)部團(tuán)隊(duì)一樣直接參與到客戶的工作中，與客戶一起構(gòu)建生成式AI應(yīng)用。

同時(shí)Uwem Ukpong強(qiáng)調(diào)，企業(yè)在概念驗(yàn)證項(xiàng)目中，要認(rèn)真評(píng)估成本與收益，分析投資回報(bào)率，并判斷這個(gè)具體的用例是否值得我們重點(diǎn)推進(jìn)。

“我們現(xiàn)在不僅在塑造當(dāng)下，也在為新的創(chuàng)新騰飛奠定基礎(chǔ)。”正如Swami Sivasubramanian所說，從用于大規(guī)模訓(xùn)練基礎(chǔ)模型的強(qiáng)大工具，到正在革新生產(chǎn)力的生成式AI助手，亞馬遜云科技都是這個(gè)融合歷史時(shí)刻的積極參與者，在很久以前夢想者的基礎(chǔ)上繼續(xù)前行，并為下一波技術(shù)先鋒鋪平道路。