ODPS重磅升級(jí)!全面支撐AI應(yīng)用爆發(fā)
近日,阿里云宣布全面升級(jí)自研大數(shù)據(jù)平臺(tái)ODPS架構(gòu),旗下MaxCompute、Hologres和DataWorks等核心產(chǎn)品將全面擁抱AI,推動(dòng)大數(shù)據(jù)與AI的深度融合。
ODPS是阿里云首款產(chǎn)品,過(guò)去十五年,ODPS不僅支撐了阿里巴巴集團(tuán)內(nèi)部電商、金融、物流等核心業(yè)務(wù)的數(shù)據(jù)處理需求,還幫助數(shù)萬(wàn)家國(guó)內(nèi)外企業(yè)實(shí)現(xiàn)了從線(xiàn)下IDC到云原生的平滑過(guò)渡。今天,ODPS正式邁入AI Native時(shí)代,進(jìn)化成為AI而生的數(shù)據(jù)平臺(tái)。
為AI而生:ODPS的四大核心升級(jí)
超大規(guī)模數(shù)據(jù)處理能力,支撐AI算力爆發(fā)
在AI時(shí)代,大模型訓(xùn)練需要處理海量數(shù)據(jù)(603138),對(duì)算力提出了極高要求。ODPS通過(guò)云原生架構(gòu),實(shí)現(xiàn)了數(shù)十萬(wàn)臺(tái)集群的彈性調(diào)度,峰值數(shù)據(jù)處理能力達(dá)50億次/秒。以通義千問(wèn)訓(xùn)練任務(wù)為例,ODPS的即開(kāi)即用、按量付費(fèi)模式節(jié)省了90%以上的成本。
多模態(tài)數(shù)據(jù)存儲(chǔ)與計(jì)算,打破AI數(shù)據(jù)邊界
隨著AI時(shí)代的到來(lái),數(shù)據(jù)逐漸呈現(xiàn)多元化,包含文本、圖片、視頻等多種類(lèi)型,非結(jié)構(gòu)化數(shù)據(jù)占比超過(guò)80%。ODPS推出湖倉(cāng)一體方案,支持全模態(tài)數(shù)據(jù)的統(tǒng)一存儲(chǔ)。
在計(jì)算方面,ODPS-MaxCompute推出面向 Python開(kāi)發(fā)生態(tài)的分布式計(jì)算框架MaxFrame,統(tǒng)一Python編程接口,提供高效的分布式計(jì)算能力,部分算子相比用戶(hù)本地自建性能提升3倍以上,計(jì)算、運(yùn)維成本降低50%。
面向多模態(tài)檢索場(chǎng)景,ODPS-Hologres在高性能實(shí)時(shí)數(shù)據(jù)分析的基礎(chǔ)上,與Deepseek/通義等大模型結(jié)合構(gòu)建企業(yè)級(jí)RAG知識(shí)庫(kù),減少大模型問(wèn)答幻覺(jué),提升知識(shí)更新與問(wèn)答速度,性能領(lǐng)先開(kāi)源30%-40%。
近實(shí)時(shí)計(jì)算實(shí)現(xiàn)極致性?xún)r(jià)比
ODPS通過(guò)增量計(jì)算引擎(DLMV)和近線(xiàn)查詢(xún)(MaxQA),填補(bǔ)了實(shí)時(shí)與離線(xiàn)之間的空缺。增全量一體的計(jì)算能夠極大地優(yōu)化整體計(jì)算資源,并且提供一個(gè)更穩(wěn)定的環(huán)境、更強(qiáng)大的計(jì)算能力。
MaxQA引擎通過(guò)在實(shí)現(xiàn)近實(shí)時(shí)場(chǎng)景下的查詢(xún)性能優(yōu)化,能夠在獨(dú)享的查詢(xún)計(jì)算資源池中,對(duì)管控鏈路、查詢(xún)優(yōu)化器、執(zhí)行引擎、存儲(chǔ)引擎及緩存機(jī)制等多個(gè)環(huán)節(jié)進(jìn)行全面優(yōu)化,顯著減少響應(yīng)時(shí)間,提升數(shù)據(jù)效率。
同時(shí),F(xiàn)link Uniflow也發(fā)布了流/批/近線(xiàn)的一體化數(shù)據(jù)方案,幫助用戶(hù)實(shí)現(xiàn)秒級(jí)、分鐘級(jí)甚至小時(shí)級(jí)的計(jì)算范式遷移。
AI賦能數(shù)據(jù)價(jià)值變現(xiàn):數(shù)據(jù)無(wú)應(yīng)用不價(jià)值
AI讓數(shù)據(jù)價(jià)值從“人分析數(shù)據(jù)”到“AI直接變現(xiàn)業(yè)務(wù)價(jià)值”。
MaxCompute Notebook通過(guò)結(jié)合MaxFrame分布式計(jì)算框架,支持通過(guò)SQL與Python相結(jié)合,輕松訪(fǎng)問(wèn)MaxCompute中海量數(shù)據(jù),進(jìn)行Data+ AI一體化數(shù)據(jù)分析、數(shù)據(jù)科學(xué)計(jì)算、AI模型數(shù)據(jù)處理。
ODPS-DataWorks Copilot智能助手提供SQL/Python代碼自動(dòng)生成和智能補(bǔ)全等服務(wù),數(shù)據(jù)開(kāi)發(fā)分析平均提效30%。
ODPS-Hologres 及DataWorks發(fā)布MCP Server服務(wù),為客戶(hù)提供基于自然語(yǔ)言的用戶(hù)交互界面及智能化產(chǎn)品體驗(yàn)。
阿里云ODPS與數(shù)據(jù)湖構(gòu)建(DLF、Paimon)、E-MapReduce(Serverless StarRocks/Serverless Spark)、實(shí)時(shí)計(jì)算Flink版等產(chǎn)品,共同構(gòu)成了一個(gè)覆蓋離線(xiàn)、實(shí)時(shí)、數(shù)據(jù)湖等多種場(chǎng)景的大數(shù)據(jù)解決方案矩陣。這些工具和方案根據(jù)不同的企業(yè)需求彼此組合,共同構(gòu)成了AI時(shí)代企業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施堅(jiān)實(shí)底座,幫助企業(yè)解決特定數(shù)據(jù)難題。
目前,ODPS已擁有數(shù)十萬(wàn)臺(tái)集群規(guī)模,具備數(shù)EB級(jí)數(shù)據(jù)處理能力,是國(guó)內(nèi)最大的數(shù)據(jù)處理平臺(tái),過(guò)去15年,ODPS已服務(wù)國(guó)家電網(wǎng)、小紅書(shū)、極氪、天弘基金、GoTo等國(guó)內(nèi)外數(shù)萬(wàn)家企業(yè)。
0人