深圳一年一度必打卡的國家級科技盛宴——中國國際高新技術(shù)成果交易會(以下簡稱高交會)于2023年11月15-19日如期舉行。潞晨科技通過高交會(福田展區(qū))新產(chǎn)品新技術(shù)精品發(fā)布活動,就“AI大模型高效分布式開發(fā)基礎設施Colossal-AI”進行了精彩分享。

(發(fā)布現(xiàn)場)

潞晨科技致力于解放AI生產(chǎn)力,促進AI大模型落地應用。核心成員來自美國加州伯克利、斯坦福、清華、北大、新加坡國立、南洋理工大學等世界一流高校,在國際頂級學術(shù)刊物或會議共發(fā)表論文近百篇,曾在谷歌、微軟、NVIDIA、IBM、英特爾等頭部科技公司任職,在高性能計算、人工智能、分布式系統(tǒng)方面已有十余年的技術(shù)積累、對核心技術(shù)、行業(yè)理解、產(chǎn)品落地等方面有卓越優(yōu)勢。近期獲得數(shù)億元A輪融資,已在成立18個月內(nèi)已迅速連續(xù)完成三輪融資,投資方為創(chuàng)新工場、真格基金、藍馳創(chuàng)投等。

面向AI大模型的新一代高效分布式開發(fā)基礎設施Colossal-AI

可通過高效多維并行、異構(gòu)內(nèi)存等,降低AI大模型訓練/微調(diào)/推理的開發(fā)與應用成本,提升模型任務表現(xiàn),降低GPU需求等,助力企業(yè)降本增效。

Colossal-AI目前已獲得GitHub星數(shù)近4萬顆,位列全球TOP400,細分賽道排名世界第一,并成功入選NeurIPS, SC, AAAI, PPoPP, CVPR, ISC, NVIDIA GTC等國際AI 與HPC 頂級會議的官方教程。 Colossal-AI已與多家世界/中國五百強開展合作,促進AI大模型商業(yè)化落地,涉及云計算、芯片設計、生物醫(yī)藥、自動駕駛、智能零售、互聯(lián)網(wǎng)等領(lǐng)域,開發(fā)/優(yōu)化千億/百億參數(shù)大模型或打造垂類模型。

通過SFT、LoRA等方式微調(diào)或Prompt工程,能有效注入基座模型的知識與能力十分有限,不能較好的滿足高質(zhì)量領(lǐng)域知識或垂類模型應用的構(gòu)建的需求。

Colossal-AI團隊以增強LLaMA-2中文能力為例,采用高效的訓練方法,僅使用約8.5B token數(shù)據(jù)、15小時、數(shù)千元的訓練成本,成功構(gòu)建了性能卓越的中文LLaMA-2,在多個評測榜單性能優(yōu)越,性能可與開源社區(qū)高成本同規(guī)模預訓練SOTA模型媲美?？蛇w移應用到任意領(lǐng)域垂類大模型構(gòu)建,極快開發(fā)速度與極低開發(fā)成本。

為了進一步提高AI大模型開發(fā)和部署效率,Colossal-AI已進一步升級為Colossal-AI云平臺,以低代碼/無代碼的方式供用戶在云端低成本進行大模型訓練、微調(diào)和部署,快速將各種模型接入到個性化的應用中。

面對豐富場景構(gòu)建、快速低成本應用、算力稀缺和數(shù)據(jù)隱私等諸多需求,潞晨科技聯(lián)合多家主流硬件合作伙伴,結(jié)合Colossal-AI在AI大模型領(lǐng)域的豐富積累與降本增效能力,推出Colossal-AI大模型一體機加速智能化升級,僅需一臺,開箱即用,低成本滿足企業(yè)快速構(gòu)建AI業(yè)務。

潞晨科技創(chuàng)始人尤洋教授,是加州伯克利大學博士,新加坡國立大學計算機系的校長青年教授。他曾創(chuàng)造 ImageNet、 BERT、AlphaFold、ViT 訓練速度的世界紀錄,相關(guān)技術(shù)被廣泛應用于谷歌,微軟,英特爾,英偉達等科技巨頭。他曾獲IPDPS最佳論文、ICPP最佳論文、AAAI 杰出論文、ACL杰出論文、清華大學優(yōu)秀畢業(yè)生、西貝爾獎學金、ACM-IEEE CS George Michael Memorial HPC Fellowship、Lotfi A. Zadeh Prize、ACM Doctoral Dissertation Award Candidate、福布斯 30 歲以下精英榜(亞洲)、IEEE-CS 超算杰出新人獎、福布斯中國最具影響力華人精英、胡潤U35中國創(chuàng)業(yè)先鋒等。他曾任職于谷歌、微軟、英偉達、英特爾、IBM 等國際知名廠商。

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據(jù)。