科教玩转AI:懂行的都在卷算力,更懂行的在升级全闪存储-技术圈

让更懂行的用户聚焦存力，

从而可以更好助推产教融合发展

【全球存储观察｜热点关注】 从ChatGPT到Sora，新一代人工智能的蓬勃发展带给了IT业界新启示，大模型离不开大算力的支撑与大数据的洞察。

当“大模型+大算力+大数据”业已新一代人工智能发展的基本范式时，懂行的早已关注大算力，更懂行的却将目光更多转移到了存力。

其一，存力核心基础设施价值凸显。数据质量高低在很大程度上决定了大模型智能化水平，作为支撑高质量数据集的载体，高性能的存储系统成为大模型进化不可或缺的核心基础设施。这一观点得到了大模型厂商的认证，4月18日Meta正式发布最强开源大模型Llama 3，扎克伯格就在访谈中提到，外置专业存储在AI训练中很重要。

其二，升级全闪成为降低能耗最佳途径之一。然而，大模型进化虽然迅猛，但能源将成为限制。谈及能耗管控方面，相比传统磁盘存储，全闪存储凭借高性能、低功耗、高可靠的优势受到许多企业的欢迎。

算力存力协同发展，

大模型进化才能跑得更快

在AI大模型时代，算力发展迅猛，成为大模型训练的主要成本，用户特别关注算力顺理成章。

在卷算力的同时，保障算力使用的存力也需重点关注，实际上在大模型训练过程中，算力存力协同发展才有现实意义。

一方面，从AIGC发展现状来分析，AIGC在很大程度上促进了内容生产更快更多，根据其内容模态不同可分为文本、视频、图像，音频与跨模态生成，这对于任何有志于大模型创新的科技公司而言，都需要大量的存储空间来保存模型数据采集、预处理、训练集数据及结果数据等。

二方面，随着Sora文生视频异军突起，生成式AI将迎来新的技术革命，与此同时，文生视频也将进一步引爆大模型数据爆炸式增长的新趋势。大模型数据存储容量将发生新的飞跃式攀升，从而加快迈向PB级的大模型存储时代，这对于大模型进化将是一项新挑战。

由此而言，大模型对于算力基础设施要求将会聚焦在智能算力、数据存力与网络运力三个方面。作为高质量数据集载体的存储系统，当仁不让地成为大模型核心基础设施之一。

用户已经从一味的堆叠算力，到让每一分算力都发挥最大价值的阶段，这时候就要看存储的技术创新了。

那么，问题来了，如何更好地实现算力存力协同发展呢？在此之前，必须明确了解多模态的大模型海量计算，已经对数据存储提出了前所未有的高要求。道理大家都容易懂，存储高要求实现越好，匹配智能算力发挥就越充分，从而大模型进化就越快。

然而，事实上，当前大模型存储却涌现出了三大制约其进化的挑战。

其一，数据加载速度低下，成为影响模型训练时间的重要因素。其二，数据访问协议多样性，导致数据访问效率不高。其三，大模型进入落地应用阶段，开始走进千行百业，与各种各样的场景进行深度融合。基于此，大模型面对多种安全威胁与挑战。

可见，不搞定大模型存储的三大挑战，恐怕难以让大模型进化跑得更快。

聚焦大模型进化的木桶短板，

自研XDS创新破局

哪里有挑战，哪里就有突破。

诚然，在AIGC数据风暴下，大模型存储针对存储性能、访问效率、数据安全等方面的挑战，成为大模型进化的木桶短板。一直在数据存储领域有着全面布局的曙光存储，在应对AIGC存力挑战上，自研XDS技术实现存储创新破局，满足大模型快速进化的高性能存储需求，也为曙光存储的未来发展创造了新的机会。

中科曙光存储产品事业部副总经理、曙光存储公司副总裁杨志雷

奔着算力存力协同发展的趋势，中科曙光存储产品事业部副总经理、曙光存储公司副总裁杨志雷表示，曙光ParaStor首创实现XDS智能加速技术，缩短数据传输IO路径，减少CPU开销，打造高效的存算协同。

针对以前常用AI训练的缓存模式，GPU需先存储数据到缓存，然后由CPU操控指令，GPU才能读取数据。从CPU到缓存再到GPU，GPU数据调取效率太低。为了助力加速AI流程，XDS技术开创性地实现数据直接加载到GPU，保证了存和算之间的通讯几乎是无缝的，而且不需要通过更多的协议转换，加速AI训练的数据集加载与处理。与此同时，XDS技术值得一提的创新之处在于支持异构GPU直接存取，也支持多款算力端GPU直接存取。如此一来，面向AI场景，XDS加速训练、推理业务流程带来立竿见影的作用。

针对存力端的特定需求，XDS技术内嵌ParaBuffer加速引擎，在AI训练计算节点与存储系统之间构造大内存池，将系统整体I/O性能提升数倍。从真正意义上实现AI存算协同优化，大幅缩短训练时间，由数十天降低至几天。

针对大模型存储在数据访问协议多样性上的挑战，曙光ParaStor早已全面支持文件、块、对象等多种存储协议，实现统一的协议管理。ParaStor支持多副本及纠删码的冗余模式并存，支持多协议访问。在提升系统可用性、可靠性及性能的同时，大幅度降低存储成本。

针对AI存储的数据安全性的挑战，曙光ParaStor拥有全栈自研能力，从操作系统、存储架构、软件核心模块、存储介质等多层面保障数据安全。在数据存储全栈安全的考量，带给用户更多放心与安心。

由此可见，XDS加速技术不仅带来存储效率提升，同时支持多存储协议与智能分级，数据管理省心可靠，最终帮助大模型行业实现降本增效。

很显然，随着大模型行业发展深入，打造行业AI底座的道路上，XDS技术支持大模型应用的价值将得以进一步彰显，AI未来已来，曙光存储以长期以来的创新坚持，引领存储未来趋势。

“疯狂星期四”加速升级全闪，‍

锻造创新教育AI底座

在加速行业AI应用落地方面，科教行业呈现出了新变化。

之前，教育部大力推进人工智能、大数据等学科发展，又进一步扩大了高校教学对计算资源的需求，同时也带动了存储资源的建设。像清华大学、北京科技大学、复旦大学、湖州师范学院、福建师范大学、华南理工大学等科研院校机构，纷纷在AI领域丰富自己的能力，面向科研科教不断进取。

此外，大模型的发展也加速了AI为科学研究带来更多可能性，AI for Science（AI4S）人工智能驱动的科研一时间备受关注。AI与科研的深度融合，针对自然界、人类社会的各种现象和规律，AI4S利用AI技术学习、模拟、预测和进行优化，以此寻求解决各种问题，从而推动科学突破与创新。目前，在生命科学、材料科学、能源、半导体、地球与环境等众多领域及细分领域，AI4S已经都在不同程度地推进产研实践。