深信服AICP算力平台在2024数字中国创新大赛两个赛道获奖
简介:在近日圆满举办的2024数字中国创新大赛中,深信服AICP算力平台获得2个奖项!《基于私有化大模型的推理训练一体化 A
【菜叶百科解读】
在近日圆满举办的2024数字中国创新大赛中,深信服AICP算力平台获得2个奖项!
《基于私有化大模型的推理训练一体化 Al算力平台》
2024数字中国创新大赛·信创赛道 行业贡献奖
2024数字中国创新大赛·城市赛道 二等奖
在垂直领域拥有自己的私有化大模型,已逐渐成为业界共识,但研发门槛高、使用成本高、安全风险高等痛点正在阻碍大模型落地的效率。深信服于今年3月份正式发布AICP算力平台,面向各行各业大模型开发部署场景,提供一站式大模型训练和推理能力,为用户提供向导化配置、一键训练;一半成本、五倍性能;模型加密、保护知识产权的业务价值。
深信服AICP算力平台解决方案
打造“让更多用户用得上的AI”,是深信服AICP算力平台的产品愿景。借由本次获奖的机会,深信服AICP算力平台展现其最新能力:
一、向导化配置,一键训练
深信服AICP算力平台能够管理异构算力GPU资源池,并内置了主流的开源基模型、丰富的开源数据集,包括中英文语料库,以及医疗、金融、教育、法律等垂直领域的开源数据等,可帮助用户简化训练准备过程。
用户通过三步向导式操作,选择基模型、选择数据配比、选择算力资源池,即可一键开启训练任务,无需自行配置100多项复杂的超参数。
同时,通过三大关键指标监控和处置,使模型训练过程一目了然,可有效保障训练稳定、高效训练出垂直大模型。
1、实时资源监控:实时监控GPU、CPU、内存、存储指标,及时调整,防止训练中断。
2、Checkpoint管理:本地SSD中保存最新模型状态,即便训练中断也可快速恢复。
3、Loss曲线可视:曲线震荡或者上升及时调整训练数据;曲线下降并趋于稳定,表示训练效果良好。
二、一半成本,五倍性能
针对使用成本高,平台内置大量训练和推理优化技术,创新地提供基于业务感知量化(BAQ)能力,在不损失大模型在垂直领域效果的同时,让推理性价比得到数倍的提升。
1、通过模型量化,使模型显存占用减少50%,需要的GPU数量减少50%。
2、创新的业务感知量化技术BAQ,保证量化后垂直领域业务效果无损。
3、联合CPU和GPU进行通信优化,让系统总吞吐提升超过20%。
4、结合业务数据的注意力稀疏技术,降低显存占用,让推理并发用户数提升30%。
5、对推理缓存进行了混合精度压缩,让系统总吞吐提升超过30%。
三、模型加密,保护知识产权
针对安全风险高的问题,平台内置业界独有的模型动态加密能力,有效保护用户知识产权,防止核心的“模型资产”泄露。
同时,在这些核心技术以外,深信服AICP算力平台还积极推进信创生态构建。
提供对AI技术栈的良好兼容性,通过软硬件联合调优,满足大模型训练、推理任务对算力和性能的要求,让用户在信创环境中也能进行大模型项目的开发和应用,同时满足合规和业务建设需求。
深信服和国内厂商开展了广泛的软硬件兼容测试,如华为昇腾系列NPU、天数智芯全自研通用GPU等等,从测试结果看,在相同硬件成本下,国内厂商推理卡性能表现出色,能够在信创场景实现大模型任务承载。
深信服多年来坚持AI First的研发战略,积极探索先进的AI技术应用,未来将持续以创新能力为用户带来更多智能化、个性化的AI解决方案。
声明:本文内容仅代表作者个人观点,与本站立场无关。如有内容侵犯您的合法权益,请及时与我们联系,我们将第一时间安排处理
- 欧莱雅集团加速引领美妆科技
展示前沿生物打印皮肤技术及生成式人工智能美妆内容实验室要成为今天美妆行业的领导者,你必须引领美妆科技。...
资讯 2024-05-26 01:01:18 - 深蓝互动将启动《重返未来:1999》鸿蒙原生应用开发
近日,深蓝互动宣布旗下《重返未来:1999》将启动鸿蒙原生应用开发,与华为游戏中心达成鸿蒙生态合作,基于Har...
资讯 2024-05-25 06:27:42 - 2024华为影像品牌之夜,引领移动摄影新浪潮
摄影行业有一句非常经典的话,是这么说的:「最好的相机,就是你手边的那一台。」如今,受惠于移动影像的迅猛...
资讯 2024-05-25 05:27:13 - 茉莉智慧上海旗舰店盛装绽放 跃入云端艺邸 筑梦智慧申城
云端艺邸 上海之巅上海之巅,浦东之芯一座建筑以其独一无二的设计惊艳世界作为全球最高的酒店之一这里不仅创造...
资讯 2024-05-24 07:46:13 - XREAL发布会定档5.30,将有全新品类发布
空间计算领域正在持续升温,近日,XREAL 给出官方预告,将于5月30日下午两点半举办发布会活动,推出空间计算新品...
资讯 2024-05-24 05:38:52 - 克鲁勃润滑剂注重生态与性能,助力海上风电高效运转
作为一种清洁能源,风力发电近些年备受人们关注,尤其是海上风力发电,具有资源丰富、发电利用小时高、不占用土地...
资讯 2024-05-23 22:30:18 - 72小时预售破万!问界M7 Max焕新版成市场新宠
【ITBEAR科技资讯】5月21日消息,近日,网络上掀起了一股关于问界新M7的热议。博主@孙少军09在社交媒体上发帖称,“...
资讯 2024-05-21 22:53:56 - 广东今天仍处降雨影响核心时段 珠三角粤东市县局地有特大暴雨
广东今天仍处降雨影响核心时段 珠三角粤东市县局地有特大暴雨...
热点 2024-05-20 12:28:24 - 京东PLUS会员购学而思xPad Pro不高于7899元 额外送1167元赠品
5月19日,京东520心动购物季即将开启,原价8599元的京东学而思xPad Pro价格直降,PLUS用户可领取400元优惠券,到手价不...
资讯 2024-05-20 02:06:04 - 618福利提前看,高品质华硕电源超值购
随着618年中狂欢大促的临近,很多喜爱游戏电竞的玩家和DIY发烧友,都准备借此优惠节点组建一套高性能电竞主机。...
资讯 2024-05-18 10:49:27
今日热门
本周强推
编辑推荐
热门榜单
- 1今晚8点!京东服饰百亿补贴满1200减100神券速抢!叠加PLUS至高再减100
- 2华为路由器全球发货破亿,WiFi 7技术领先行业
- 3长城汽车回应新疆经销店火灾:变电箱短路导致,损失轻微
- 4北方雨要多起来了 今年严重迟到的1号台风终于有信了?
- 5未来三天南方降雨不停歇 北方晴热发展多地或再现高温
- 6《植物大战僵尸2》宣布启动鸿蒙原生应用开发,又一国民级IP游戏加入鸿蒙
- 7“把每一天产线上的平均量产效率作为追求目标”
- 8小米Redmi Turbo 3新配色‘镜瓷白’亮相,白色面板设计惊艳
- 9苹果造车10年未果,小米如何3年突破?雷军揭晓答案
- 104场线上技术指导+4场线下城市沙龙,OPENAIGC开发者大赛能量充电走起!