分享好友 天南地北首页 网站导航

践行AI战略:华为引领数据中心网络迈入人工智能时代

网友发布 2023-06-06 06:44 · 头闻号汽车汽配

AI正在成为企业助力决策、提升客户体验、重塑商业模式与生态系统、乃至整个数字化转型的关键驱动力。

但在崭新的AI时代,数据中心网络性能也正在成为AI算力以及整个AI商用进程发展的关键瓶颈,正面临诸多挑战。

为此,华为以“网络新引擎 AI赢未来”为主题发布了业界首款面向AI时代数据中心交换机CloudEngine 16800,将人工智能技术创新性的应用到数据中心交换机,引领数据中心网络迈入AI时代。

AI时代数据中心网络面临三大挑战

当前,数字化转型的持续推进,正在提速驱动数据量暴增;同时,语音/视频等非结构化数据占比持续提高,庞大的数据量和处理难度已远超人类的处理能力,需要基于机器运算深度学习的AI算法来完成海量无效数据的筛选和有用信息的自动重组,从而获得高效的决策建议和智慧化的行为指引。

根据华为GIV 2025(Global Industry Vision)的预测,企业对AI的采用率将从2015年的16%增加到2025年86%,越来越多的企业将利用AI助力决策、重塑商业模式与生态系统、重建客户体验。

作为人工智能的“孵化工厂”,数据中心网络正成为AI等新型基础设施的核心。但与此同时,随着AI时代的到来,AI人工智能的算力也受到数据中心网络性能的影响,正在成为AI商用进程的一大瓶颈。

华为网络产品线总裁胡克文指出,AI时代的数据中心网络将面临以下三大挑战:

挑战1.AI算力。高性能数据中心集群对网络丢包异常敏感,未来的网络应该做到零丢包。但传统的以太网即使千分之一的丢包率,都将导致数据中心的AI算力只能发挥50%。

挑战2.大带宽。未来5年,数字洪水猛增近20倍,现有100GE的网络无法支撑。预计全球年新增数据量将从2018年的10ZB猛增到2025年180ZB(即1800亿TB),现有100GE为主的数据中心网络已无法支撑数据洪水的挑战。

挑战3.要面向自动驾驶网络的能力。随着数据中心服务器规模的增加,以及计算网络、存储网络和数据网络三网融合,传统人工运维手段已难以为继,亟需引入创新的技术提升智能化运维的能力,如何用新的技术去使能、把网络问题排查出来成为业界都在思考的问题。

华为定义AI时代数据中心交换机三大特征

从行业大势来看,随着以人工智能为引擎的第四次技术革命正将我们带入一个万物感知、万物互联、万物智能的智能世界,数据中心网络也必须从云时代向AI时代演进。在华为看来,数据中心需要一个自动驾驶的高性能网络来提升AI算力,帮助客户加速AI业务的运行。

那么,AI时代的数据中心网络究竟该如何建设呢?胡克文指出,“华为定义了AI时代数据中心交换机的三大特征:内嵌AI芯片、单槽48 x 400GE高密端口、能够向自动驾驶网络演进的能力。”

特征1.业界首款内嵌AI芯片数据中心交换机,100%发挥AI算力

从应用侧来看,刷脸支付的背后是上亿次图像信息的智能识别,深度 健康 诊断需要基于数千个算法模型进行分析,快捷网购体验离不开数百台服务器的智能计算。也就是说,新商业物种的诞生,产业的跨越式发展以及用户体验得以改变,强烈地依赖于人脸识别、辅助诊断、智能推荐等AI应用的发展。

但由于AI算力受到数据中心网络性能的影响,正在成为AI商用进程的关键瓶颈。为了最大化AI算力,存储介质演进到闪存盘,时延降低了不止100倍,计算领域通过采用GPU甚至专用的AI芯片将处理数据的能力提升了100倍以上。

CloudEngine 16800是业界首款搭载高性能AI芯片的数据中心交换机,承载独创的iLossLess智能无损交换算法,实现流量模型自适应自优化,从而在零丢包基础上获得更低时延和更高吞吐的网络性能,克服传统以太网丢包导致的算力损失,将AI算力从50%提升到100%,数据存储IOPS(Input/Output Operations Per Second)性能提升30%。

特征2.业界最高密度单槽位48 x 400GE,满足AI时代5倍流量增长需求

数据中心是互联网业务流量汇聚点,企业AI等新型业务驱动了数据中服务器从10G到25G甚至100G的切换,这就必然要求交换机支持400G接口,400GE接口标准化工作已经于2015年启动,目前针对数据中心应用已经完成标准化,400G时代已经来临。

集群的规模是数据中心架构演进的动力,经典的无阻塞CLOS理论支撑了数据中心服务器规模从千台、万台到今天10万台规模的发展,增大核心交换机容量是数据中心规模扩大的最常见手段。以一个1000T流量规模的数据中心组网为例,采用400GE技术,核心汇聚交换机需要5K个接口,相对100GE技术减少75%。

为此,CloudEngine 16800全面升级了硬件交换平台,在正交架构基础上,突破超高速信号传输、超强散热、高效供电等多项技术难题,不仅支持10G→40G→100G→400G端口平滑演进能力,还使得单槽位可提供业界最高密度48端口400GE线卡,单机提供业界最大的768端口400GE交换容量,交换能力高达业界平均的5倍,满足AI时代流量倍增需求。同时,CloudEngine 16800在PCB板材、工艺、散热,供电等多方面都进行了革命性的技术改进和创新,使得单比特功耗下降50%。

特征3.使能自动驾驶网络,秒级故障识别、分钟级故障自动定位

当数据中心为人工智能提供了充分的技术支撑去创新时,人工智能也给数据中心带来巨大利益,如借助telemetry等技术将异常信息送到集中的智能运维平台进行大数据分析,这极大提升了网络的运行和运维效率,降低运维难度和人力成本。但是当前计算和存储正在融合,数据中心服务器集群规模越来越大,分析的流量成千倍的增长,信息上报或者获取频度从分钟级到毫秒级,再加上信息的冗余,这些都使得智能运维平台的规模剧增,智能运维平台对性能压力不堪重负降低了处理的效率。如何减轻智能运维平台的压力,在最靠近服务器,最靠近数据的网络设备具有智能分析和决策功能,成为提升运维效率的关键。

CloudEngine 16800基于内置的AI芯片,可大幅度提升“网络边缘”即设备级的智能化水平,使得交换机具备本地推理和实时快速决策的能力;通过本地智能结合集中的FabricInsight网络分析器,构建分布式AI运维架构,可实现秒级故障识别和分钟级故障自动定位,使能“自动驾驶网络”加速到来。该架构还可大幅提升运维系统的灵活性和可部署性。

引领数据中心网络从云时代迈入AI时代

自2012年进入数据中心网络市场以来,目前华为已服务于全球6400+个用户,广泛部署在中国、欧洲、亚太、中东、非洲、拉美等全球各地,帮助互联网、金融、政府、制造、能源、大企业等多个行业的客户实现了数字化转型。

2017年华为进入Gartner数据中心网络挑战者象限;2018年进入Forrester数据中心SDN网络硬件平台领导者;2013-2018年,全球数据中心交换机厂商中,华为连续六年复合增长率第一,发展势头强劲。

早在2012年,华为就以“云引擎,承未来”为主题,发布了CloudEngine 12800数据中心核心交换机,七年以来这款面向云时代的交换机很好的支撑了数据中心业务弹性伸缩、自动化部署等核心诉求。

而随着本次华为率先将AI技术引入数据中心交换机、并推出面向AI时代的数据中心交换机CloudEngine 16800,华为也在引领数据中心网络从云时代迈入AI时代。

2018年,华为轮值董事长徐直军宣布:将人工智能定位为新的通用技术,并发布了人工智能发展战略,全面将人工智能技术引入到智能终端、云和网络等各个领域。而本次华为发布的业界首款面向AI时代数据中心交换机CloudEngine 16800,也是华为在网络领域持续践行AI战略的集中体现。

而作为华为AI发展战略以及全栈全场景AI解决方案的一个重要组成部分,CloudEngine 16800不仅是业界首款面向AI时代的数据中心交换机,还将重新定义数据中心网络的代际切换,助力客户使能和加速AI商用进程,引领数据中心真正进入AI时代。

自古英雄出少年。

本年度的华为天才少年项目再次引爆眼球。一位是从普通本科一路“逆袭”到华中科大博士,并成为唯一拿到本年度最高档年薪的青年才俊;另一位则是在多种A类期刊发表论文,集智慧与美丽于一身的美女博士。这两位成功入围项目的华中科大博士迅速成为街头巷议的热门话题。

值得关注的是,本年度入围的两位华为天才少年在校研究方向均跟数据存储有着紧密联系。因此,这二位不约而同地选择华为做存储相关的研究,让人不得不感叹华为存储对于基础研究与人才的重视。

事实上,从十八年前正式起步开始,华为存储一路发展始终与各大高校科研机构保持着紧密联系,高校科研机构不仅是华为存储人才重要的来源地,也是华为在存储基础领域联合创新的重要合作对象。如今,华为存储已经成长为全球Top 5、中国Top1级别的重要厂商, 在存储技术的产、学、研、用上逐步 探索 出一条价值闭环,真正让基础研究的创新成果加速走向落地,并利用市场成果不断反哺基础研究的创新

以本次入围天才少年项目的美女博士为例,其研究方向之一的非易失性存储器(NVM)、NVMe协议是当今存储产品中最为重要的技术趋势,而华为存储正是端到端NVMe全闪存当之无愧的领导者。华为存储的产、学、研、用价值闭环在端到端NVMe全闪存这个存储细分领域体现得淋漓尽致。

天下武功,唯快不破。

同样,在存储产品中,性能是衡量存储是否优秀的重要指标之一。在单位时间内IO越高、延迟越低,存储的性能就会越好,也意味着可以承载更多应用和更加及时响应业务请求,让用户体验更好。

NVMe正是存储领域一门关于快的武功。如果将为机械硬盘设计的SAS协议比喻为红绿灯多、卡口多的省市级公路;那么专为闪存而生的NMVe协议则是不限速的高速公路。初看NVMe可以让数据真正放飞自我,但是如何让NVMe这条数据高速公路修的更加合理、智能,让数据在高速公路上“不翻车”,则绝对需要常年修炼、不断打磨才能实现。

这是因为在数据中心这张数据网络中,IO路径涉及到服务器、存储、网络等多种设备,还有FC、IP、IB、PCIe、SAS等多种网络协议,经常面临数据传输路径过长、协议互相转化等挑战。因此,NVMe的落地往往“牵一发而动全身”,需要对整个数据中心数据传输网络进行规划和设计,仅仅是一两款NVMe SSD或者NVMe闪存控制器是远远不够的。

华为正是NVMe全闪存领域的顶尖高手,用“老司机”形容不为过。 作为存储行业SSD盘片级专利最多的厂商之一,华为对于NVMe协议进行了长期深入研究,在业界唯一端到端开发了NVMe SSD盘,NVMe 闪存控制器和NVMe全闪存操作系统,并且在业内率先实现了全系列端到端NVMe全闪存。

华为是如何做到这些的?让我们一探究竟。

华为之所以对于NVMe十分重视,是因为NVMe与闪存有着紧密联系,可谓是闪存性能潜能释放的关键所在。而华为早在2005年就开始对闪存进行研究,对于NVMe如何走向落地和价值如何实现有着深刻的洞察与实践。

2010年,NVMe最初作为一种硬盘接口协议诞生,充分释放出闪存性能。但要想真正释放数据中心包括计算、存储和网络的性能,NVMe作为硬盘接口协议是远远不够的。因此,NVMe经过多年发展,逐渐发展到存储网络领域,NVMe over RoCE技术孕育而生。

NVMe over RoCE(Non-Volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)作为新一代高性能存储技术,将NVMe协议和网络领域中RDMA技术结合,它的出现真正让数据中心的数据高速公路成为一种统一的网络,拥有性能、组网便利性和方案成本等多种优势。但是它也存在着链路故障感知时长、网络实验稳定性、部署易用性等方面的挑战。

为此,华为集合全公司重量级产品线力量,从存储和网络两个方面对标准NVMe over RoCE方案进行增强,推出了NOF+增强方案。

具体到产品方面,华为是业内唯一端到端开发了NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统,率先实现全系列端到端NVMe全闪的厂商。

比如,华为去年推出的全新OceanStor存储Dorado系列,其性能高达2000万IOPS、极致时延达到0.05ms,各项指标远超市场上同类竞品。

在华为OceanStor存储Dorado系列全闪存中,同时提供32G FC-NVMe和NVMe Over 100G RDMA全IP组网设计,实现前端网络连接、后端硬盘框连接、scale-out的控制器互联均采用同一种网络协议;OceanStor存储Dorado系列全闪存还针对NVMe设计了一套IO调度机制,彻底取消原来IO路径上的盘级互斥锁,避免了IO下发时队列锁冲突,降低软件开销,实现最佳性能。

此外,华为OceanStor存储Dorado系列全闪存在操作系统层面针对NVMe进行了优化,智能芯片、Flashlink智能算法,充分发挥了多核优势,并且通过智能学习统计IO规律,提升读缓存命中率和缩短批处理时间,大幅提升了性能与效率。

为了让数据的高速公路更加稳定与可靠,华为OceanStor存储Dorado系列全闪存在组件层提供了充足的保障。

例如,为增加端口可靠性,华为自研SSD支持原生双端口技术,而不是采用内部Switch实现双端口的方式,端口独立、互不影响,为整个全闪存提供了牢固的硬件基础和可靠性;此外,华为通过PCI-E多年的技术积累,具备完善的PCI-E链路管理、异常处理、热插拔技术,支持SSD盘在任何时间、任何方式拔出,并提供端到端PCI-E系统可靠性,保障单盘更换或发生故障时不扩散。

针对大容量SSD使用容易造成数据丢失的情况,华为OceanStor存储Dorado系列全闪存采用创新的RAID-TP软件技术,基于Erasure Code算法,在3块盘同时失效的情况下能够容忍数据不丢失、业务不中断。华为成为业界唯三可以同时容忍3块盘失效的厂商,并且是三家厂商中唯一可以实现15分钟/TB 高效重构,重构速度领先其他两家厂商20倍。华为OceanStor存储Dorado系列全闪存还拥有诸如快照、克隆、远程复制等完备的数据保护技术。

当前, 华为通过十多年的技术积累,华为已经拥有1000多个NVMe全闪存成功案例,用户涵盖到金融、政府、制造、能源等多个领域。

例如,成立于1996年的南华期货,是全国期货公司Top 10,主要从事期货经纪、资产管理、证券投资等业务。南华期货在大交所、郑商所、深交所、嘉兴联通、香港PCCW等行业数据中心和电信运营商处租用VIP机房和机柜,就近部署交易系统。

这样做的目的只有一个:“快人一步”。南华期货的业务是典型的“时间就是金钱”,一点点时间差往往可能带来利润的大幅变动,这种交易型的业务决定了其对时延要求极低,通常需要小于1ms。南华期货通过部署华为OceanStor存储Dorado全闪存来承载综合交易平台,不仅稳定可靠,性能还提升3倍,为投资者提供了极佳的用户体验。

可以说,华为存储的“快人一步”让用户在业务中也“快人一步”。

十八年风雨兼程,华为存储如今已经成长为全球Top 5、中国Top 1级别的厂商,在全球布局了12个研发中心,拥有超过4000名研发工程师、800多项存储专利,服务了全球超过12000家涵盖各个行业的用户并且连续十九个季度位列中国市场第一,更是在全闪存领域连续多个季度实现全球增速第一。

在这十八年中,技术创新是华为存储的信仰,技术创新的脚步永不停止让华为在高端存储架构、NVMe、智能存储等多个领域不断实现突破,逐渐从市场的跟随者成长为业界当之无愧的技术领先者。去年,华为存储更是首次针对数据基础设施技术难题设置了“奥林帕斯奖”,鼓励和奖励全球在数据基础设施领域取得突破性贡献的科研工作者。

未来,随着更多华为天才少年以及其他人才的不断加入,华为存储有望在舞台中央施展更多精彩。

免责声明:本平台仅供信息发布交流之途,请谨慎判断信息真伪。如遇虚假诈骗信息,请立即举报

举报
反对 0
打赏 0
更多相关文章

收藏

点赞