您现在的位置是:首页 > 人工智能 >
使用NVMe-oF共享闪存存储的AIoT数据基础架构的新方法
到2023年,物联网(IoT)预计将包含近300亿个互联设备。这些物联网设备可在网络上创建和传输大量数据。但是数据所有者如何从传输的数据中获得情报?这就是AIoT的到来,即人工智能(AI)和IoT的结合。
AIoT将智能处理功能添加到IoT设备收集的各种大型数据集中。它使企业能够分析数据并提供见解。如今,AIoT在互联用例(例如用于远程患者监控和预防医学的医疗保健)中仍然存在;在制造业中的机器人领域;在自动驾驶汽车中;在网络监控中;并在诸如C3.ai数字转化研究所的研究中努力减轻流行病并防止未来的传染病爆发。对于需要深度筛选大量数据以执行深度学习算法的任何用例,AIoT是一种功能强大的工具。它是自我学习,自我监控和自我修复。AIoT使预测决策具有很高的预测精度,远远超过了人类。
AIoT面临的挑战是系统涉及具有多个阶段的复杂数据管道。企业不仅需要处理来自物联网的数据的数量,种类,速度和准确性,还需要在实现AI解决方案时保持模型质量,数据访问延迟,吞吐量和数据缓存功能。如果优化了计算系统以快速处理数据,那么除非建立正确的计算,存储和内存组合,否则将数据导入这些系统可能会成为瓶颈。
存储是关键基础,需要解决AIoT数据管道的所有阶段,从摄取到数据准备再到模型训练和推理,并仔细考虑TCO,性能和功耗要求。它还需要满足AI工作负载不断变化的需求。企业为了满足AI高吞吐量和低延迟的需求而转向NVMe闪存存储,但让我们通过基于结构的NVMe(NVMe-oF)进一步迈进一步
一种新方法–共享存储
一种新方法是将可组合的分解基础架构(CDI)与NVMe闪存,GPU池和大容量存储系统结合使用,以在动态的,软件定义的应用程序环境中实现快速响应时间和AI的扩展需求。
CDI会从物理上分解资源(计算,网络,存储和GPU),并根据特定应用程序的需要将它们汇总在一起。这可以实现灵活,独立的资源扩展,以满足AI工作负载不断变化的需求。
可组合存储将大大提高企业调配和优化其数据基础架构以满足动态应用程序需求的灵活性和灵活性。
CDI允许在许多主机之间共享和扩展存储,网络和计算资源。与融合系统不同,当数据随着服务器容量的增长而增长时,它避免了后续数据传入和传出GPU服务器本地SSD的延迟。它可以立即访问经过训练的模型和共享闪存中的数据,并可以快速响应。
选择存储解决方案时,具有NVMe闪存的开放式可组合基础架构可以跨团队无缝分配共享存储池,以提高效率,成本和CIO关心的KPI指标。
如何跨AIoT数据管道实施NVMe-oF共享存储
实施AI计划时,重要的是设计一种存储基础架构,以支持前所未有的AIoT数据量。优化TCO和效率的一种方法是查看AI工作负载的每个阶段,以确定哪种存储类型最适合每个阶段。NVMe-oF共享存储几乎适用于AIoT工作流程的所有阶段:
接收 – 接收阶段需要具有速度和规模,以维持从IoT系统传入的数据的数量和速度。要提取到临时着陆区,可以使用NVMe存储平台或大容量存储系统(基于HDD,对象或云存储),而要提取到集中式的全局可访问容量层,则可以使用大容量存储系统。为了吸收到高性能层(无论是在本地还是在云上部署),都需要NVMe闪存来进行实时分析。
数据准备 –数据准备阶段的主要重点应该放在数据质量上。就成本和性能而言,NVMe存储平台也是一个不错的选择。或者,您可以选择闪存和HDD的混合选件,以提供性能和更高容量的好处。
模型训练 -模型训练阶段对已实现的AI解决方案的模型质量,数据访问延迟,吞吐量和数据缓存功能敏感。这需要低延迟,面向吞吐量,可扩展的高性能存储层,并且NVMe-oF存储平台非常适合满足这些需求。
推论 –推论阶段同样需要低数据访问延迟,吞吐量响应时间和数据缓存功能。模型训练和推理阶段在分解架构中访问一个共享存储时,它们之间是高度相互依赖的。例如,如果推理评分很差,则需要对模型进行重新训练,并且在模型训练结束之前,无法生成推理。因此,对两者使用相同类型的共享存储池是有意义的。
备份/还原 –在备份阶段,大容量HDD,对象存储或云存储最适合存储和按需访问旧模型和数据。通常需要从备份中还原旧模型以进行推理或重新训练,以满足新的传入IoT数据的需求,因此最好利用近线或在线备份解决方案。
适用于AIoT的NVMe-oF可组合分解基础架构
NVMe-oF正在统一如何大规模共享,组合和管理存储,以满足不断变化的应用程序和工作负载的需求。使用NVMe闪存的可组合分解基础架构允许IT即时分配存储,以支持AI每个阶段的AIoT实施。
我们将继续看到越来越多地采用可组合的分布式存储解决方案,这些解决方案可以有效地在以太网结构上扩展,并将NVMe设备的全部性能潜力提供给各种数据中心应用程序。可组合存储将大大提高企业配置和优化其数据基础架构的灵活性和灵活性,以满足AIoT及其数据中心KPI的动态应用需求。
热点推荐
- · 看看在黑暗中发光的三菱Evo汽车
Dip Your Car进行了一项实验,将三菱Evo转变为夜光汽车,其结果发布在同名的YouTube频道上。事实证明,将荧光漆涂在具有光亮层的身体上并
- · Memoji现在可以在最新的苹果iOS 1...
我认为这是我们只能与Emojis聊天的时候了,您的朋友仍然会理解您要说的话。如今,随着疯狂的表情符号数量的增加,您可以从表情符号选项卡中
- · 联想使用高通Snapdragon 865制造...
根据在weibo com上发布的图像,看来联想可能会推出自己的游戏智能手机,该智能手机将配备高通公司的顶级Snapdragon 865芯片组。此外,发布
- · 新消息确认荣耀X50Pro5G智能手机的...
昨天,realme宣布将在线发布 realme X50 Pro 5G。但很明显,该公司无意放弃这种戏弄,最新消息证实该智能手机的显示屏将具有90Hz的刷新
- · 谷歌Pixel5XL原型设计的泄漏渲染看...
如果相信消息来源,谷歌似乎已经开始开发下一代Pixel智能手机。当然,有关Pixel 5的传言还为时过早,但这次我们确实在这方面有一些消息。
- · 苹果希望为其5G iPhone使用内部设...
在日历达到2020年之前,已经很明显,今年将是5G设备的一年。许多公司都从其他制造商那里购买了用于智能手机的5G天线,但是苹果似乎并不打算
- · 泄漏的渲染图表明三星正在开发Gala...
三星Unpacked 2020大会上的一大亮点可能让那些喜欢高端旗舰产品的人流口水,但三星为智能手机市场的其他细分市场提供了充足的保护。如果可
- · 在2020年亚马逊Prime Day期间可获...
亚马逊2020年Prime Day为各种耳机带来了很多优惠,包括索尼的新型WH-1000XM4无线耳挂式耳机,该耳机具有市场上最好的噪音消除功能。这套特
- · 索尼最好的降噪耳机在Prime Day上...
如果您从Verge链接购买商品,Vox Media可能会赚取佣金。请参阅我们的道德声明。2020年黄金日的第二天也是最后一天,但接下来的几个小时仍
- · Spotify现在拥有自己的iOS 14小部件
自iOS 14发布以来的几周内,越来越多的应用程序在增加新功能,以利用Apple最新更新中的功能。现在,Spotify也加入了。今天,领先的订阅音
- · 苹果TV应用程序出现在Sony的一些最...
如果您从Verge链接购买商品,Vox Media可能会赚取佣金。请参阅我们的道德声明。苹果的Apple TV应用程序首次进入了Android TV。索尼宣布
- · 宏G支持G-Sync的27英寸4K 144Hz游...
如果您从Verge链接购买商品,Vox Media可能会赚取佣金。请参阅我们的道德声明。宏A在亚马逊上的27英寸4K Predator游戏显示器的闪电交易持
- · 谷歌Glass正在添加Meet 以便远程...
您可能已经有一段时间没有考虑过Google Glass了,但其抬头显示器的企业版却有了一个巧妙的新技巧:它将能够使用Google Meet(以前称为Hang
- · 贝尔金的首批MagSafe产品是外观精...
苹果公司新的MagSafe配件生态系统还没有建立一天,但是Belkin已经开始使用新的使用磁性充电系统的充电配件,并推出了新的BoostCharge Pro
- · 谷歌的新手势系统将可用于所有Pixel设备
除了触摸屏幕或按下按钮外,我们还有许多其他方式可以与智能手机进行交互。借助最新的Google Pixel 4 系列的Motion Sense ,我们可以
- · 华为于2020年推出其6nm麒麟820 5G芯片
华为最近宣布,他们可能会推出新的麒麟820 5G芯片组,该芯片组将在2020年2月24日晚上9点举行的在线会议上揭晓。根据gizchina com的声明,
- · 华为将开发一款具有多达8个摄像头...
最近花姐发现有诸多的小伙伴们对于华为将开发一款具有多达8个摄像头传感器的智能手机吗这个问题都颇为感兴趣的,大家也都想要及时了解到华
- · 配备64MP AI Quad相机的荣耀6系...
realme在其官方网站上发布了一张图片,其中提到realme 6系列(包括realme 6以及Pro变体)将于2020年3月5日发布。虽然关于上述智能手机的完
- · 未来的智能手机会使用用户可更换的...
根据fd nl上的一份报告,看来欧盟正在制定一项提案,要求智能手机具有用户可更换的电池。这是由于以下事实:用户通常将旧的智能手机换成较
- · FlyPods 3是HONOR为您呈现的全新...
除了HONOR View 30 Pro 和HONOR 9X Pro,HONOR在巴塞罗那举行的发布会上也给我们带来了另一个惊喜。该公司已经宣布了名为HONOR FlyP
点击排行
- · 谷歌Pixel5XL原型设计的泄漏渲染看...
如果相信消息来源,谷歌似乎已经开始开发下一代Pixel智能手机。当然,有关Pixel 5的传言还为时过早,但这次我们确实在这方面有一些消息。
- · 保险科技彰显价值 开启保险行业新纪元
从渠道变革、场景创造,再到科技重构,保险科技改变了传统保险行业的认知,催生了新的保险需求、重塑了保险价值链、孕育了保险生态系统。保
- · 比特币狂飙十几倍 核心推手或是日...
[ 亿欧导读 ] 全球最大比特币交易平台日本bitFlyer CEO称,平台上有多达75%的投机客购买衍生品,动用杠杆高达15倍;以日元交易的比特币
- · 多家上市公司退出筹备民营银行热情...
民营银行的申报热情有所降温。近日,亚宝药业发布公告称,全体拟出资人商议决定终止筹建山西同昌银行的相关工作,并因此被媒体质疑。为此,
- · 互联网上奇葩险种频现假保单屡禁不绝
有些流量平台假借保险之名非法集资,或撒出高额回报的诱饵,或伪造保单,骗取消费者资金。这些平台并不具备保险代理资格,按规定只能为保险
- · 移动互联网时代价值创造的8大变化...
【编者按】本文为肖风的公开演讲速记,肖风系中国万向控股有限公司副董事长兼执行董事、民生人寿保险股份有限公司副董事长、万向信托有限公