保健食品招商

2022年MLPerf的新一轮推理测试有何亮点?

发布日期:2022-05-12 22:46   来源:未知   阅读:

  近日,MLCommons发布了三个 MLPerf推理测试标准与结果——Inference v2.0、Mobile v2.0 和 Tiny v0.7。MLPerf 是由来自学术界、研究实验室和相关行业的 AI 领导者组成的联盟,旨在“构建公平和有用的基准测试”,在规定的条件下,针对硬件、软件和服务的训练和推理性能提供公平的评估。MLPerf 基准测试是对机器学习模型、软件和硬件能力的完整测试方案,并可衡量功耗使用情况。

  MLCommons 执行董事 David Kanter对此表示:“这是MLCommons的一项杰出工作,有如此多的新参与者,提交的数量和多样性也大大增加。并且功耗测量得到更多采用,凸显了行业对高效人工智能的关注。”

  MLPerf Inference 基准测试主要关注数据中心和边缘系统,提交者包括阿里巴巴、华硕、Azure、Deci.ai、戴尔、富士通、FuriosaAI、技嘉、H3C、浪潮、英特尔、Krai、联想、Nettrix、Neuchips、NVIDIA、Qualcomm、Supermicro 和浙江实验室。本轮测试一共展示了超过 3900 次性能测试和 2200 次功耗测试,分别是上一轮的 2 倍和 6 倍,充分展示了社区的活力。

  MLPerf Mobile 基准测试针对智能手机、平板电脑、笔记本电脑和其他客户端系统,最新提交的报告显示平均性能比上一轮提高了两倍,厂商则包括了高通及三星,(分别是小米的米12以及三星的Galaxy S22)MLPerf Mobile v2.0 包含一个新的图像分割模型 MOSAIC,它是由Google Research 根据 MLCommons 的反馈开发的。

  MLPerf Tiny 基准测试则适用于功耗最低、外形尺寸最小的设备,例如深度嵌入式、智能传感和物联网应用。包括阿里巴巴、Andes、hls4ml-FINN 团队、Plumerai、瑞萨电子、Silicon Labs、意法半导体和 Syntiant,这些公司共提交了 19 个不同的系统,比第一轮多 3 倍,其中超过一半的结果包含了功耗评估。

  尽管如上介绍,此次参与者明显更多,但NVIDIA依然在Inference V2.0中占有绝对的领导地位——无论是数据中心还是边缘系统。值得一提的是,此次基于NVIDIA Ampere架构的低功耗系统级芯片NVIDIA Orin是首次参加测评。并且在边缘AI领域,NVIDIA Orin预生产版本在六项性能测试中的五项处于领先地位,其运行速度比上一代Jetson AGX Xavier快了5倍,能效平均提高了2倍。

  除了Orin之外,此轮MLPerf,验证了NVIDIA的多项成果,包括MIG、TensorRT等,并且一些新厂商的加入,再次扩大了NVIDIA的生态系统。

  根据官方所描述,NVIDIA Orin 系统级芯片由 170 亿个晶体管组成,凝聚 NVIDIA 团队为期四年的努力。Orin 系统级芯片集成了 NVIDIA 新一代 GPU 架构Ampere和 Arm Hercules CPU 内核以及全新深度学习加速器(DLA)和计算机视觉加速器(PVA),算力达275TOPS。在性能大幅提升的同时,进一步优化了能耗比。Orin 可处理在自动驾驶汽车和机器人中同时运行的大量应用和深度神经网络,并且达到了 ISO 26262 ASIL-D 等系统安全标准。Orin最高性能是Jetson AGX Xavier的8倍,而对于相同售价来说,性能最高是Xavier的6倍。

  而此次,MLPerf的结果也实际表明了Orin无论在性能和能效比上的强大之处。

  NVIDIA Orin现已加入到用于机器人和自动化系统的NVIDIA Jetson AGX Orin开发者套件。包括亚马逊网络服务、约翰迪尔、小松、美敦力和微软Azure在内的6000多家客户使用NVIDIA Jetson平台进行AI推理或其他任务。

  Orin也是NVIDIA Hyperion自动驾驶汽车平台的关键组成部分。中国最大的电动汽车制造商比亚迪近期宣布,他们将在其新一代自动驾驶电动汽车中使用内置Orin的DRIVE Hyperion架构。

  Orin同样也是NVIDIA Clara Holoscan医疗设备平台的关键组成部分,且该平台可供系统制造商和研究人员用来开发新一代AI仪器。

  除了与Xavier对比之外,NVIDIA还专门拿出Orin以及其他产品线进行对比,并在多项测试中依旧保持着绝对领先的地位。

  在NVIDIA的新闻发布会上,公司AI 推理和云高级产品经理David Salvator也表示:“坦率地说,在 CNN类型的神经网络中,高通提供了一个非常好的解决方案,因为它与效率息息相关。但在SSD-Large的情况下,A100总体性能依然是AI 100的三到四倍。”

  多实例GPU (MIG) 可提升每个 NVIDIA A100 Tensor 核心 GPU 的性能和价值。MIG可将 A100 GPU 划分为多达七个实例,每个实例均与各自的高带宽显存、缓存和计算核心完全隔离。管理员可以支持从大到小的各项工作负载,为每项工作提供规模适当的 GPU,而且服务质量 (QoS) 稳定可靠,从而优化利用率,让每位用户都能享用加速计算资源。

  而根据实际测试结果,在使用7个实例时的性能为仅用一个实例的98%,这也意味着MIG可以充分利用GPU,避免了算力的浪费。

  软件再次成为性能提升的关键驱动因素,NVIDIA在AI推理方面的软件包括了用于优化 AI 模型的 NVIDIA TensorRT 和用于有效部署它们的 NVIDIA Triton开源推理服务软件。Salvator 强调了 NVIDIA 的 Triton开源推理服务软件。

  而也正是因为NVIDIA的跨平台管理能力,使A100 在 Arm 和 x86-64 平台上的性能几乎相同。并且,通过NVIDIA的软件优化,AI性能在过去一年中就增长了高达 50%。

  NVIDIA AI 平台再次吸引了来自最广泛合作伙伴生态系统的最多 MLPerf 提交。其中系统制造商华硕和新华三在本轮测试中首次使用NVIDIA AI平台提交MLPerf结果。此外,包括戴尔、富士通、技嘉、惠普企业、浪潮、联想、宁畅和美超微在内的NVIDIA认证系统制造商均提交了MLPerf结果。

  尽管有人开玩笑的表示MLPerf其实是一项 NVIDIA的基准测试,比如英特尔、谷歌、AMD(Xilinx)等,均没有参加此轮测试。

  但MLPerf基准已经得到了亚马逊、ARM、百度、戴尔科技、Facebook、谷歌、哈佛大学、英特尔、联想、微软、斯坦福大学和多伦多大学等机构的广泛支持,并且如上所介绍,NVIDIA的众多合作伙伴也积极参与MLPerf的评测中。而且,在有了指标之后,其他公司才可以更好的与NVIDIA的产品直接对标。

  此外,我们也看到包括ST、瑞萨、Syntiant、Silicon Labs、平头哥等公司的加入,MLPerf不仅关注云及边缘,在IoT终端方面,也越来越成为AI测试的基准。

  上一篇:NVIDIA 宣布推出 Hopper 架构,掀起新一代加速计算浪潮

  下一篇:意法半导体公布2022年一季度财报、电话会议和资本市场日的时间安排

  英特尔发布了专为数据中心设计的新处理器,进军这个利润丰厚的市场。但在这里,它将面临英伟达和AMD更激烈的竞争。新的产品线将包括更新的人工智能芯片,新版本的英特尔至强(Xeon)处理器,以及帮助连接电信网络的芯片。该公司还将首次推出面向数据中心的图形芯片,挑战英伟达的大本营。英特尔首席执行官Pat Gelsinger周二在达拉斯的一个公司活动上宣布了这些产品。虽然英特尔的处理器仍然是大型数据中心使用最广泛的处理器,但其他公司更快增长,并抢走市场份额。这个市场将成为英特尔重夺优势地位的关键战场。英伟达的数据中心业务自2019年以来增长了两倍,达到每年超过100亿美元。在云计算服务器芯片销售的推动下,AMD第一季度整体收入飙升

  如果看到一个人眼前戴着有些笨重的仪器,还时不时地会挥舞四肢,大概率就能猜到,这个人应该是在玩 VR 游戏,戴着的那个酷似护眼仪的‘大块头’就是 VR 头显设备。VR 技术经过这些年的发展,已经有了不小的进步,但 VR 头显却始终略显笨重(对颈椎实在是太不友好了)。于是,如何让它们变得轻薄就成了这个领域不能忽略的问题。想让 VR 头显能实现轻型化,英伟达(NVIDIA)公司与斯坦福大学的两队研究人员合作发布了一篇论文展示最新的研究——是一种用于虚拟现实(VR)的超薄全息眼镜。其实 VR 头显如今依旧是这种让人用起来颇为不便的尺寸,主要原因之一就是技术方面的障碍还有待突破。目前主流的 VR 头显设备的显示原理是左右眼屏幕

  5 月 8 日消息,由于去年以太坊等加密货币挖矿的大热,各大厂商的显卡都出现了缺货涨价现象。为维持游戏玩家的供应,英伟达宣布从 RTX 3060 开始推出哈希锁 (LHR) ,以对抗挖矿行为,但英伟达官方却不小心放出了解锁版固件而功亏一篑。随后,英伟达宣布升级 LHR 锁,硬件、软件配合进行限制。当然,哪怕英伟达这样做了,还是有很多人相信 LHR 被会再一次破解。现在,QuickMiner 公司团队 NiceHash 宣布完成对Nvidia 算法的破解,成功将 LHR 显卡恢复到 100% 的完整以太坊算力。NiceHash 团队宣称在 Win 系统下,QuickMiner 软件已完成对 DaggerHashimo

  美国证券交易委员会(SEC)已经与NVIDIA达成和解,并对其罚款550万美元,因为它故意误导投资者关于加密货币市场如何影响其销售。SEC表示,在2018财年连续多个季度,NVIDIA没有披露其收入和GPU销售的显著增长是由于对加密货币的兴趣和需求增加,而不是游戏玩家的需求。事实上,美国证券交易委员会表示,该公司将其加密采矿收入归入其游戏财务项下。因此,投资者不知道NVIDIA的财务表现是由于一个不稳定的业务,而不是其历来表现稳定的游戏部门。当加密货币市场在2018年底出现崩溃时,NVIDIA将其季度销售预测削减了5亿美元,这显然对股东产生了不利影响,并促使他们提起诉讼。NVIDIA方面既没有接受也没有否认SEC的调查结果,但仍将支

  不出意外的线年AMD及NVIDIA都要推出新一代显卡了,AMD这边是RDNA3架构的RX 7000系列,NVIDIA那边是RTX 40系列,Ada Lovelace架构。RX 7000及RTX 40系显卡的具体性能未知,但是两家这一代显卡有很多共同点,那就是大幅提升计算规模及功耗来实现更高性能,RX 7000系列预计有多达1.5万个核心,RTX 40系列预计也有1.8万核心,两边的TDP功耗都要奔着500W甚至600W了。还有一点相同,那就是工艺,RX 7000是台积电5nm工艺,RTX 40系列跟计算卡H100一样是台积电4N工艺,但后者本质上也是5nm改进版,两边都是跟台积电合作定制的,技术细节不同,但没有代差。AMD

  近期,武汉环宇智行科技有限公司(以下简称“环宇智行”)完成数千万元的新一轮融资,由苏州资管卓璞基金领投。融资资金将用于产品研发和量产,在武汉研发和产品中心基础上,公司总部也将落地苏州。据悉,环宇智行成立于2014年,专注于自动驾驶产品、解决方案和技术服务,聚焦L2+到L4级自动驾驶主战场。目前公司产品有HiParking智能泊车、HiPilot智能行车、Athena自动驾驶平台软件、Titan系列自动驾驶域控制器等。可为主机厂提供智能泊车、高等级智能辅助行车、自动驾驶等量产解决方案。目前国内市场上已经出现了多家从事自动驾驶域控制器研发的企业。据悉,目前环宇智行的域控制器产品搭载了英伟达和德州仪器的处理器,并拿到安霸高算力芯片授权。环

  高端显卡PCB文件 GF106挂12个 DDR3A

  时代的驱动引擎 (石侃)

  报名 TI CAN SIC (信号改进功能)技术直播,赢【体脂秤、挂灯】等好礼!

  Swissbit 发布 S-55 和 S-58 系列,扩展 SD 存储卡产品线

  高通推出下一代5G和AI机器人解决方案,推动更智能、更安全的自主机器人

  3800元起!谷歌Pixel 6供不应求:官方给没收货用户发600元优惠

  BOE总裁高文宝博士致辞SID 60周年 三大创新理念引领产业可持续发展

  再添混合办公猛将 全新Poly Studio及Poly Sync系列助力未来平等办公

  英特尔公布代号 Arctic Sound-M 数据中心 GPU 的更多细节

  Quanergy基于光学相控阵的固态激光雷达传感器提供业界首屈一指的250米探测距离

  TI低功耗蓝牙技术与阿里云IoT智能生活开放平台iLOP的完美结合!预报名+看直播均可赢好礼!

  精选PI InnoSwitch 产品系列文档,为您的设计添光溢彩! 下载有好礼!

  ST AMG SensorTile开发大赛驾到,重磅大奖与知识兼得,速来~

  推陈出“芯“――TI 带你领略智能手机黑科技在线直播 预报名+看直播 好礼让你嗨翻全场!

  下载有礼:2017年泰克亚太专家大讲堂第二期: 100G/200G/400G通讯标准发展趋势及解决方案

  站点相关:嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科