首页>资讯>正文
英特尔Gaudi2处理器发布,针对中国市场,可为大语言模型提供推理性能
2023-07-11 22:42:38    来源:网易科技频道


【资料图】

【网易科技7月11日报道】英特尔AI产品战略暨Gaudi2新品发布会今日在京举行。会上,英特尔正式于中国市场推出第二代Gaudi深度学习加速器——Habana Gaudi2。

据介绍,Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B,以第一代Gaudi高性能架构为基础,具备:24个可编程Tensor处理器核心(TPCs), 21个100Gbps(RoCEv2)以太网接口, 96GB HBM2E内存容量,2.4TB/秒的总内存带宽, 48MB片上SRAM,成多媒体处理引擎。

据悉,Gaudi2加速器的性能在6月公布的MLCommons MLPerf基准测试1中得到了认证。

此外,Gaudi2可为大规模的多模态和语言模型提供推理性能。在最近的Hugging Face评估中,其在大规模推理方面,可以支持运行Stable Diffusion2、70亿以及1760亿参数BLOOMz3模型。在Stable Diffusion训练上,Gaudi2展示了从1张卡至64张卡近线性99%的扩展性。

据资料显示,Gaudi2深度学习加速器的架构旨在高效扩展,以满足大规模语言模型及生成式AI模型的需求。其每张芯片集成了21个专用于内部互联的100Gbps(RoCEv2 RDMA)以太网接口,从而实现低延迟服务器内扩展。

目前,英特尔正与浪潮信息合作,打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。该服务器集成了8颗Gaudi2加速卡HL-225B,同时包含双路第四代英特尔至强可扩展处理器。(李姝)

关键词:

英特尔Gaudi2处理器发布,针对中国市场,可为大语言模型提供推理性能

【网易科技7月11日报道】英特尔AI产品战略暨Gaudi2新品发布会今日在京2023-07-11

贵州证监局赴安顺开展提高上市公司质量专题调研

为深入贯彻证监会新一轮提高上市公司质量三年行动方案,在新的起点上推2023-07-11

总量的视野:电话会议纪要

总量的视野:电话会议纪要2023-07-11

招远市持续开展危险化学品企业专项排查整治行动

大小新闻客户端7月5日讯(通讯员:赵晓旭)为扎实推进危险化学品企业专2023-07-11

延伸产业价值链,沪上这家出版社“破圈”动力来自哪

传统出版机构如何放大内容资源提升“破圈”影响力?在深耕图书市场的同2023-07-11

国家防总派出两个工作组分赴江苏、四川协助指导防汛工作

据气象部门预测,7月11日至14日,四川盆地、西北地区东部、华北、黄淮2023-07-11

红酒冷藏还能喝吗?

红酒冷藏后仍然可以喝,没有问题。事实上,有些红酒在冷藏后的适宜饮用2023-07-11

洋河夏日研学攻略来啦,请查收!

暑期到来,神兽归家,不知道带娃到哪里逛逛?带孩子来洋河开展一次暑期2023-07-11

外媒:土耳其就瑞典入约松口后,美将推进向土提供F-16战机

【报道】据路透社11日报道,美国总统国家安全事务助理沙利文当地时间112023-07-11

应对“大客流”,北京各景区采取分时预约、提前开门等举措

新京报讯(记者吴婷婷)北京迎来暑假客流高峰,7月11日,北京市文旅局2023-07-11

单人探索游戏《鲸葬》Steam页面上线 9月发售

《鲸葬》是一款单人探索游戏,该作目前已经在Steam商店页面上线了游戏2023-07-11

【何以中国】盛世中华有多美?AI给中国做了一组名片

五千年中华文明,世界遗产、文物典籍,展示华夏壮丽山河,中新AI实验室2023-07-11

动画丨热ྂ热ྂ热ྂ热ྂ热ྂ!明天入伏!时间创纪录,超长待机40天

俗语说:“夏至三庚便数伏。”意思是,夏至之后的第三个庚日是初伏的第2023-07-11

苹果将推出更便宜的ARMMacBookAir

苹果上个月在WWDC会议上确认,Macs将在2020年底前从英特尔转向ARM,首2023-07-11

Redmi K70渲染图曝光:小米13同款相机模组

博主“定焦数码”公布了一张疑似RedmiK70的外观渲染图,从渲染图可以看2023-07-11

总揽金超千亿!全国第二!民企拿走近7成地!上半年杭州土拍走出独立行情

据乐居统计,上半年萧山区、上城区分别供应11、8宗宅地,两个区域溢价2023-07-11

重庆市开展2023年国家工业节能监察工作

各区县(自治县)经济信息委,两江新区、西部科学城重庆高新区、万盛经2023-07-11

河北曲周:“彩色周末”乐享消夏文化盛宴

曲周县梦想家舞蹈队表演节目《半壶纱》。李桐摄夏日晚风习习,欢歌曼舞2023-07-11

对流性强降水来袭,陕西省防总要求做好防汛工作

  盛夏时节,三秦大地抢抓“黄金期”,项目建设正酣!   7月10日,2023-07-11

中国汽车论坛丨曹斌:SDV发展趋势——开放的集成式开发践行“软件先行”

中国汽车论坛丨曹斌:SDV发展趋势——开放的集成式开发践行“软件先行2023-07-11

洛克王国flash修复(洛克王国辅助flash)

导读1、嗯。2、比如还其它不少呢用别的flash插件别的浏览器试试吧。本2023-07-11

华为盘古,过河拆“Chat”

经历了漫长期待与纷纭猜测,华为盘古大模型最新进展悄然面世。7月7日,2023-07-11

多位博主称被都美竹起诉侵犯肖像权,有律所曾代理23宗案件,涉及标的57万余元

7月7日,博主吴娟发布微博称,自己被都美竹起诉。其发布的起诉书显示,2023-07-11

为何说太平天国必败?洪秀全这篇搞笑圣旨说明了很多问题

每当我们谈到太平天国失败的原因,会有这么一种观点,认为太平天国之败2023-07-11

新诺威07月10日被深股通减持119.09万股

07月10日,新诺威被深股通减持万股,最新持股量为万股,占公司A股总股2023-07-11