您当前的位置:首页 >> 家电 >  >> 
轻薄型笔记本也能高效运行大模型!英特尔实力推动生成式AI场景在个人电脑落地
来源: 泡泡网      时间:2023-08-25 15:31:19


(相关资料图)

以第12代、第13代英特尔酷睿处理器和英特尔锐炫A系列显卡为代表的英特尔多款客户端芯片均能提供强劲性能,以满足生成式AI(AIGC)对于高算力的需求,在此基础上,英特尔还通过软件生态的构建和模型优化,进一步推动新兴的生成式AI场景在个人电脑的落地,广泛覆盖轻薄本、全能本、游戏本等。目前,英特尔正与PC产业众多合作伙伴通力合作,致力于让广大用户在日常生活和工作中,通过AI的辅助来提高效率,进而带来革新性的PC体验。

英特尔积极拥抱AI社区,基于OpenVINO PyTorch后端的方案,通过Pytorch API让社区开源模型能够很好地运行在英特尔的客户端处理器、集成显卡、独立显卡和专用AI引擎上。以图形视觉领域为例, Stable Diffusion的实现Automatic1111 WebUI,已经能通过上述方式,在英特尔客户端平台的CPU和GPU(包括集成显卡和独立显卡)上运行FP16精度的模型,用户可以在文字生成图片、图片生成图片以及局部修复等功能上获得良好的使用体验。

不仅如此,英特尔通过模型优化,降低了模型对硬件资源的需求,进而提升了模型的推理速度,让社区开源模型能够很好地运行在个人电脑上。以大语言模型为例,英特尔通过第13代英特尔酷睿处理器XPU的加速、low-bit量化以及其它软件层面的优化,可让高达160亿参数的大语言模型,通过BigDL-LLM框架运行在16GB及以上内存容量的个人电脑上。这也彰显了英特尔能够适应当下快速发展的大语言模型生态,快速对接新兴模型,并兼容目前HuggingFace上的Transformers模型。已经验证过的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper等。此外,英特尔还提供了易用的API接口(Transformers、LangChain),并支持Windows、Linux的操作系统。

英特尔的下一代处理器Meteor Lake具备独特的分离式模块架构的优势,为PC用户提供了以AI驱动的新功能,包括像Adobe Premiere Pro中的自动重新构图和场景编辑检测等多媒体功能,并实现更有效的机器学习加速。英特尔与PC产业合作伙伴此刻正站在旅程的起点,向着规模化应用AI加速转型的方向前行。随着英特尔后续几代产品进一步扩展,规模和数量的大幅增长将让数亿人轻松享受AI加速体验,并实现更优的智能协作、更快的处理速度和更强的功能特性实现前所未有的体验变革。

编辑点评:让轻薄型笔记本也能高效运行大模型,笔者认为这是英特尔非常厉害的地方。对于英特尔自身来说,在轻薄本市场上,英特尔又多了一大卖点。对于从事生成式AI项目的用户们来说,很多工作现在仅需一台轻薄本就够了,如此美妙的体验,笔者在以前是不曾想象的。不得不感叹,科技进步有时候就是这么的快!

作者:张帆

标签:

X 关闭

设计师 查看更多
新建沪渝蓉高铁武汉至宜昌段这座隧道贯通|世界消息
时间·2023-01-11    来源·凤凰网湖北
世界热点评!网贷逾期26天没还会有什么后果
时间·2023-01-11    来源·法师兄
【全球独家】阿兹夫定入医保,新冠药商业化加速
时间·2023-01-10    来源·消费钛度
小米贷款网贷逾期53年不还会不会上征信_全球视点
时间·2023-01-10    来源·法师兄

X 关闭