微软出手!Win11电脑本地运行DeepSeek-R1大模型

今日头条
Toutiao
最新回复:2025年1月30日 20点9分 PT
  返回列表
71598 阅读
24 评论
IT之家

人工智能正加速向着边缘计算领域发展,Copilot+ PC 在其中扮演着重要角色。随着 DeepSeek R1 出现,微软也意识到了这一模型可能会带来了一系列变革。

微软今日(1 月 30日)发文,宣布推出针对 NPU 优化的 DeepSeek-R1(已在 Azure AI Foundry 和 GitHub 上提供),首批将面向搭载高通骁龙 X 芯片的 Copilot+ PC 推出,随后是英特尔酷睿 Ultra 200V 等平台。

微软表示,首个版本

DeepSeek-R1-Distill-Qwen-1.5B将在 AI Toolkit 中提供,7B 和 14B 版本也将很快推出,从而帮助开发者充分利用 Copilot+ PC 中强大的 NPU 配置。

微软表示,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下,生成式 AI 不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。

微软表示:

通过我们在 Phi Silica 上的工作,我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色,同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 DeepSeek 模型借鉴了该项目的多项关键经验和技术,包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外,我们还利用 Windows Copilot Runtime(WCR)通过 ONNX QDQ 格式在多样化的 Windows 生态系统中实现扩展。

微软表示,要想在 Copilot+ PC 上体验 DeepSeek 只需下载 AI Toolkit VS Code 扩展即可;以 ONNX QDQ 格式优化的 DeepSeek 模型将很快出现在 AI Toolkit 的模型目录中(直接从 Azure AI Foundry 中拉取)。

如下图所示,微软还展示了原始模型和量化模型的示例,以展现两者之间微小但确实存在的差异:

相同提示下原始模型(左)与 NPU 优化模型(右)的响应示例,包括模型的推理能力

e
eric703
1 楼
身体还是很诚实的嘛
m
mrp
2 楼
微软就是中共同路人,我们狗粮是不会用的
爸他志洪李
3 楼
jeffinvade数据帝,是你出手的时候了!
允魂
4 楼
我们有可能见证了历史的转折点
H
HotTree
5 楼
一边骂街,一边就靠上来了。DeepSeek这实力,富贵如微软,也不得不折腰啊。 CloseAI, 你得赶紧啦,少 TM 唧唧歪歪的,脱了吧。 [1评]
t
tomtangwws
6 楼
这是正确的态度,相互借鉴,共同提高。
j
jxxy1234
7 楼
真相定律yyds
j
jeffinvade
8 楼
开源免费的不用怎么可能 而且这没有数据危险,直接下载全部模型在自己服务器上运行,完全和中国没有数据交换,不存在国家安全风险 再过俩月会有更多用同样方法训练出来的LLM上市,是个IT公司都会有,不光是hyperscalers. [1评]
爸他志洪李
9 楼
jeffinvade 中共的开源有后门的,就你一个数盲帝看不到而已,千万别用,用了老共的病毒就侵入你脑垂体,让你求生不得,求死不能! [1评]
j
jeffinvade
10 楼
...... 大哥,企业用AI又不是下载App 可以⬇️整个LLM,在自己的服务器上运行 这就是open source 的好处 很多SAAS公司再过一两个月就会推出基于deepseek模型的AI产品 但这些产品是在西方运行,和中国没有数据交流 当然,如果你用deepseek app,那是另一回事,数据会传回中国,但作为企业肯定都不会把自己的数据放去app上面 [1评]
爸他志洪李
11 楼
你居然让敌国的代码在你家服务器上跑,代码里埋藏了什么你的狗眼看得出来?过去开源代码里埋藏的恶意后门层出不穷,而没有被暴露的在开战之后才激活的。 你的思想就停留在app的层面,跟川皇不相上下啊! [2评]
f
fybs
12 楼
别让微软干这事。就Windows这破系统,真不如自起炉灶弄一个单独的系统。
j
jeffinvade
13 楼
....... 我相信微软,service now, salesforce, TWLO, Snowflake, Crowdstrick的码农还是够专业的
金山浪人
14 楼
看来微软准备“跳船”了,呵呵!
J
Jambox
15 楼
好骂😂
未知星球
16 楼
Copilot用起来好像不怎么样
b
bigeyedog
17 楼
微软脸皮最厚,一边骂一边往自己服务器上装
T
Tulanian
18 楼
嘿嘿,真正好的东西还是要用的!!
T
Tulanian
19 楼
嘿嘿,这来自中国的deepseek可是真正的开源免费的工具呀!!
j
jingfei05
20 楼
本来就是开源的东西,还在那里找茬。。。开源的东西不就是让大家用然后大家贡献优化提升的东西,让产品更好用么。美国人总是想自己霸占好东西巩固霸权,说实话真的是格局太小!
爸他志洪李
21 楼
jeffinvade数据帝:我相信微软码农还是够专业的 你的PY都不知道让Windwows崩坏多少次了,求你告诉大家准确数据吧!
E
Edmondon
22 楼
微软准备后路了
s
searay
23 楼
微软有几百个这样的模型可以下载安装。。。。。。。
j
jxxy1234
24 楼
[13楼]评论人:jeffinvade [★★声望品衔9★★] [个人频道] [个人动态] 发送时间: 2025年01月30日 14:57:43 【回复】 回复11楼:....... 我相信微软,service now, salesforce, TWLO, Snowflake, Crowdstrick的码农还是够专业的 ************************** Crowdstrick?就是把Windows搞成全球史诗级蓝屏的哪家公司?就是老板之前用McAfee把xp搞得全球蓝屏那位? 确实专业,专业搞破坏!蓝屏,我们是懂行的! 哈哈哈哈,傻逼一个,从哪翻出来几个名字就他妈的当宝贝用 这智商,配得上给你吃的速冻屎!