看帖神器
未名空间
追帖动态
头条新闻
每日新帖
最新热帖
新闻存档
热帖存档
文学城
虎扑论坛
未名空间
北美华人网
北美微论坛
看帖神器
登录
← 下载
《看帖神器》官方
iOS App
,体验轻松追帖。
如何提高GPU的利用率
查看未名空间今日新帖
最新回复:2020年6月11日 21点45分 PT
共 (8) 楼
返回列表
订阅追帖
只看未读
更多选项
阅读全帖
只看图片
只看视频
查看原帖
l
longtian
4 年多
楼主 (未名空间)
我用一台带Tesla V100显卡的机器做一些图像分类,显卡的温度一直在32左右,基本没有什么变化,功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也还有一些剩余,虽然不多。个人感觉GPU利用率还有提升的空间,哪位给点建议。
多谢
w
wflower
4 年多
2 楼
titanv确实是良心卡,功耗比rtx titan低不少
f
fantasist
4 年多
3 楼
是不是代码写错了没跑在GPU上?我用pytorch做training的时候显卡功率有明显变化。
o
oceandeep
4 年多
4 楼
CPU使用率怎么样?会不会是瓶颈?把图像增大一倍试试?或者把Image Augmentation
暂时关掉看看?
【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: 我用一台带Tesla V100显卡的机器做一些图像分类,显卡的温度一直在32左右,基本没
: 有什么变化,功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也
: 还有一些剩余,虽然不多。个人感觉GPU利用率还有提升的空间,哪位给点建议。
: 多谢
l
longtian
4 年多
5 楼
gpu memory usage立刻可以看出gpu使用了没有。看开始的时候我看到功率到了190W,之后就降下来了。我一直monitor,有的时候会有一些波动,到60W,但是绝大部分时间是41w左右
没有使用的时候只有25W
【 在 fantasist (一) 的大作中提到: 】
: 是不是代码写错了没跑在GPU上?我用pytorch做training的时候显卡功率有明显变化。
l
longtian
4 年多
6 楼
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 12
On-line CPU(s) list: 0-11
Thread(s) per core: 1
Core(s) per socket: 1
Socket(s): 12
NUMA node(s): 1
Vendor ID: GenuineIntel
CPU family: 6
Model: 85
Model name: Intel(R) Xeon(R) Gold 6150 CPU @ 2.70GHz
Stepping: 4
CPU MHz: 2693.671
128G内存,cpu使用率不高
现在用了image augmentation,看看不用augmentation同时一次性把图片全部都到内存,看gpu load会不会更高
【 在 oceandeep (OceanDeep) 的大作中提到: 】
: CPU使用率怎么样?会不会是瓶颈?把图像增大一倍试试?或者把Image
Augmentation
: 暂时关掉看看?
l
lightroom
4 年多
7 楼
估计cpu pipeline太慢,CPU的使用率是多少,有没有400%?最好用gpu的benchmark 程序跑跑确认gpu没事
【在 longtian(有人的地方,就有江湖)的大作中提到:】
:我用一台带Tesla V100显卡的机器做一些图像分类,显卡的温度一直在32左右,基本没有什么变化,功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也还有一些剩余,虽然不多。个人感觉GPU利用率还有提升的空间,哪位给点建议。
:
o
oceandeep
4 年多
8 楼
试试把DataLoader里的num_workers设大些(=12)?
【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: Architecture: x86_64
: CPU op-mode(s): 32-bit, 64-bit
: Byte Order: Little Endian
: CPU(s): 12
: On-line CPU(s) list: 0-11
: Thread(s) per core: 1
: Core(s) per socket: 1
: Socket(s): 12
: NUMA node(s): 1
: Vendor ID: GenuineIntel
: ...................
请输入帖子链接
收藏帖子
我用一台带Tesla V100显卡的机器做一些图像分类,显卡的温度一直在32左右,基本没有什么变化,功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也还有一些剩余,虽然不多。个人感觉GPU利用率还有提升的空间,哪位给点建议。
多谢
titanv确实是良心卡,功耗比rtx titan低不少
是不是代码写错了没跑在GPU上?我用pytorch做training的时候显卡功率有明显变化。
CPU使用率怎么样?会不会是瓶颈?把图像增大一倍试试?或者把Image Augmentation
暂时关掉看看?
【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: 我用一台带Tesla V100显卡的机器做一些图像分类,显卡的温度一直在32左右,基本没
: 有什么变化,功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也
: 还有一些剩余,虽然不多。个人感觉GPU利用率还有提升的空间,哪位给点建议。
: 多谢
gpu memory usage立刻可以看出gpu使用了没有。看开始的时候我看到功率到了190W,之后就降下来了。我一直monitor,有的时候会有一些波动,到60W,但是绝大部分时间是41w左右
没有使用的时候只有25W
【 在 fantasist (一) 的大作中提到: 】
: 是不是代码写错了没跑在GPU上?我用pytorch做training的时候显卡功率有明显变化。
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 12
On-line CPU(s) list: 0-11
Thread(s) per core: 1
Core(s) per socket: 1
Socket(s): 12
NUMA node(s): 1
Vendor ID: GenuineIntel
CPU family: 6
Model: 85
Model name: Intel(R) Xeon(R) Gold 6150 CPU @ 2.70GHz
Stepping: 4
CPU MHz: 2693.671
128G内存,cpu使用率不高
现在用了image augmentation,看看不用augmentation同时一次性把图片全部都到内存,看gpu load会不会更高
【 在 oceandeep (OceanDeep) 的大作中提到: 】
: CPU使用率怎么样?会不会是瓶颈?把图像增大一倍试试?或者把Image
Augmentation
: 暂时关掉看看?
估计cpu pipeline太慢,CPU的使用率是多少,有没有400%?最好用gpu的benchmark 程序跑跑确认gpu没事
【在 longtian(有人的地方,就有江湖)的大作中提到:】
:我用一台带Tesla V100显卡的机器做一些图像分类,显卡的温度一直在32左右,基本没有什么变化,功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也还有一些剩余,虽然不多。个人感觉GPU利用率还有提升的空间,哪位给点建议。
:
试试把DataLoader里的num_workers设大些(=12)?
【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: Architecture: x86_64
: CPU op-mode(s): 32-bit, 64-bit
: Byte Order: Little Endian
: CPU(s): 12
: On-line CPU(s) list: 0-11
: Thread(s) per core: 1
: Core(s) per socket: 1
: Socket(s): 12
: NUMA node(s): 1
: Vendor ID: GenuineIntel
: ...................