如何提高GPU的利用率

我用一台带Tesla V100显卡的机器做一些图像分类，显卡的温度一直在32左右，基本没有什么变化，功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也还有一些剩余，虽然不多。个人感觉GPU利用率还有提升的空间，哪位给点建议。

多谢

titanv确实是良心卡，功耗比rtx titan低不少

是不是代码写错了没跑在GPU上？我用pytorch做training的时候显卡功率有明显变化。

CPU使用率怎么样？会不会是瓶颈？把图像增大一倍试试？或者把Image Augmentation
暂时关掉看看？

【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: 我用一台带Tesla V100显卡的机器做一些图像分类，显卡的温度一直在32左右，基本没
: 有什么变化，功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也
: 还有一些剩余，虽然不多。个人感觉GPU利用率还有提升的空间，哪位给点建议。
: 多谢

gpu memory usage立刻可以看出gpu使用了没有。看开始的时候我看到功率到了190W,之后就降下来了。我一直monitor，有的时候会有一些波动，到60W，但是绝大部分时间是41w左右

没有使用的时候只有25W

【 在 fantasist (一) 的大作中提到: 】
: 是不是代码写错了没跑在GPU上？我用pytorch做training的时候显卡功率有明显变化。

Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 12
On-line CPU(s) list: 0-11
Thread(s) per core: 1
Core(s) per socket: 1
Socket(s): 12
NUMA node(s): 1
Vendor ID: GenuineIntel
CPU family: 6
Model: 85
Model name: Intel(R) Xeon(R) Gold 6150 CPU @ 2.70GHz
Stepping: 4
CPU MHz: 2693.671

128G内存，cpu使用率不高

现在用了image augmentation，看看不用augmentation同时一次性把图片全部都到内存，看gpu load会不会更高

【 在 oceandeep (OceanDeep) 的大作中提到: 】
: CPU使用率怎么样？会不会是瓶颈？把图像增大一倍试试？或者把Image
Augmentation
: 暂时关掉看看？

估计cpu pipeline太慢，CPU的使用率是多少，有没有400%？最好用gpu的benchmark 程序跑跑确认gpu没事

【在 longtian(有人的地方,就有江湖)的大作中提到：】
：我用一台带Tesla V100显卡的机器做一些图像分类，显卡的温度一直在32左右，基本没有什么变化，功率在41W左右。Tesla V100最大功率可以到250W,最高温度到87。内存也还有一些剩余，虽然不多。个人感觉GPU利用率还有提升的空间，哪位给点建议。
：

试试把DataLoader里的num_workers设大些（=12）？

【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: Architecture: x86_64
: CPU op-mode(s): 32-bit, 64-bit
: Byte Order: Little Endian
: CPU(s): 12
: On-line CPU(s) list: 0-11
: Thread(s) per core: 1
: Core(s) per socket: 1
: Socket(s): 12
: NUMA node(s): 1
: Vendor ID: GenuineIntel
: ...................