请教在计算机视觉CVML领域online metric与offline metric在设计

我两周前面的一个互联网公司问的问题，大概意思是：

作为machine learning项目的设计者，假如你需要设计一个超大规模的image
classification或者face recognition系统，如何定义metrics，online与offline有
什么区别考虑？

我的第一感觉就是用内部的数据集训练个CNN神经网络，然后看top-1或者top-2
accuracy呗，但是感觉这种回答不是很全面 。。。于是，我回头想，他们可能希望我
回答对比一下 accuracy, precision, recall, per-class accuracy, F1 score 这些
概念吧，但仍然不清楚这种系统设计问题隐含了什么花样。。。（计算机视觉领域，学校里发paper如果是image classification，基本上就是看accuracy啊，难道工业界
product level的metric很不同？）

还有我完全不理解 offline metric和online metric为何物。。。后来查了一下，感觉offline就是我们平时做的基于testing dataset的accuracy，但是online metric就是
product在真正的用户数据上的performance，这我就完全不懂了，请问各位老师
online metric 应该怎么评估呢？