问个prediction model的evaluation问题

我自己做了一个project，就是用
10000+ features to predict four biological scores.

我现在就是拿predicted scores和groundtruth算一下RMSE来衡量预测效果

我想请问有啥方法能衡量significance或者sample size之类的？

谢谢

算几个距离,可以考虑用k-s test, energy distance, earth mover distance.

eval要找对产品有决定意义的metrics。

RMSE本身是没有意思，比如有两个模型预测股价，A的误差小，但是老把赚钱亏钱弄反
，B的误差大，但是误差方向随机。如果跑n次买卖股票的simulation，B的结果会更好。

比如你的score是用来从一大堆药里找备选药，那么有用的metrics就是比如1000个随机药里，有用的那个药score最大的概率。

万能法则:Boostrap或cross validation等resampling methods.

【 在 lightofhope (希望之光) 的大作中提到: 】
: 我自己做了一个project，就是用
: 10000+ features to predict four biological scores.
: 我现在就是拿predicted scores和groundtruth算一下RMSE来衡量预测效果
: 我想请问有啥方法能衡量significance或者sample size之类的？
: 谢谢