机器学习模型选择的标准是什么？

请问机器学习中的模型选择，大家怎么知道哪个模型（比如：随机森林，回归，神经网络）是最好的？
有什么统计学的测试方法，大家常用的吗？
比如：AIC。大家用这个吗？

大牛们请帮助。

顶

回复 1楼gooog的帖子
具体问题具体分析 模型，数据，和metric 这三元你固定两个，看一个的变化吧

回复 1楼gooog的帖子
具体问题具体分析 模型，数据，和metric 这三元你固定两个，看一个的变化吧
kats 发表于 2024-02-16 11:58

我的意思，是这3个都固定了。
然后用什么统计学方法确定优劣呢？
比如我们用t.test的pvalue来确定高低。 那么，对于model selection呢？

固定好了的机器学习模型，学出来的结果也是不固定的。 当然传统统计模型的参数都可以用，但是你用的目的是什么？

可以参考1) business的需求，比如结果需不需要可解释性。2) feature的特性，比如有的模型对categorical 的feature效果更好。3)最后可以看不同model evaluation的结果哪个更好。

我的意思，是这3个都固定了。
然后用什么统计学方法确定优劣呢？
比如我们用t.test的pvalue来确定高低。 那么，对于model selection呢？
gooog 发表于 2024-02-16 12:37

既然metric固定了，就选metric表现好的模型。

也想知道

我的意思，是这3个都固定了。
然后用什么统计学方法确定优劣呢？
比如我们用t.test的pvalue来确定高低。 那么，对于model selection呢？
gooog 发表于 2024-02-16 12:37

我觉得P value是看实验结果的可靠性的吧，用来选模型吗？ 还是我理解错了。。。

一般就是Cross validation后的MSE (mean squared error)。除非你的目标不是prediction

一般就是Cross validation后的MSE (mean squared error)。除非你的目标不是prediction
bunnyshe 发表于 2024-02-16 13:17

ML models都在优化之前自己做好了吧，人类自己再validation就是自我安慰。

Mm

进来学习

chengle 发表于 2024-02-16 13:26
ML models都在优化之前自己做好了吧，人类自己再validation就是自我安慰。

No. Validation是training的必要步骤