惭愧!玩了一辈子AI,连这个简单问题也不会。

g
gooog
楼主 (北美华人网)
惭愧!玩了一辈子AI,连这个简单问题也不会。
今天被一个无名小卒问了一个猪都能回答上来的问题。
请问一个模型的parameter和hyperparameter有什么区别?
我回答:这两个没有没听说有区别啊。
就这样,被AI的无名小卒给侮辱了。我是猪啊。
g
give_me_a_space
回复 1楼gooog的帖子
有区别啊。 hyperparameter 是 用 hyper 作 prompt 从 LLM 里面产生出来的。
s
summerinxu
Hyperparameter是training 开始前fix好数值的,parameter是training过程中数值会变化直到最优解的。
g
gooog
Hyperparameter是training 开始前fix好数值的,parameter是training过程中数值会变化直到最优解的。
summerinxu 发表于 2023-03-27 18:15

谢谢。你这样很好理解。 但是 Y = a *x0+b*x1+C*penalty
按照你的定义,a,b是parameter,C是hyperparamter。
但是其实C也可以内嵌为parameter。比如如果我们定义 penalty = abs ( Y- a *x0+b*x1 )
我个人觉得parameter和hyperparameter的实质都是parameter,并没有区别。
只是如果用作paramter,比较麻烦,因为你需要敲开其内核,才能跟踪它。而hyperparameter提供了接口,你可以实时跟踪。
另外,所有hyperparameter如果 用作parameter的话,模型更精准。
m
minqidev
你调的参与就是超参数。 我以前弄车牌识别,卷积核大小啊,滤波器数量,那些你自己设置的就是超参数