microsat 发表于 2024-05-31 12:16 今天开组会。新来的提出了一个诊断抑郁症的机器学习模型，很受老板器重。 但我觉得不对。 请问大家有何看法。 这个建模过程如下： 1）制定30个心理问题的答卷。给1000个人回答。 2）心理医生根据这个答卷，将1000个人分成抑郁症病人和正常人。（假设最终有888个抑郁症， 和112个正常人） 3）用机器学习训练和预测。将1000个人分成训练集和预测集。 输入变量为30个心理问题，年龄，性别，BMI，教育。 新手的ppt报告中显示，这个模型在测试集中的准确率高达99%。 请问这个建模过程有问题吗？应该如何修正？
laohua001 发表于 2024-05-31 12:23 你要是学会心理学就知道这种统一答卷是最没用的。因为99，，%的抑郁症患者都会撒谎。
lingling7 发表于 2024-05-31 12:35这种问卷，难道不是把每题得分加一加，超过某个阈值，就确诊，这还需要ml？
microsat 发表于 2024-05-31 12:32 这个先忽略不计。 我想问的问题其实是 期中考试，语文成绩，数学成绩，英语成绩，然后老师根据这3科成绩，评定了学生是否合格。 现在建立一个机器学习模型，用语文成绩，数学成绩，英语成绩，来预测学生是否合格。 这样做是正确的吗？
ted.hanks 发表于 2024-05-31 12:19 槽多无口. 至少有个validate 的data set, 防止overfit 啊.
laohua001 发表于 2024-05-31 12:41 成绩是客观的，这个正确。 你说的抑郁症就不是客观评价，就不正确。 建模是最简单的事， 问题是你用外部数据validate你的模型时会发现你的模型正确率非常的低。 我建议你用800人建模，另外200人做validation
microsat 发表于 2024-05-31 12:45 假设，800人来建模， 200人做validation。 我们假定800人建模里的抑郁症诊断，是根据这个医师的30个问卷问题确诊。 请问validation集合里的抑郁症诊断，也是根据这个医师的30个问卷问题确诊吗？ 如果也是， 那么这个30个问卷问题作为机器学习的输入变量是否正确？
请问大家有何看法。
这个建模过程如下： 1）制定30个心理问题的答卷。给1000个人回答。 2）心理医生根据这个答卷，将1000个人分成抑郁症病人和正常人。（假设最终有888个抑郁症， 和112个正常人） 3）用机器学习训练和预测。将1000个人分成训练集和预测集。 输入变量为30个心理问题，年龄，性别，BMI，教育。
新手的ppt报告中显示，这个模型在测试集中的准确率高达99%。
请问这个建模过程有问题吗？应该如何修正？
######################## 我想问的问题其实是
期中考试，语文成绩，数学成绩，英语成绩，然后老师根据这3科成绩，评定了学生是否合格。
现在建立一个机器学习模型，用语文成绩，数学成绩，英语成绩，来预测学生是否合格。
这样做是正确的吗？
你要是学会心理学就知道这种统一答卷是最没用的。因为99，，%的抑郁症患者都会撒谎。
这个先忽略不计。
我想问的问题其实是
期中考试，语文成绩，数学成绩，英语成绩，然后老师根据这3科成绩，评定了学生是否合格。
现在建立一个机器学习模型，用语文成绩，数学成绩，英语成绩，来预测学生是否合格。
这样做是正确的吗？
这个先不考虑。先忽略。
我想问的是，这样建立起来的机器学习模型是否正确？
成绩是客观的，这个正确。
你说的抑郁症就不是客观评价，就不正确。
建模是最简单的事， 问题是你用外部数据validate你的模型时会发现你的模型正确率非常的低。
我建议你用800人建模，另外200人做validation
这个validation data set不是问题的重心。
问题重点，30个问卷问题，能否用作机器学习的输入变量？
还有，你定义的validation data set是怎样的？
收集的1000个人，可以三分：训练集，测试集，validation set。 所以是三分，还是两分，这个不是问题的重心。
问题的核心是： 无论是两分，还是三分，30个问卷问题，能否用作机器学习的输入变量？
假设，800人来建模， 200人做validation。 我们假定800人建模里的抑郁症诊断，是根据这个医师的30个问卷问题确诊。
请问validation集合里的抑郁症诊断，也是根据这个医师的30个问卷问题确诊吗？ 如果也是， 那么这个30个问卷问题作为机器学习的输入变量是否正确？
也是根据这个医师的30个问卷问题确诊吗？ 是
那么这个30个问卷问题作为机器学习的输入变量是否正确？是
不，得抑郁症的人根本没有耐心做完30个问题的卷子，他们做了3道就烦了跑了。。。