MIT教授：我把线性代数改名为人工智能基础，每个学期都爆满

人心的浮躁在mit也不能避免

本来就是啊。可见语言忽悠人的能量有多大。当然这个是善意的语言。其他的就不一定了

人心的浮躁在mit也不能避免
yywang114 发表于 2023-11-15 20:41

请问线性代数的哪些知识点，可以为机器学习的基础？

请问线性代数的哪些知识点，可以为机器学习的基础？
gooog 发表于 2023-11-15 20:47

机器学习基础就是推各种矩阵啊，手算反向传播算法什么的。线性代数本来就是一个没啥意义的名字，does mean anything to most people,教本来就是为学服务的，没有purpose，过程不重要，这名字改的好

请问线性代数的哪些知识点，可以为机器学习的基础？
gooog 发表于 2023-11-15 20:47

Tensorflow?

蛮有意思的段子，不过怀疑真实性：线性代数不是理工科必修课吗？尤其在mit这种地方，难道有不选的权利？

蛮有意思的段子，不过怀疑真实性：线性代数不是理工科必修课吗？尤其在mit这种地方，难道有不选的权利？
Mediterranean 发表于 2023-11-15 20:56

是要和别的老师 比上谁课的人多吧

蛮有意思的段子，不过怀疑真实性：线性代数不是理工科必修课吗？尤其在mit这种地方，难道有不选的权利？
Mediterranean 发表于 2023-11-15 20:56

我也觉得是段子，mit 明明有线性代数课

是要和别的老师 比上谁课的人多吧
shanggj 发表于 2023-11-15 20:59

这就更不可能了，线性代数应该是很多课的prerequisite，选的人更多才对。

请问线性代数的哪些知识点，可以为机器学习的基础？
gooog 发表于 2023-11-15 20:47

线性代数所有内容（矩阵运算，矩阵逼近，比如用几个向量的乘积来逼近一个巨大矩阵的更新就是现在大语言模型的目前很流行算法）和统计就是AI在目前这个阶段的主要基础 另外，研究生阶段的最优化方法，非线性分析，随机采样和随机过程算是比较高级一点的基础了，所有这些的实现都是基于线性代数的基本算法

就是这样的，看到过人说把统计讲座改成machine learning，人多一波，再改成AI，又多一波

机器学习基础就是推各种矩阵啊，手算反向传播算法什么的。线性代数本来就是一个没啥意义的名字，does mean anything to most people,教本来就是为学服务的，没有purpose，过程不重要，这名字改的好
me2me2 发表于 2023-11-15 20:52

感觉和线性代数关系不大。
虽然wx+b, 是线性代数，但是sigmoid并不是。 整个的性质，也不是线性代数所有的。

以后生物课可以改叫脑机结合基础

.....

回复 1楼的帖子
这么拐弯抹角干嘛，不如更直接一些，所有课程都改成 introduction to money making with math 101, fundamentals of becoming rich in chemistry…保证都爆满, 天坑专业都能变天仙专业

蛮有意思的段子，不过怀疑真实性：线性代数不是理工科必修课吗？尤其在mit这种地方，难道有不选的权利？
Mediterranean 发表于 2023-11-15 20:56

+1，我也觉得是段子～～

保证真实，我们学校有一门课叫固体电子，招的全是调剂来的，后来改成了电子工程。

回复 1楼yywang114的帖子
也沒錯
我等著看
非線性人工智能
linear is human nonlinear is god

回复 3楼gooog的帖子
矩陣的基礎是線性

回复 3楼gooog的帖子
矩陣的基礎是線性

phlin 发表于 2023-11-15 23:21

你有没有想过把你教的基础物理课程也改个sexy的名字？

回复 20楼ChristinaW的帖子
AI 人工智慧的現實對應

回复 1楼的帖子
这么拐弯抹角干嘛，不如更直接一些，所有课程都改成 introduction to money making with math 101, fundamentals of becoming rich in chemistry…保证都爆满, 天坑专业都能变天仙专业
ritter 发表于 2023-11-15 22:56

哈哈哈

线性代数是理工科无论啥专业的必修课吧，矩阵的基础课。

人心的浮躁在mit也不能避免
yywang114 发表于 2023-11-15 20:41

这个有意思。我不懂线性代数和人工智能，但是两者之间一定有某些根本的联系吧？
原来细分的学科慢慢都开始跨界了，分久必合，出现像 Joint or Dual Doctoral Programs之类的，因为人类某些现象需要从不同角度来研究，就像你说的，人心浮躁，无处安放。其实那个灵台方寸山，斜月三星洞一直都有形无形地存在着，所以心安很难得。

就是这样的，看到过人说把统计讲座改成machine learning，人多一波，再改成AI，又多一波
tigerpi314 发表于 2023-11-15 21:07

统计还真的是machine learning. 但是线性代数比较牵强。
群里认为线性代数与机器学习有强关联的。 请举出哪个机器学习的算法， 用到了线性代数里的哪个知识点？
越详细越好，越具体越好。
不要看到个WX+B, 就一惊一乍的认为是线性代数。别忘了后面的sigmoid，tanh，relu。

蛮有意思的段子，不过怀疑真实性：线性代数不是理工科必修课吗？尤其在mit这种地方，难道有不选的权利？
Mediterranean 发表于 2023-11-15 20:56

学机械设计就不用啊

统计还真的是machine learning. 但是线性代数比较牵强。
群里认为线性代数与机器学习有强关联的。 请举出哪个机器学习的算法， 用到了线性代数里的哪个知识点？
越详细越好，越具体越好。
不要看到个WX+B, 就一惊一乍的认为是线性代数。别忘了后面的sigmoid，tanh，relu。


gooog 发表于 2023-11-16 10:50

machine learning没有矩阵运算么？矩阵运算本来就是在linear algebra里面。
另外machine learning的本质仍然是fitting啊，这也在linear algebra里面涉及啊。
统计才真是比较牵强啊。

机器学习基础就是推各种矩阵啊，手算反向传播算法什么的。线性代数本来就是一个没啥意义的名字，does mean anything to most people,教本来就是为学服务的，没有purpose，过程不重要，这名字改的好
me2me2 发表于 2023-11-15 20:52

理工科其他专业也用啊。

统计还真的是machine learning. 但是线性代数比较牵强。
群里认为线性代数与机器学习有强关联的。 请举出哪个机器学习的算法， 用到了线性代数里的哪个知识点？
越详细越好，越具体越好。
不要看到个WX+B, 就一惊一乍的认为是线性代数。别忘了后面的sigmoid，tanh，relu。


gooog 发表于 2023-11-16 10:50

你去上上Andrew NG的machine learning就知道了，头几堂课全是矩阵运算，我手写笔记都好几十页

machine learning没有矩阵运算么？矩阵运算本来就是在linear algebra里面。
另外machine learning的本质仍然是fitting啊，这也在linear algebra里面涉及啊。
统计才真是比较牵强啊。
Centauri 发表于 2023-11-16 11:34

统计也挺接近的，具体我忘了，好多年都没捡起来，但是研究生的时候记得统计是很重要的课，对于模式识别来说，后面很多理论用到统计基础

strang

machine learning没有矩阵运算么？矩阵运算本来就是在linear algebra里面。
另外machine learning的本质仍然是fitting啊，这也在linear algebra里面涉及啊。
统计才真是比较牵强啊。
Centauri 发表于 2023-11-16 11:34

居然2个人点赞。
请问具体是哪个矩阵运算？
逆矩阵吗？ 特征值吗？
请教啥时候在ML的时候用到呢？
还有一个问题。ML都是非线性的。要线性矩阵分析干嘛。

你去上上Andrew NG的machine learning就知道了，头几堂课全是矩阵运算，我手写笔记都好几十页
me2me2 发表于 2023-11-16 12:53

请问你在Andrew NG的machine learning的线性代数课上， 哪个线性代数的计算， 最后可以用到机器学习上？
最小二乘法，这种，除外，因为它只针对线性关系。因为，机器学习很多都是非线性的。

线性代数当时是基础。因为大部分non-linear的解法都是基于linear solutions. Stephen Boyd就说过就是你连线性问题都不会解，还怎么可能会去解非线性的问题。SVD(搞AI的给换了名字叫latent factor models, 其实都是SVD的variant)这些在recommendar systems里也有广泛应用。各种MACHINE learning claissification 比如support vector machine这些，也都是传统线形代数问题。
很多神经元网络本质是matrix vector multiplication estimate 矩阵本身（weight)，然后一组线性解法用一些non linear的方式组合起来而已。

居然2个人点赞。
请问具体是哪个矩阵运算？
逆矩阵吗？ 特征值吗？
请教啥时候在ML的时候用到呢？
还有一个问题。ML都是非线性的。要线性矩阵分析干嘛。


gooog 发表于 2023-11-16 13:08

你知不知道很多学生，矩阵的基本运算，就是线性代数里学的？比如矩阵和矢量的乘法，矩阵和矩阵的乘法。。。
这些你认为和machine learning没关系？在考虑neural network的一层一层layer的时候，不需要对矩阵基本的运算有了解？

这名字改的好，线性代数确实用的也多

回复 6楼Mediterranean的帖子
生物估计不用学？

另外就是在Stanford, MIT这样的学校，即使不用AI的名号，applied linear algebra也是受欢迎的课，为什么呢？因为应用太广了。
Stanford EE 263 EE364 以前是明星教授Stephen Boyd教的，非常popular,很多系的人都会去学。都是applied linear algebra相关的内容。

机智 哈哈

哈哈😄，真的吗？

统计还真的是machine learning. 但是线性代数比较牵强。
群里认为线性代数与机器学习有强关联的。 请举出哪个机器学习的算法， 用到了线性代数里的哪个知识点？
越详细越好，越具体越好。
不要看到个WX+B, 就一惊一乍的认为是线性代数。别忘了后面的sigmoid，tanh，relu。


gooog 发表于 2023-11-16 10:50

只要涉及多变量和迭代的算法一定是基于线性代数的基本理论，最基本的误差传播估计，矩阵更新，重新求逆 尤其 GPU 本身就是为加速线性代数矩阵和向量间的加法和乘法的并行运算才产生的，真正有意思的问题是：现代机器学习有哪个算法不是基于线性代数的。回答是，没有

machine learning没有矩阵运算么？矩阵运算本来就是在linear algebra里面。
另外machine learning的本质仍然是fitting啊，这也在linear algebra里面涉及啊。
统计才真是比较牵强啊。
Centauri 发表于 2023-11-16 11:34

目前阶段的机器学习或深度学习就是工程化后的统计 你甚至可以认为，现在的大语言模型就是个大贝叶斯统计模型

回复 6楼Mediterranean的帖子
生物估计不用学？
April2010 发表于 2023-11-16 13:42

MIT 的neuroscience据说都是参杂大量物理方面的电路分析和计算机数学类的的算法

只要涉及多变量和迭代的算法一定是基于线性代数的基本理论，最基本的误差传播估计，矩阵更新，重新求逆 尤其 GPU 本身就是为加速线性代数矩阵和向量间的加法和乘法的并行运算才产生的，真正有意思的问题是：现代机器学习有哪个算法不是基于线性代数的。回答是，没有
facet 发表于 2023-11-16 19:11

你提到了GPU，其实就是最好的例子，来说明线性代数无用。
我们可以google一下，看看多少个机器学习算法，GPU对它们无用。 这个答案可以几秒钟就能知道。

你提到了GPU，其实就是最好的例子，来说明线性代数无用。
我们可以google一下，看看多少个机器学习算法，GPU对它们无用。 这个答案可以几秒钟就能知道。
gooog 发表于 2023-11-16 20:30

是无用还是没有能力或者没有条件用，你得分清楚 比如贝叶斯模型在机器学习，或者深度学习崛起前都局限在很小规模的问题上，比如十几个变量，只能用MCMC来算，又慢模型又小，不是人们不想建大模型，而是没有能力建，无法scale，现在有了深度学习，和很多工程化后的算法和开源框架，随随便便一个神经网络模型都是百万变量，这个跨度最核心的算法都是线性代数在支撑 不说这些，就说电影特效，灭霸弹指把人颗粒化飘走，三维动画大量特效是偏微分方程建模，线性代数求解求解
可以说，没有线性代数就没有任何一个领域的现代科学