要想将来当一个AI Research Scientist, 需要学些什么数学?

闻风
楼主 (文学峸)

我了解过一会,想看看大家有些什么主意。基础的和高端的课程,都想了解一下

青裁
要想搞出东西来,就自己琢磨,野路子容易出大成绩。
z
zaocha2002
搬凳子坐下听听。。。我觉得加强文科
N
Numero
AI 也看你的方向了。目前知道的大概涉及到的有

线性代数,实分析,概率论

有时会用到微分几何,还可能泛函

就是你有一定数学基础后,需要什么就重温什么,或者学什么就可以了

 

米汤
好像注意力和思维链机制几篇大作没多少眼花缭乱的数学公式?数学是表述工具,能读懂发表论文就够了,关键是idea能被引用认可
N
Numero
好像是。有时做东西或者读论文需要一些,貌似用到的也不太多,涉及到什么就重温一下,本科数学好像足够。
凊荷
这个
凊荷
要读懂别人的paper

需要数学背景挺深的。

自己的idea要表述清晰也同样需要深层数学

闻风
测度论用得上吗?貌似不容易
闻风
这些是基础课,已经在list上了
g
gpu
你问错地方了。再者, AI研究并不是数学研究,最重要的是打破常规的思维,即使

当前当红炸子鸡LLM也是这样出来的,几十年前搞AI都不是这么搞的。现在不断有人在尝试突破LLM的框框, 摒弃Transformer,这才是需要去真正research的。

如果看重的是现在的AI Researcher能拿高薪,那么,首先该考个好大学,然后再去AI最好的学校读AI PhD,因为今后AI的高端领域只是少数人的大餐,赢者通吃这是AI界自带的烙印。 很多人都看到了将来的趋势,所以,现在竞争最激烈的领域就是AI著名的学术机构, 而没有一步一步绚丽的履历, 是很难进那个圈子的。

闻风
这里应该有高手

感觉这里哪方面都有高手

喀爾判0715
糾正過你一次,SDE,不是PDE
N
Numero
这个你要看做AI的哪个方向的。有时间的话,抽象代数和测度论学一下,你不知道会用到什么。
家有高中小娃
纯数学的春天也到了:)!
喀爾判0715
去聽聽楊立坤怎麼說的
s
sanshengshishang2
好像本科数学高阶课程和PHD的数学课程,大多数是共有的,本科差不多够用了...
凊荷
这是数学分析范畴的?

如果是的话,他应该学过。没听他提过,唯一说漏掉的是PDE,因为没想到会用到

喀爾判0715
物理、神經科學、心理學、歷史等等
C
ClearCase
你先想想自己逻辑思考的时候是用数学公式吗?别听群里扯淡,好像数学就是AI似的
凊荷
我记得是pde

说的是diffusion的数学原理

我不懂,不就是heat equation吗?哈哈

S
STEMkid
测度论是深层的概率论的基础,和实分析有很大的关系
N
Numero
你都不知道现在AI都做的是啥吧?让AI像人似的逻辑思考?强AI没什么人去研究,太遥远了。
凊荷
哈哈

我觉得美国AI太偏数学了,有点走死胡同

s
sanshengshishang2
数学是AI的先决条件,没有数学,AI玩不转
N
Numero
偏微分方程啊,你没记错。
凊荷
AI最终

是工程问题

N
Numero
主要是数学在这次AI 革命中是core。
凊荷
不是

我说我记得他的原话。

具体用什么在何场景用我不清楚。

家有高中小娃
问一下, 线性代数有什么好的课本推荐? 先谢过!
N
Numero
离那一步还很遥远。目前为止,那是科幻电影。
N
Numero
哦,那就记错了 LOL
s
sanshengshishang2
就是axler的,但你昨天说这书有点抽象,不适合,所以我也没好多说啥...其实你不要小看你娃,肯定能搞定的,

我女儿去年一个多月就学完了,做完了每一题...这书是给纯数的学生做教材的,基本都是证明。工科生大多是计算,学起来寡淡无味...

P
Pilsung
太难了.我以前在Reddit看到关于公立学校招老师的情况.

一个高中数学老师的职位,大概只有一两个申请人,其中还有不少连content exam都没有考的申请人,很多也没有教师证.

而一个小学的ELA或是social study,大概会有100个以上的申请人.很多都是有多年教学经验的老师,如果换学校,未必能拿到职位.

所以连合格的数学老师都没有,还谈什么兴旺美国的数学教育呢.

家有高中小娃
非常感谢! 我试一下。 本是想少抽象一点娃容易上手, 不过娃早晚要基础抽象思维的。
N
Numero
试试 Linear Algebra Done Right 还有gilbert strang 的

Introduction to Linear Algebra

z
zaocha2002
做研究还是需要吧
家有高中小娃
谢谢! 我会去试一下。
z
zaocha2002
优化方法
P
Pilsung
LADR这本书好像有最新版的PDF.
家有高中小娃
随便赞一下你娃, 真厉害!
家有高中小娃
都当下来了。
P
Pilsung
我快速扫了一眼,感觉很难.不少证明题.
N
Numero
像语言学是需要一些,但是这也不是文科,是语言的结构:))
s
sanshengshishang2
过奖了,紫檀上厉害的娃太多,我娃只是不算太掉队...
枪迷球迷
中学生建议读前三章就可以了

线性代数的核心思想就在Axler书的1,2,3章。 能把这三章读下来,做一半的习题就不简单。

能搞定前三章的难题, 那哈佛Math 55都不成问题了。 

第4-10章除非数学专业, 学不学都可以。 

家有高中小娃
呃呃 。。 至少学数学的多了条路啊。
家有高中小娃
路不太一样罢, 不过你娃真得很厉害!
家有高中小娃
非常感谢!
s
sanshengshishang2
数学55的辉煌是几十年前的事,早已是黄鼠狼下仔,一窝不如一窝了...
专业潜水妈
太好了,我一旦失业打算考证当数学老师去,先在家附近的州大读个Master in Math
s
sanshengshishang2
好像AI用到代数的很少,不过那个TDA需要用到代数拓扑...
t
trivial
我去看了一眼,Axler适合中学生?

Determinant 到书最后才介绍,是从invariant theory的观点来的。感觉这甚至都不适合一般大学生... 

s
sanshengshishang2
每个人的学习能力和耐力都不同,如果以中学生、大学生的标签来规划学习内容以决战未来,很难达到预期...
雾蒙蒙雨霏霏
首先要分清楚有两类AI,以前的传统的AI和新一轮的AI。上一轮的AI(前几十年),主要是工程方面的, 比如机器人一类的东

首先要分清楚有两类AI,以前的传统的AI和新一轮的AI。上一轮的AI(前几十年),主要是工程方面的, 比如机器人一类的东西,用到的数学很多。这一轮的AI(AI革命),即所谓的生存式AI,与工程完全没有关系,基本上就是先弄懂别人要表达的意思(口头和书面的),然后搜寻自己的庞大的数据库,生成答案,最后再用别人能懂的语言把结论告诉提问者。这个过程中用到的数学最多的就是概率,其他的数学用的很少,大头是与语言学,逻辑学有关的,数学就是概率论,另外理论语言学,结构语言学,语义学,写作(文章结构,文章分析)等等。

枪迷球迷
呵呵, 线性代数里面行列式是最不该学的
N
Numero
呵呵 紫檀娃喜欢挑战:))我自己觉得高中生就先学个入门Introduction这些,今后去大学再学,线性代数

从易到难,小孩学过好几遍

R
RomaVacation
+ Information theory and stochastic process?
s
sanshengshishang2
科技是在发展的,多学些,留有足够的成长空间,也许明天就能用得上,如果临时抱佛脚,也许就落后了。
t
trivial
作者也说这是个“second exposure to linear algebra".

It demands more mathematical maturity. 为了防止学成纸上谈兵,学生在采取这个approach前需要一些实际经验。它实际上适合学过一遍传统教法,并且有一定代数基础的人回锅。

两女宝妈
最新的数学?
两女宝妈
感觉楼主说的不是AI应用方面的科研,是最底层/基础科研,那是不是数学必须走到最上面才行?
两女宝妈
这些都属于AI应用研究吧
枪迷球迷
应用从来都是临时抱佛脚

学数学最重要的是数学上的成熟性(mathematical maturity)。 有了这个需要哪个细节就都可以随时抱佛脚。

香草仙子
妥妥的数委
两女宝妈
语言学的需要也主要是AI应用研究方向吧?感觉楼主说的是更加纯tech方面的AI科研
N
Numero
在这两位教授面前班门弄斧,半瓶子水咣当,惭愧啊~~~
两女宝妈
但是逻辑思考的展现可能是数学打底的。。。
两女宝妈
我把这个方向作为我家的可选项之一呢
z
zaocha2002
娃多大呀
z
zaocha2002
好像是啊,记得大学学的时候觉得奇怪,可能是直观一点容易解释?
z
zaocha2002
解释一下数学成熟度?
z
zaocha2002
为啥都觉得这个难呢? 觉得挺直观的
s
sanshengshishang2
12岁
P
Pilsung
擦,看来我们工程数学2的水平就是学了线代皮毛最上面的那层.线性代数我就学了

行列式和eigen value,其他的一概记不起来了,也许压根就没学过线性代数.

P
Pilsung
我跟你的想法一样,我觉得应该高中生稍微看一下Strang的那本intro.
z
zaocha2002
可以玩玩数竞
米汤
为了爱而读数学感觉有点缘木求鱼, 确实不少爱学生喜欢数学,但这些并没修多少纯数学课,就好像面试矿工并不考金融知识

现在很多爱模型的问题并不能用数学描述,反而需要人文方面的critical thinking

比如 hallucinations and inaccuracies 问题,据说现在有爱心理学:

"AI psychology applies psychological principles to the design of artificial intelligence systems, aiming to create more effective, efficient, and human-aligned AI."

s
sanshengshishang2
玩过了,不划算...