我司目前的技术架构

w
wdong
楼主 (未名空间)

前端 vue.js, iview。
后端 python. 不带数据库的用flask, 带数据库的用django。
前后端之间用ajax web service交互,完全弃用django的模板系统。
部署用nginx。
核心技术系统底层C++,数据python。如果哪天后端发现python出现
瓶颈了,应该能很快用C++模块顶上。

大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
量避免分布式计算。

我自认为作为CTO我给公司选择了正确的技术路线,能帮助我们
在前进的道路上避免不少冤枉活。我们目前是2B业务比较早期,
将来还不知道会咋样,且看我这套体系能玩到什么时候。

这套体系目前还不能覆盖手机端。我对app开发不熟,这个是个缺憾。
但是新手学语言找工作,我觉得需要学js和python两种语言,先学哪
一个都没关系。从语言本身来说, js比python要有意思。n年前我来
吹过用js通吃前后台,现在数据这块崛起了,会python有太多的优势了。
Python的难度其实已经不在语言了,而是拼CS专业知识了。
再接下来,光靠会一个语言本身其实很难有什么红利了。

h
hulk
2 楼


算比较简单直白的

赞一个
T
TheMatrix
3 楼

赞干货!

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

l
lightroom
4 楼

赞。而且缺人手,CTO可以完全顶上
g
guvest
5 楼

我司主要是Cassandra, postgreSQL。

l
lightroom
6 楼

Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据靠近ALU

【在 wdong(万事休)的大作中提到:】
:前端 vue.js, iview。
:后端 python. 不带数据库的用flask, 带数据库的用django。

r
repast
7 楼

ajax web service 是啥,第一次听说 😓
贵司的客户是哪些公司?已经有 revenue 了吗/?

app 学个 flutter 差不多了。

我司目前是 loopback 后端 + angular/flutter 前端。
另外一个项目是 golang + C#

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

g
guvest
8 楼

现实中的internet service 架构和人员也很有关系。技术考虑只是一方面。另一方面
,也需要考虑人员最熟悉和擅长什么。初创公司包袱小,相对自由些。但是wdong琢磨
这些事不是浪费时间吗。招个靠谱的architecture并不难。

【 在 lightroom(吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
<br>: Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据靠近
ALU
<br>: :前端 vue.js, iview。
<br>: :后端 python. 不带数据库的用flask, 带数据库的用django。
<br>

g
guvest
9 楼

应该就是说xmlhttprrquest为基础的一套前端拿数据的办法。

【 在 repast(xebec) 的大作中提到: 】

: ajax web service 是啥

w
wdong
10 楼

一开始招人跟不上,我现在还自己写javascript呢。
在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,
没事干了又不能开除掉。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 现实中的internet service 架构和人员也很有关系。技术考虑只是一方面。另一方面
: ,也需要考虑人员最熟悉和擅长什么。初创公司包袱小,相对自由些。但是wdong琢磨
: 这些事不是浪费时间吗。招个靠谱的architecture并不难。
: <br>: Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据
: 靠近
: ALU
: <br>: :前端 vue.js, iview。
: <br>: :后端 python. 不带数据库的用flask, 带数据库的用django。
: <br>

g
guvest
11 楼

你是拿股份的毕竟不一样啊。我是打工的。现在汲取教训,人事和财务都不发声。

另外像你这个架构,我司几十个angular的人,几十个java的人,几十个.net都无法参
与进来新项目了。这样也不合适。

【 在 wdong(万事休) 的大作中提到: 】

: 一开始招人跟不上,我现在还自己写javascript呢。

: 在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,

: 没事干了又不能开除掉。

r
repast
12 楼

站太破了,乱码了

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】

#65533;
: 銆� 鍦� repast(xebec) 鐨勫ぇ浣滀腑鎻愬埌: 銆�
:
: ajax web service 是啥

:

w
wdong
13 楼

这就是我从头做的好处啊, 只招js和python的人。
现在年轻人都会这些。.net其实国内很流行,也是一条路子。
我最近碰到的才好玩,就是人家只用excel。写文档都不用word。
应用啥的,全在excel里面搞。VBA。

不过隔壁说的云是个大问题。我估计马上就要考虑了。
云的便捷很诱人的。但是实际有两个问题:
1. 不能吊死在一棵树上。
2. 客户不允许上云。数据必须只进不出。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 你是拿股份的毕竟不一样啊。我是打工的。现在汲取教训,人事和财务都不发声。
: 另外像你这个架构,我司几十个angular的人,几十个java的人,几十个.net都无法参
: 与进来新项目了。这样也不合适。
:
: 一开始招人跟不上,我现在还自己写javascript呢。
:
: 在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,
:
: 没事干了又不能开除掉。
:

g
guvest
14 楼

我猜就是指xmlhttprequest 为基础协议的各种新一代设计吧。我以前有个帖子讲,我
个人认为
是xmlhttprequest 救了当年崩溃的.net泡沫。

旧时模版都是吐完整的一个页面的。

【 在 repast(xebec) 的大作中提到: 】
<br>: 站太破了,乱码了
<br>: #65533;
<br>

l
longtian
15 楼

赞干货,看来国内vue还是很流行的

问一下,完全弃用django的模板系统是说DTL还是说不用任何template系统,jinja2也
不用?
spa design开发比用template要慢很多吧?

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

r
repast
16 楼

问一下部署在国内除了阿里云,还有哪些比较靠谱的啊?

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

e
echowuhao
17 楼

vue 本身就有template,比后端写template 开发效率高太多了,性能可能差一点,不
过无关紧要。

【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: 赞干货,看来国内vue还是很流行的
: 问一下,完全弃用django的模板系统是说DTL还是说不用任何template系统,jinja2也
: 不用?
: spa design开发比用template要慢很多吧?

e
echowuhao
18 楼

大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
量避免分布式计算。

======
老司机啊

w
wdong
19 楼

我用过青云也很不错. 不过目前我就是用阿里云.

【 在 repast (xebec) 的大作中提到: 】
: 问一下部署在国内除了阿里云,还有哪些比较靠谱的啊?

m
mitbbsre
20 楼

赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是
numpy, pandas, tensorflow 这种包的使用么?
e
echowuhao
21 楼

去kaggle 上刷,看人家的代码。飞速前进。

【 在 mitbbsre (mitbbsre) 的大作中提到: 】
: 赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是 : numpy, pandas, tensorflow 这种包的使用么?

m
mitbbsre
22 楼

再就是您说的“ajax web service交互”, 是指用 django RESTFUL 来连接前端的东
西么?
m
mitbbsre
23 楼

谢谢大神。 基本没学过数据,想开始自己搞。 kaggle 有没有啥教程? 我看周围人都是组队搞得。

【 在 echowuhao (echo) 的大作中提到: 】
: 去kaggle 上刷,看人家的代码。飞速前进。

w
wdong
24 楼

数据的话就是 numpy, pandas, scikit-learn
如果偏图像就是keras.

【 在 mitbbsre (mitbbsre) 的大作中提到: 】
: 赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是 : numpy, pandas, tensorflow 这种包的使用么?

d
dumbCoder
25 楼

赞完全弃用Django模版, 那一套确实太老了, 和 Vue.js React.js 完全不搭.
如果使用 Django REST 做 API server 的话, 应该连 Flask 也不用了.
Flask 还要自己配置 JSON Serializer/Validator 之类, 属于重复劳动. 除非你用的
是 JSON Schema.

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

w
wdong
26 楼

django的url配置,比flask的decorator,落后了一个时代。

其实从界面设计来讲,decorator的url和函数名还是有冗余。
经常需要同一个单词写两遍。还有改进的余地。

【 在 dumbCoder (HumbleCoder 不懂就问-_-) 的大作中提到: 】
: 赞完全弃用Django模版, 那一套确实太老了, 和 Vue.js React.js 完全不搭.
: 如果使用 Django REST 做 API server 的话, 应该连 Flask 也不用了.
: Flask 还要自己配置 JSON Serializer/Validator 之类, 属于重复劳动. 除非你用的
: 是 JSON Schema.

d
dumbCoder
27 楼

我怎么感觉 url 明文写在一个文件里更 organized
flask 那个 decorator 以前 bottle.py 也这么搞的, 我不是很感冒

【 在 wdong (万事休) 的大作中提到: 】
: django的url配置,比flask的decorator,落后了一个时代。
: 其实从界面设计来讲,decorator的url和函数名还是有冗余。
: 经常需要同一个单词写两遍。还有改进的余地。

d
dumbCoder
28 楼

而且我喜欢把 url 和内部函数名分开. 看来每个人喜好很不一样.
因为一个是对外被引用, 一个是对内被引用

【 在 wdong (万事休) 的大作中提到: 】
: django的url配置,比flask的decorator,落后了一个时代。
: 其实从界面设计来讲,decorator的url和函数名还是有冗余。
: 经常需要同一个单词写两遍。还有改进的余地。

b
bobohu
29 楼

我个人建议加上Kafka作中间层。这样解耦的效果非常好。
我们公司也做B2B,客户有顶级的投行,有大量的service运行,没有消息层就特别混乱。

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

y
yizhongxunhu
30 楼

东哥牛逼🐂,爱你!

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

e
echowuhao
31 楼

还是取决于应用。

另外,kafaka 与 rabbitmq 比优势在哪里?

我感觉如果流量不是特别大,rabbitmq 功能更全,更好用。

【 在 bobohu (薄🍉🍉) 的大作中提到: 】
: 我个人建议加上Kafka作中间层。这样解耦的效果非常好。
: 我们公司也做B2B,客户有顶级的投行,有大量的service运行,没有消息层就特别混乱。

d
dumbCoder
32 楼

rabbitmq 没有自带的 horizontal scalling, 不好 scale
还有, kafka 默认是写到硬盘, rabbitmq 默认在内存, 用途不一样

【 在 echowuhao (echo) 的大作中提到: 】
: 还是取决于应用。
: 另外,kafaka 与 rabbitmq 比优势在哪里?
: 我感觉如果流量不是特别大,rabbitmq 功能更全,更好用。
: 乱。

d
dynkin
33 楼

写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大,通常做到上百人以后就要重写了。

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

w
wflower
34 楼

大数据这块也许可以参考RAPIDS

手机前段要想省事,还是网页

h
heteroclinic
35 楼

前端你得补补bootstrap
最近半年的词,keycloak, tableau, helm chart
看来词汇量还得是在加州能练出来
我就不特别深究具体语言mono flux etc etc
这些都是开源大陆货,是凡公司独门的东西我不讲
h
heteroclinic
36 楼

市上小儿唱动态类型一时爽,代码重构火葬场
三国开头那几章的巴?
【 在 dynkin (化神奇为腐朽) 的大作中提到: 】
: 写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大
: ,通常做到上百人以后就要重写了。

w
walkrandom
37 楼

你out了。
Python现在的写法是type hint加pycharm。
静态类型检查跟其他的语言没区别。

【 在 dynkin (化神奇为腐朽) 的大作中提到: 】
: 写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大
: ,通常做到上百人以后就要重写了。

w
wdong
38 楼

我最近正在写javascript。可以负责地说,bootstrap已经out了:)
tableau我没用过,我们用了下fine BI觉得很不错。
别的几个我去了解下。

【 在 heteroclinic (asymptotically stable) 的大作中提到: 】
: 前端你得补补bootstrap
: 最近半年的词,keycloak, tableau, helm chart
: 看来词汇量还得是在加州能练出来
: 我就不特别深究具体语言mono flux etc etc
: 这些都是开源大陆货,是凡公司独门的东西我不讲

d
dynkin
39 楼

你说的是没错,可是实际工程当中写代码要防下限。

例如你找几个志同道合的人一起用pycharm一起加type hint搞个开源工程没啥问题。但是业务要发展吧,你总要加新功能改写api吧,你总要招新手吧?万一你想招的AI大牛
只会核心算法不会写单元测试呢?你就不要了?

慢慢你就趟雷了。

不过python还不是最坑的,坑不过javascript。

【 在 walkrandom (walkrandom) 的大作中提到: 】
: 你out了。
: Python现在的写法是type hint加pycharm。
: 静态类型检查跟其他的语言没区别。

s
silverhawk
40 楼

已经有客户了啊,那客户不准上云,自己难道买机器架机器?话说产品是啥能透露下?【 在 wdong (万事休) 的大作中提到: 】
: 这就是我从头做的好处啊, 只招js和python的人。
: 现在年轻人都会这些。.net其实国内很流行,也是一条路子。
: 我最近碰到的才好玩,就是人家只用excel。写文档都不用word。
: 应用啥的,全在excel里面搞。VBA。
: 不过隔壁说的云是个大问题。我估计马上就要考虑了。
: 云的便捷很诱人的。但是实际有两个问题:
: 1. 不能吊死在一棵树上。
: 2. 客户不允许上云。数据必须只进不出。

s
silverhawk
41 楼

赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
据实时性?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

w
wwzz
42 楼

让我想起了老魏的无敌单机。

【在 silverhawk(silverhawk)的大作中提到:】
:赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
:据实时性?

l
lightroom
43 楼

人家数据肯定往DB放。这个hpc是取代hadoop的

【在 silverhawk(silverhawk)的大作中提到:】
:赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
:据实时性?

w
wdong
44 楼

我刚要说, 单机数据丢失的处理方法n年前老魏就都讨论过了.
我们只是做数据分析不是做内存数据库, crash了重新再load一次就可以了.

【 在 wwzz (一辈子当码工) 的大作中提到: 】
: 让我想起了老魏的无敌单机。
: 【在 silverhawk(silverhawk)的大作中提到:】
: :赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在
意数
: :据实时性?

D
Dcman
45 楼

高性能大内存的单机系统(真正计算部分)
这块能展开讲讲吗?

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

s
silverhawk
46 楼

I see,所以说用大单机内存足够装下所有数据直接处理就可以?
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 人家数据肯定往DB放。这个hpc是取代hadoop的
: :赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在
意数
: :据实时性?

s
silverhawk
47 楼

老魏的方法是什么?记不得当时的讨论了,就是persistent到硬盘或者DB?还是其他什么方案?
【 在 wdong (万事休) 的大作中提到: 】
: 我刚要说, 单机数据丢失的处理方法n年前老魏就都讨论过了.
: 我们只是做数据分析不是做内存数据库, crash了重新再load一次就可以了.
: 意数

l
lightroom
48 楼

从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM 里。
从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机器内是CPU到RAM连接

【在 silverhawk(silverhawk)的大作中提到:】
:I see,所以说用大单机内存足够装下所有数据直接处理就可以?
:【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】

w
wdong
49 楼

无非就是各种花样replicate和backup。当时讨论主要的结论是老魏的那套单机架构其
实没法证伪。楼上说的,SSD有新技术出来,啥啥啥的,所以单机吞吐量其实还是会有
很大程度提高的。

【 在 silverhawk (silverhawk) 的大作中提到: 】
: 老魏的方法是什么?记不得当时的讨论了,就是persistent到硬盘或者DB?还是其他什
: 么方案?

r
repast
50 楼

这些单机都玩过,deploy有坑吧?我之前认识的人直接说 python无法 deploy,
我接下来的项目打算走你的路线,python用了多年了还没有正经做过服务。
我看你没提,deploy python 有必要用 docker 吗?

【 在 wdong (万事休) 的大作中提到: 】
: 数据的话就是 numpy, pandas, scikit-learn
: 如果偏图像就是keras.

n
netghost
51 楼

你說得明顯不對,IO的瓶頸是python.lol
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM
里。
: 从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机
: 器内是CPU到RAM连接
: 【在 silverhawk(silverhawk)的大作中提到:】
: :I see,所以说用大单机内存足够装下所有数据直接处理就可以?

w
wwzz
52 楼

啥叫 Python 无法deploy?放docker 里就行了。

【在 repast(xebec)的大作中提到:】
:这些单机都玩过,deploy有坑吧?我之前认识的人直接说 python无法 deploy,
:我接下来的项目打算走你的路线,python用了多年了还没有正经做过服务。

s
silverhawk
53 楼

streaming 的东西不仅仅是SSD或者IO瓶颈啊,很多时候CPU也是个瓶颈。不过看大多数业务,如果其他不重要的外围交给其他服务做,单机做最核心的,起步阶段其实也可以

【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM
里。
: 从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机
: 器内是CPU到RAM连接
: :I see,所以说用大单机内存足够装下所有数据直接处理就可以?
: :【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】

r
repast
54 楼

Django 现在直接支持 chunked transfer encoding 了吗?
flask 呢?

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

d
dumbCoder
55 楼

wdong 能说说你这个牛x的单机大概是什么配置? 啥样的内存和CPU?

【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

r
repast
56 楼

查了下现状,估计等不到那一天,第一版老老实实算长度,以后再说。

【 在 repast (xebec) 的大作中提到: 】
: Django 现在直接支持 chunked transfer encoding 了吗?
: flask 呢?

l
lightroom
57 楼

对于CPU的瓶颈,硬件上,AMD新CPU使得多核变得便宜,还有可以offload到GPU上。
算法上有两个大方向,并行和cache friendly算法/数据结构

【 在 silverhawk (silverhawk) 的大作中提到: 】
: streaming 的东西不仅仅是SSD或者IO瓶颈啊,很多时候CPU也是个瓶颈。不过看大多数
: 业务,如果其他不重要的外围交给其他服务做,单机做最核心的,起步阶段其实也可以
: 里。

A
AIHiring
58 楼

为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript
n
nacst23
59 楼

I guess for Machine learning/DS part , u need python
【 在 AIHiring () 的大作中提到: 】
: 为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript

n
nacst23
60 楼

I guess for Machine learning/DS part , u need python
【 在 AIHiring () 的大作中提到: 】
: 为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript

n
ngugc
61 楼


【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。

带数据库的也直接flask+sqlalchemy不行吗?

: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................

f
fantasist
62 楼

赞干货

s
sinical
63 楼

赞分享

Dau多少
你这“大”数据是多大?

H
HappyE
64 楼

单机再快也跑不了大量图像识别之类的AI模型吧?
s
sunshineboy
65 楼

多大公司? 2b 还是2c?

您这个架构 可能会被人说不scalable
A
AIHiring
66 楼

但front-end需要js,所以这是一个trade off。到底backend和ml/data结合更紧密,还是front和backend更紧密。不同的应用可能不太一样。我的经验是frontend-backend更紧

【 在 nacst23 (cnc) 的大作中提到: 】
: I guess for Machine learning/DS part , u need python

g
guvest
67 楼

新领域值钱。如果是工程师,就往ml engineer的万金油方向靠。不用瞎琢磨了。
python的几个数值计算库是必须的。你想想matlab多少年不败。

后端的常规任务,增删查改什么的。20年经验的java老师傅多的是。早就人满为患了。【 在 AIHiring() 的大作中提到: 】
<br>: 但front-end需要js,所以这是一个trade off。到底backend和ml/data结合更紧
密,还
<br>: 是front和backend更紧密。不同的应用可能不太一样。我的经验是
frontend-
backend更紧
<br>

E
ET
68 楼

都用阿里云了, 阿里的quick BI也可以看下。
另外,element UI,很好的前端theme框架。
阿里的ice work, 很好的搭建enterprise web app 的框架。

这样开发前端的成本低太多了
【 在 wdong (万事休) 的大作中提到: 】
: 我最近正在写javascript。可以负责地说,bootstrap已经out了:)
: tableau我没用过,我们用了下fine BI觉得很不错。
: 别的几个我去了解下。