歪嘴大聯盟

Tensors are multi-dimensional arrays with a uniform type (called a dtype).
Ragged tensors are the TensorFlow equivalent of nested variable-length lists.

----from TensorFlow document

設想空間有一個坐標原點。賦予溫度給這個點。也賦予一個力給這個點。旋轉這個座標。你會發現，在新的坐標之下，同一個點，其溫度是不變的。力的坐標表示改變了。這個現象，乃是張量的起源。協變反變之類的notions，是描述和研究這兩種不同現象時
候自然會遇到的工具。

這個基本問題，或者張量分析，乃是微分幾何的起源之一。也是Einstein選擇用張量語言開發相對論理論的原因。對Tensor，以及向量的基本概念的理解和分析，是無數數學或者物理細節知識的起因。

假如一個人用熟了tensorflow這個軟件，某一天對TensorFlow文檔裡的胡扯八道沒有不爽了。那我認為這個人與生俱來的幾何能力，向前發展的可能，基本上也就被沒有了。

一個人一旦開始使用一個錯誤的模板，並且獲得了利益。那往往也就無法阻擋別人拿統一個模板針對你求利。今天你盜用發明張量的美名到自己頭上。那必有一天別人會
assign給你一個不屬於你的惡名。

從算卦的角度來講。tensorflow這個項目的開啟者，我認為在未來很難落地善終。
歪嘴聯盟裡面的人。難道感覺不到自己的未來處境會很險惡麼。
指鹿為馬的人，結局如何。

轮子，别谈这些没用的，谈谈你家李大屎有啥新计划吧。

最近在update我的那个二阶优化算法到tf 2.x，
https://github.com/lixilinx/psgd_tf

TF 2.x比以前的好用多了，还是一样，比torch快很多！

对这些滥用名词几乎麻木了。TF之前，什么遥感的甚至最基本的RGB图像都叫tensor。
一个矩阵（二阶tensor）就能描述这么多问题：优化用的Hessian；各种数学物理里的
eigen问题；体积；外微分等等。高阶tensor就比矩阵复杂多多了。叫ArrayFlow？
ragged array也是C里面常用的。

Deep learning里滥用名词的例子太多太多了。为什么把一个简单的连续变量的概率密
度函数转换公式叫flow？就算叫flow，也得是一个旋度为零只有散度的连续不可压缩的flow。

为什么把优化问题里的Hessian matrix叫Curvature matrix？优化问题只关心Hessian matrix的eigenspread或条件数。Curvature是一个object在嵌入的高维欧式空间里的曲率。风马牛不相及的东西。一个surface可以很弯曲，但若每个方向的曲率是一样的，
在上面做优化也是trivial的。

这样滥用的名词会让不同背景的人感到非常非常错愕，滥用的例子太多太多了，已经习惯了。

这个版最近的政治气氛太浓了。以前还是很多不错的讨论。

My two cents:

乱用各种名词的，多半都是觉得vector,
tensor,什么的特别高大上。

其实事情是反过来的。array , list是是最复杂的。
vector 等等是数组加上特殊的几何限制使得其容易处理的产物。(vector 在一定的坐
标变换下是不变的，例如旋转）。

没有专门的关于list, array的学问，就是因为他们复杂。

叫nd array,
Jagged/ragged array比什么raggered tensor好多了。
【 在 lixilinx() 的大作中提到: 】
<br>: 最近在update我的那个二阶优化算法到tf 2.x，
<br>: https://github.com/lixilinx/psgd_tf
<br>: TF 2.x比以前的好用多了，还是一样，比torch快很多！
<br>: 对这些滥用名词几乎麻木了。TF之前，什么遥感的甚至最基本的RGB图像
都叫
tensor。
<br>: 一个矩阵（二阶tensor）就能描述这么多问题：优化用的Hessian；各种
数学物
理里的
<br>: eigen问题；体积；外微分等等。高阶tensor就比矩阵复杂多多了。叫
ArrayFlow？
<br>: ragged array也是C里面常用的。
<br>: Deep learning里滥用名词的例子太多太多了。为什么把一个简单的连续
变量的
概率密
<br>: 度函数转换公式叫flow？就算叫flow，也得是一个旋度为零只有散度的连续不可
压缩的
<br>: flow。
: ...................
<br>

比较了一下CPU上TF2.x vs Torch 1.x用二阶方法的速度区别，一样的问题一样的参数：

Lenet5 CNN： TF 1.7 倍快
a small LSTM： TF 4 倍快

区别还是蛮大的!

主要是涉及到Dominion voting machine的安全问题，以至于决定大选结果，码工们就
来了精神。

【 在 lixilinx () 的大作中提到: 】
: 这个版最近的政治气氛太浓了。以前还是很多不错的讨论。

我没有深钻tensorflow，但一直在钻研微分流形，然后见到tensorflow就不往脑子里进了。原来发生了不兼容现象。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: Tensors are multi-dimensional arrays with a uniform type (called a dtype).
: Ragged tensors are the TensorFlow equivalent of nested variable-length
lists.
: ----from TensorFlow document
: 設想空間有一個坐標原點。賦予溫度給這個點。也賦予一個力給這個點。旋轉這個座標
: 。你會發現，在新的坐標之下，同一個點，其溫度是不變的。力的坐標表示改變了。這
: 個現象，乃是張量的起源。協變反變之類的notions，是描述和研究這兩種不同現象時
: 候自然會遇到的工具。
: 這個基本問題，或者張量分析，乃是微分幾何的起源之一。也是Einstein選擇用張量語
: 言開發相對論理論的原因。對Tensor，以及向量的基本概念的理解和分析，是無數數學
: 或者物理細節知識的起因。
: ...................

傻轮子你又来秀智商下限了。你跟大嘴真是一路货，死皮赖脸，都是你们对。

【 在 iDemocracy (DEMO) 的大作中提到: 】
: 主要是涉及到Dominion voting machine的安全问题，以至于决定大选结果，码工们就
: 来了精神。

继续试水TF2.x，发现如果不用@tf.function，tf会慢很多很多，自写的模块的速度常
常只有Pytorch的一半都不到。如果加@tf.function，TF 2.x和TF 1.x其实没有什么区
别，循环要用tf.while_loop，不然不同的sequence length都要产生新的graph；If...else...两个分支必须要返回同类型同大小的tensor，这就是在用tf.cond。如果要TF又快又小，还是只能按照TF 1.x的方式来写。

說實話除了幾個小例子。我基本上沒用過TF。感覺這方向太擁擠了。
另外我有自己的ANN辦法。屬於古代技術。
【 在 lixilinx () 的大作中提到: 】
: 继续试水TF2.x，发现如果不用@tf.function，tf会慢很多很多，自写的模块的速度常
: 常只有Pytorch的一半都不到。如果加@tf.function，TF 2.x和TF 1.x其实没有什么区
: 别，循环要用tf.while_loop，不然不同的sequence length都要产生新的graph；If...
: else...两个分支必须要返回同类型同大小的tensor，这就是在用tf.cond。如果要TF又
: 快又小，还是只能按照TF 1.x的方式来写。

陆陆续续的有人问我的那个二阶方法的TF2.x update，趁着这几天就整理了一下。一开始还是感觉TF2.x很不错，既能eager execution又能像TF1.x一样，但一dive进去，发
现还是只能像TF1.x那样写才有意义，TF2.x的那个autograph.to_code又在写的code和
run的code中隔了一层，搞的有些复杂。

搞eager execution，比Pytorch慢太多了。写Static graph，比Pytorch快不少，但那
个写法确实有些不自然，一段时间不写，就全忘了。

你要不要試下把你的二階方法弄到matlab？https://www.mathworks.com/help/deeplearning/ug/deep-learning-in-matlab.html

TF應該是沒有API promising之類的東西。
假如TF未來換了領導，維護工作量可能會很大。

【 在 lixilinx () 的大作中提到: 】
: 搞eager execution，比Pytorch慢太多了。写Static graph，比Pytorch快不少，但那
: 个写法确实有些不自然，一段时间不写，就全忘了。