有没有人用R run against spark dataframe啊

烦死了，最近公司非要用azure. 好不容易折腾出个spark dataframe. 然后想用R的time series code run. 怎么弄啊。要把spark dataframe 变成一个r可以用的dataset吗？还是就保持原来的spark dataframe. 然后用spark r?

Ask on Stack Overflow not on Huaren

https://spark.rstudio.com/

https://docs.microsoft.com/en-us/azure/databricks/spark/latest/sparkr/overview

我真的不明白做数据的人连google的能力都没有怎么干活

https://spark.rstudio.com/

https://docs.microsoft.com/en-us/azure/databricks/spark/latest/sparkr/overview

我真的不明白做数据的人连google的能力都没有怎么干活
熊熊ABC 发表于 11/19/2019 3:35:21 PM

不厚道啊
虽然倒是大实话
其实大多数情况下根本不需要spark
不过很多公司是为了spark而要用spark

多谢专家回复啊.....我这方面本来底子就差，以前就弄弄sas，还是看别人code改改，而且很多年都没弄这些了，突然弄这个，烦得不行所有背景知识都没有。你说我一个sql都不用的人，让我突然弄这个....

不过spark处理大dataset的确不错，我还先整了个小的dataset试code, 完了run整个的都没太大区别。就是把数据存下来的时候花了十几分钟。唉，还得慢慢看文件学习，烦。