我最早就是想用access把我自己负责的那部分数据整合起来,虽然我没有用过,但听说不难,我老公说他会用可以教我。我跑到老板那儿要了一个access license。老板一听大喜过望,让我自己建个数据库看看,如果lab其他人觉得好,把整个lab的数据integrate一下。之后又提出要做dashboard的想法,这样别人一键就能plot data了。我哭。。。因为我之前自学过一些数据库的东...... homejunkie 发表于 9/9/2016 4:41:28 PM
我手术有一堆实验run参数和testing数据,每个都是单独的excel表格,我想在自己的电脑上健一个数据库,整体review data
可以是实验参数一个table,testing数据一个table,然后用关联把两个table link一起
然后下一步我需要能够一个画图的工具直接可以画简单的图,比如time series,xy scattering plot,或者能做pivot table
帮助我理解数据;最好能做成dashboard,一键画图
之后我可能还会收到后面的实验数据,估计又是excel sheet,需要一个简单的方法把这些新数据录入。
我觉得这不是一个很难的project,以前在用jmp 写过dashboard,
但是我没有做过建立数据库的工作,不清楚捷径在哪儿。
因为已经不在学校里面了,没有免费的jmp可以用了,
我现在research了一下,mysql community server应该是我最好的方法了,
下面第一个问题就是怎么把excel数据快速录入,有没有大牛可以指导我一下。
第二和第三个问题,mysql有没有什么推荐的reporting tool可以用来画图和做dashboard(最好是免费的)
多谢大牛们!
我去研究一下tableau
但是还是需要一个database 软件把数据整合一下吧?
然后导出数据去tableau作图对吗?
虽然我没有用过,但听说不难,我老公说他会用可以教我。
我跑到老板那儿要了一个access license。
老板一听大喜过望,让我自己建个数据库看看,如果lab其他人觉得好,把整个lab的数据integrate一下。
之后又提出要做dashboard的想法,这样别人一键就能plot data了。我哭。。。
因为我之前自学过一些数据库的东西,又有这个“热情”, 就被委派了这个任务。
我这两天一空下来就在youtube上看视频,周末正好可以集中精力搞搞。
如果只是在自己电脑上搞,我绝对是用access,
而且我对于我们整个lab的数据量有多大也不是很清楚,
不知道会不会最后access不能胜任integration的任务
如果重点是dashboard, 现在有好几个公司专做dashboard 的, 除了大名鼎鼎的tableau, 还有GoodData, Looker, Klipfolio 这些。GoodData需要一些ETL的知识,用的是CloudConnect,这个理解起来不难,不过用起来很多小地方容易卡,所以有个学习过程。 Klipfolio应该是上手最快的,试试就能知道大概逻辑,摸索着作图。做图标也很漂亮。不过这些都是要花钱买的,只有两周左右的试用期,老板要出一点银子了。
听上去你们数据量不会特别大,也不需要每日定期更新之类的,而是随用随做,如果楼主会R,或者Python, 这些都能胜任非巨型数据量的数据整合和呈现,而且更好控制。 R的Shiny包就可以完成dashboard的功能。等楼主手顺了,就可以开始根据需求考虑其他的了。
数据库, 可以用 SQL SERVER 2014 (DEVELOPER 版本), 自用, FREE。。。。
https://blogs.technet.microsoft.com/dataplatforminsider/2016/03/31/microsoft-sql-server-developer-edition-is-now-free/
数据库需要CREATE TABLES, DEFINE COLUMNS FOR EACH TABLE, AND THEN DEFINE PKs AND FK ETC, 所有框架库建好后可以IMPORT DATA FROM EXCEL....DEVELOPER 版本也可以用SSIS 把原始RAW DATA 进行处理(这个还要额外装一个SQL SERVER DATA TOOLS),把需要的导入到SQL SERVER DATABASE/TABLES
关于DASHBOARD, 现在很热的tableau, 导入数据, 分析, DASHBOARD, 很好用, 但好像不是免费的, ANOTHER ONE : MICROSTRATEGY , 这个没用过, 但看功能介绍, 视乎也是一个好的分析工具:
LINK: https://www.microstrategy.com/us/capabilities
这个好像也有免费的版本, 不确定, 但自己可以GOOGLE 看看。。。。别的JMS 也提到一些FREE 的。。
我已经开始在建table了,才发现采集数据的人太任性了,每张excel都略有不同,我正在吭哧吭哧改excel。
怎么没有人提powerbi呢,日益上升的tableau的竞争对手,而且免费啊