[求助】自建一个database 然后需要作图report

homejunkie
楼主 (北美华人网)
版上data analyst/data scientist很多,问一个非常基本的project:
我手术有一堆实验run参数和testing数据,每个都是单独的excel表格,我想在自己的电脑上健一个数据库,整体review data
可以是实验参数一个table,testing数据一个table,然后用关联把两个table link一起
然后下一步我需要能够一个画图的工具直接可以画简单的图,比如time series,xy scattering plot,或者能做pivot table
帮助我理解数据;最好能做成dashboard,一键画图
之后我可能还会收到后面的实验数据,估计又是excel sheet,需要一个简单的方法把这些新数据录入。

我觉得这不是一个很难的project,以前在用jmp 写过dashboard,
但是我没有做过建立数据库的工作,不清楚捷径在哪儿。
因为已经不在学校里面了,没有免费的jmp可以用了,
我现在research了一下,mysql community server应该是我最好的方法了,
下面第一个问题就是怎么把excel数据快速录入,有没有大牛可以指导我一下。
第二和第三个问题,mysql有没有什么推荐的reporting tool可以用来画图和做dashboard(最好是免费的)
多谢大牛们!
游璃
2 楼
tableau画图不错 导入数据也方便   免费版注册好像可以用10几天 破解可以找淘宝。。。
homejunkie
3 楼
回复 2楼游璃的帖子

我去研究一下tableau
但是还是需要一个database 软件把数据整合一下吧?
然后导出数据去tableau作图对吗?
Starry
4 楼
数据不大access就可以了,tableau也有简单的join/merge
大喜妞
5 楼
听上去access就可以做。都是微软本家的,读表格都是现成的工具。我觉得简单的链接表格,都不需要专门学啥,可视化程度很高的,楼主一定没问题!
homejunkie
6 楼
我最早就是想用access把我自己负责的那部分数据整合起来,
虽然我没有用过,但听说不难,我老公说他会用可以教我。
我跑到老板那儿要了一个access license。
老板一听大喜过望,让我自己建个数据库看看,如果lab其他人觉得好,把整个lab的数据integrate一下。
之后又提出要做dashboard的想法,这样别人一键就能plot data了。我哭。。。
因为我之前自学过一些数据库的东西,又有这个“热情”, 就被委派了这个任务。
我这两天一空下来就在youtube上看视频,周末正好可以集中精力搞搞。
如果只是在自己电脑上搞,我绝对是用access,
而且我对于我们整个lab的数据量有多大也不是很清楚,
不知道会不会最后access不能胜任integration的任务
大喜妞
7 楼
我最早就是想用access把我自己负责的那部分数据整合起来,
虽然我没有用过,但听说不难,我老公说他会用可以教我。
我跑到老板那儿要了一个access license。
老板一听大喜过望,让我自己建个数据库看看,如果lab其他人觉得好,把整个lab的数据integrate一下。
之后又提出要做dashboard的想法,这样别人一键就能plot data了。我哭。。。
因为我之前自学过一些数据库的东......
homejunkie 发表于 9/9/2016 4:41:28 PM

如果重点是dashboard,  现在有好几个公司专做dashboard 的, 除了大名鼎鼎的tableau, 还有GoodData, Looker, Klipfolio 这些。GoodData需要一些ETL的知识,用的是CloudConnect,这个理解起来不难,不过用起来很多小地方容易卡,所以有个学习过程。 Klipfolio应该是上手最快的,试试就能知道大概逻辑,摸索着作图。做图标也很漂亮。不过这些都是要花钱买的,只有两周左右的试用期,老板要出一点银子了。
听上去你们数据量不会特别大,也不需要每日定期更新之类的,而是随用随做,如果楼主会R,或者Python, 这些都能胜任非巨型数据量的数据整合和呈现,而且更好控制。 R的Shiny包就可以完成dashboard的功能。等楼主手顺了,就可以开始根据需求考虑其他的了。
x
xiaohuoche
8 楼
小虾米一个, 觉得---

数据库, 可以用 SQL SERVER 2014 (DEVELOPER 版本), 自用, FREE。。。。
https://blogs.technet.microsoft.com/dataplatforminsider/2016/03/31/microsoft-sql-server-developer-edition-is-now-free/

数据库需要CREATE TABLES, DEFINE COLUMNS FOR EACH TABLE, AND THEN DEFINE PKs AND FK ETC, 所有框架库建好后可以IMPORT DATA FROM EXCEL....DEVELOPER 版本也可以用SSIS 把原始RAW DATA 进行处理(这个还要额外装一个SQL SERVER DATA TOOLS),把需要的导入到SQL SERVER DATABASE/TABLES

关于DASHBOARD, 现在很热的tableau, 导入数据, 分析, DASHBOARD, 很好用, 但好像不是免费的, ANOTHER ONE : MICROSTRATEGY , 这个没用过, 但看功能介绍, 视乎也是一个好的分析工具:
LINK: https://www.microstrategy.com/us/capabilities
这个好像也有免费的版本, 不确定, 但自己可以GOOGLE 看看。。。。别的JMS 也提到一些FREE 的。。
homejunkie
9 楼
太谢谢了,隔屏热吻一个!
我已经开始在建table了,才发现采集数据的人太任性了,每张excel都略有不同,我正在吭哧吭哧改excel。
homejunkie
10 楼
能再讲讲r的那个吗?可以直接用在mysql上吗?我没有学过r,害羞;自学过python,有没有python包可以用来做dashboard?
yacc
11 楼
回复 10楼homejunkie的帖子

怎么没有人提powerbi呢,日益上升的tableau的竞争对手,而且免费啊
lemonxing
12 楼
技术贴 mark
waterji
13 楼
Mark一下
pinbear
14 楼
这lab data 有必要上tableu吗?😓