zfs nas server budget 配置

a
aloeoos
楼主 (未名空间)
最近给朋友装机意见,目标省钱又好用。晒下大约的清单,给喜欢折腾ZFS的兄弟参考
一下。

机箱 Zalman MS800 $35
硬盘盒(X 2 or X 3)StarTech HSB4SATSASBA $150~225
电源 EA380 $30
主板 x9scl+-f or x9scm-f $60~100
CPU Xeon E3-1220L or E3-1260(5)L v1/v2 $100~160
内存 32GB(8GB X 4) unbuffered ECC $140
Controller Dell PERC H200(flash to IT fw)$30~50
Heatsink any 1155 compatible $20~40
miniSAS to SATA cables (X2) $10~20

这样加起来六百出头,如果需要10GBE, X520-DA1 $30~50, X540-T1 $100。 硬盘就不
推荐了,自己琢磨。软件要么Freenas,要么原味的OmniOS/Openindiana plus napp-it
。如果做media server,就组raidz2/raidz3;要搞iSCSI就3 way mirror。要有闲置的
SSD可以拿来做ZIL和L2ARC。

俺这个方子只管ZFS,你要是只喜欢QNAP或者Synology那样的最好砖头轻点扔。
c
chunjuan
2 楼
拿着砖头进来 轻轻地走开了
哈哈

这硬盘盒第一次看见 好用不
c
chaolanren
3 楼
这硬盘盒专门做server配件公司家家都有,一模一样
a
aloeoos
4 楼
挺好用,这个trayless的非常方便,hot-swappable,LED灯读写颜色不一样。类似的用过icy-dock和ams的感觉还是startech的似乎做得好些。如果不怕麻烦,可以买不能hot-swap的那种,很便宜。
【 在 chunjuan (👍春卷🐱更多春卷👍) 的大作中提到: 】
: 拿着砖头进来 轻轻地走开了
: 哈哈
: 这硬盘盒第一次看见 好用不
j
johnnie502
5 楼
配置是不是太高了点,对于NAS来说的话,24小时开机功率似乎有点高。
a
aloeoos
6 楼
四五块硬盘可以考虑picoPSU,比较省电。这个是给大概八九十来块盘的配置,所以就
推荐了便宜可靠的EA380,基本上启动不会有问题。这个不算入门配置,应该叫进阶配
置,但的确是budget配置,相当省钱。

入门玩玩可以N40L那种level的,以前fujitsu也出过便宜的barebone,现在可能4~5bay的选择更多。四块盘的话可以搞搞mirror或者raidZ1。但是重要的东西我基本都是
raidZ3或者3 way mirror。另外再说一遍组这个raidz不是备份,平时一个server 7/24开机,另外1~2台机器定期备份才是正确做法。玩什么黑群晖白裙会也是一样的意思,
你得有不同的机器/云做备份。不过话又说回来,多数人会觉得这是overkill。我也同
意,数据不多的话,dropbox放放就好了。

【 在 johnnie502 (Keep your feet on the ground.) 的大作中提到: 】
: 配置是不是太高了点,对于NAS来说的话,24小时开机功率似乎有点高。
S
SSA
7 楼
raid 这个作为备份不是很可靠。如果有文件系统错误,
有多少块硬盘备份都没有用。

我最近用 git mirror 来做备份还挺不错的。
就是要注意分开小的repo。多用 submodule。
v
vivilxw
8 楼
好赞,我也是用这个机箱加hot swap bay(^o^)
a
aloeoos
9 楼
为什么你认为不可靠?跟什么比不可靠?raidz1是不靠谱,resilver的时候风险很大
;raidz2可以说马马虎虎,raidz3应该没有人认为不可靠。mirror的好处是io
performance,two way mirror根本不可靠,我用mirror基本是3 way mirror起跳,
downside是storage efficiency。不过现在硬盘都很便宜,所以不是问题。

你说的文件系统错误恰恰是ZFS的强项,具体就不展开讲了。至于git mirror只是clone repo而已,和文件系统没半毛钱关系。

到现在为止,ZFS还是最好的文件系统,brtfs还不成熟,剩下的各家都在向ZFS的理念
靠拢。果果也一度非常想采用ZFS,现在决定不用了,很多果粉很伤心呢。话说回来大
多数果粉根本不知道啥是ZFS。

为了给大家“洗洗脑”,再说一遍,zfs还是目前最好的文件系统。。。

没有之一,哈

【 在 SSA (草虫) 的大作中提到: 】
: raid 这个作为备份不是很可靠。如果有文件系统错误,
: 有多少块硬盘备份都没有用。
: 我最近用 git mirror 来做备份还挺不错的。
: 就是要注意分开小的repo。多用 submodule。
a
aloeoos
10 楼
多谢捧场,这个月MS800有30刀rebate,非常划算。家里小折腾这种比较老少咸宜。除
非硬盘太多,否则这个tower solution比rackmount的一般要安静很多。

【 在 vivilxw (vivilxw) 的大作中提到: 】
: 好赞,我也是用这个机箱加hot swap bay(^o^)
v
vivilxw
11 楼
哈哈哈我是上次newegg有rebate的时候买的

【 在 aloeoos (aloe) 的大作中提到: 】
多谢捧场,这个月MS800有30刀rebate,非常划算。家里小折腾这种比较老少咸宜。除
非硬盘太多,否则这个tower solution比rackmount的一般要安静很多。
a
aloeoos
12 楼
嗯,这个是大小适中又便宜的机箱里面最适合上大量hot-swap硬盘盒的。前面全拆了一共有9个5.25吋的slot,一共可以装12块hot-swappable的3.5吋硬盘。理论上最多可以
到15块3.5吋盘,不过那种5bay到5.25x3的散热可能会有些问题。

【 在 vivilxw (vivilxw) 的大作中提到: 】
哈哈哈我是上次newegg有rebate的时候买的
s
stareee
13 楼
硬盘盒,推荐rosewill 的,便宜,也是hot swap, 很好用。另外,需要用X3吗? I3就
可以了吧。
h
hunxing
14 楼
【 在 aloeoos (aloe) 的大作中提到: 】
嗯,这个是大小适中又便宜的机箱里面最适合上大量hot-swap硬盘盒的。前面全拆了一
共有9个5.25吋的slot,一共可以装12块hot-swappable的3.5吋硬盘。理论上最多可以
到15块3.5吋盘,不过那种5bay到5.25x3的散热可能会有些问题。
一直觉得Fractal Design Define R5这个做NAS的机箱不错,你推荐的这个机箱确实可
以放很多硬盘,但是另外买hot-swap硬盘盒,实质上把机箱的价格也抬上去了,个人感觉硬盘的散热也比Fractal Design Define R5要差一点,不知大侠能否比较一下这两款机箱?
s
stareee
15 楼
8个硬盘以上是不是就要企业级的硬盘了?大部分市面的硬盘都是最多8个硬盘,包括WD的红盘,一直不知道,红盘可以用9个以上的array吗。

【 在 aloeoos (aloe) 的大作中提到: 】
嗯,这个是大小适中又便宜的机箱里面最适合上大量hot-swap硬盘盒的。前面全拆了一
共有9个5.25吋的slot,一共可以装12块hot-swappable的3.5吋硬盘。理论上最多可以
到15块3.5吋盘,不过那种5bay到5.25x3的散热可能会有些问题。
S
SSA
16 楼
我就随便发表一下观点吧,我认为不可靠主要是从保护数据的角度。
如果硬盘坏了,Raid rebuild 有一定的失败的概率,还不是一个可以忽略的概率。
说到底这个是 block level 的复制,在文件系统下面。文件系统如果有错,
数据 corruption 这些你是没法从 block level 来恢复的。
例如你一不小心 rm -rf 这种就都没有了。

git mirror 是 push 的时候自动 mirror 其他的上面。好处是不是
文件系统级别的复制。可以不在一部机器,可以分开放不同地方。另外 git
可以保证数据一致性,不会说中间数据变了一个 bit 注意不到。
git mirror 可以不止一个机器,任意多个,任意 repo mirror 方向。
是增量 push 的。这个冗余度和安全度我觉得比用 raid 高。

btrfs 现在也开始成熟起来了,有些 distro 已经开始自动安装选 btrfs
了。zfs 没有任何发展,迟早是要过时的。

【 在 aloeoos (aloe) 的大作中提到: 】
为什么你认为不可靠?跟什么比不可靠?raidz1是不靠谱,resilver的时候风险很大
;raidz2可以说马马虎虎,raidz3应该没有人认为不可靠。mirror的好处是io
performance,two way mirror根本不可靠,我用mirror基本是3 way mirror起跳,
downside是storage efficiency。不过现在硬盘都很便宜,所以不是问题。
你说的文件系统错误恰恰是ZFS的强项,具体就不展开讲了。至于git mirror只是
clone
repo而已,和文件系统没半毛钱关系。
到现在为止,ZFS还是最好的文件系统,brtfs还不成熟,剩下的各家都在向ZFS的理念
靠拢。果果也一度非常想采用ZFS,现在决定不用了,很多果粉很伤心呢。话说回来大
多数果粉根本不知道啥是ZFS。
为了给大家“洗洗脑”,再说一遍,zfs还是目前最好的文件系统。。。
...................
a
aloeoos
17 楼
你讲的其实没错,本来就是不同level事儿。ZFS保证的是end2end data integrity,
more than just block level checksum。brtfs下的raid5 raid6还是一坨屎,离成熟
还早。可以肯定将来一定有更好的东西出来取代ZFS,但不是现在。现在最好的文件系
统就是ZFS。

【 在 SSA (草虫) 的大作中提到: 】
我就随便发表一下观点吧,我认为不可靠主要是从保护数据的角度。
如果硬盘坏了,Raid rebuild 有一定的失败的概率,还不是一个可以忽略的概率。
说到底这个是 block level 的复制,在文件系统下面。文件系统如果有错,
数据 corruption 这些你是没法从 block level 来恢复的。
例如你一不小心 rm -rf 这种就都没有了。
git mirror 是 push 的时候自动 mirror 其他的上面。好处是不是
文件系统级别的复制。可以不在一部机器,可以分开放不同地方。另外 git
可以保证数据一致性,不会说中间数据变了一个 bit 注意不到。
git mirror 可以不止一个机器,任意多个,任意 repo mirror 方向。
是增量 push 的。这个冗余度和安全度我觉得比用 raid 高。
...................
a
aloeoos
18 楼
对对,如果不要hotswap,R5是很好的选择。选hotswap的盒子,主要是为了方便。比如
send receive zfs snapshots, pool cloning, pool repair/grow,就轻松很多。

【 在 hunxing (hunxing) 的大作中提到: 】
一直觉得Fractal Design Define R5这个做NAS的机箱不错,你推荐的这个机箱确实可
以放很多硬盘,但是另外买hot-swap硬盘盒,实质上把机箱的价格也抬上去了,个人感
觉硬盘的散热也比Fractal Design Define R5要差一点,不知大侠能否比较一下这两款
机箱?
h
hunxing
19 楼
【 在 aloeoos (aloe) 的大作中提到: 】
对对,如果不要hotswap,R5是很好的选择。选hotswap的盒子,主要是为了方便。比如
send receive zfs snapshots, pool cloning, pool repair/grow,就轻松很多。
谢谢答复。
还有一个问题,我家里的NAS一直用的Freenas操作系统,硬盘格式ZFS,主要用到的功
能是CIFS共享、Plex服务器、Timemachine和BTsync手机电脑文件备份。硬盘都是以前
的电脑换下来的,现在已经是6个盘了。升级硬件最大的问题就是主板的SATA接口不够
,请问您提到的miniSAS转接线可以一根线拖多个SATA硬盘吗?
a
a9
20 楼
换下来的硬盘该扔就得扔,不舍得扔到时候坏了头疼的还是你

【 在 hunxing (hunxing) 的大作中提到: 】
标 题: Re: zfs nas server budget 配置
发信站: BBS 未名空间站 (Thu Sep 29 11:44:18 2016, 美东)


: 【 在 aloeoos (aloe) 的大作中提到: 】
: 对对,如果不要hotswap,R5是很好的选择。选hotswap的盒子,主要是为了方便。
比如
: send receive zfs snapshots, pool cloning, pool repair/grow,就轻松很多。


谢谢答复。

还有一个问题,我家里的NAS一直用的Freenas操作系统,硬盘格式ZFS,主要用到的功
能是CIFS共享、Plex服务器、Timemachine和BTsync手机电脑文件备份。硬盘都是以前
的电脑换下来的,现在已经是6个盘了。升级硬件最大的问题就是主板的SATA接口不够
,请问您提到的miniSAS转接线可以一根线拖多个SATA硬盘吗?
--
a
aloeoos
21 楼
添一个SAS controller card,现在最好用的就是LSI 9211-8i,大概80刀可以买到。另外DELL PERC H200,H310 IBM M1015等等OEM的卡都可以刷成9211-8i。一张卡有两个
miniSAS接口,用转接线,一个口可以接4块硬盘。

不管是9211-8i还是别的卡,买回来一般都需要刷成IT firmware。ebay上有刷好的在卖。自己刷也不难,网上有现成的tutorial。最经济的还是H200,价钱是9211-8i一半,
刷的时候一般不会出什么问题。H310贵些,还要在卡硬件上东点手脚。M1015最近好像
都不便宜,不过刚search了一下,有人在卖刷好的1015,$65,还算公道。

【 在 hunxing (hunxing) 的大作中提到: 】
谢谢答复。
还有一个问题,我家里的NAS一直用的Freenas操作系统,硬盘格式ZFS,主要用到的功
能是CIFS共享、Plex服务器、Timemachine和BTsync手机电脑文件备份。硬盘都是以前
的电脑换下来的,现在已经是6个盘了。升级硬件最大的问题就是主板的SATA接口不够
,请问您提到的miniSAS转接线可以一根线拖多个SATA硬盘吗?
a
aloeoos
22 楼
对,一有问题,就得扔。

【 在 a9 (嗯) 的大作中提到: 】
换下来的硬盘该扔就得扔,不舍得扔到时候坏了头疼的还是你
比如
h
hunxing
23 楼
请问SAS3081E-R这个卡用在Freenas上可以吗?

【 在 aloeoos (aloe) 的大作中提到: 】
添一个SAS controller card,现在最好用的就是LSI 9211-8i,大概80刀可以买到。另外
DELL PERC H200,H310 IBM M1015等等OEM的卡都可以刷成9211-8i。一张卡有两个
miniSAS接口,用转接线,一个口可以接4块硬盘。
不管是9211-8i还是别的卡,买回来一般都需要刷成IT firmware。ebay上有刷好的在卖
。自己刷也不难,网上有现成的tutorial。最经济的还是H200,价钱是9211-8i一半,
刷的时候一般不会出什么问题。H310贵些,还要在卡硬件上东点手脚。M1015最近好像
都不便宜,不过刚search了一下,有人在卖刷好的1015,$65,还算公道。
a
aloeoos
24 楼
可以的,不过这卡有点老了,好像是不支持2T以上硬盘的。
【 在 hunxing (hunxing) 的大作中提到: 】
请问SAS3081E-R这个卡用在Freenas上可以吗?
a
atnalta
25 楼
家用折腾ZFS干什么,而且不是自己,是“朋友”。

自己的话,如果不折腾homelab,也没必要ZFS

首先冗余不是备份。还得折腾备份方案。

其次,RAID/ZFS提供得高可靠性指得是商业应用中得可靠性和持续性。家用没有这样得需求。

当然,相比RAID,ZFS更适合家用,因为好的带电池的RAID卡非常贵。主板或者软RAID
,重建的时候很脆弱。

如果家里使用ZFS的话,SATA更合适些。内存也不需要那么大--把Dedup关掉好了。家里NAS里无非是些照片,家用视频,一点点文件,以及一大堆下载的盗版电源电视,基本
是单用户。没有必要dedup,还化那么多内存。

最后还是那句话,家用没必要冗余。省下的钱捉摸捉摸备份方案,经常备份。
a
aloeoos
26 楼
家用折腾ZFS的人很多啊。你不喜欢不代表别人不喜欢。我自己已经有四个ZFS机器了。朋友觉得好,求懒人包,俺就顺便贴出来分享下。

俺从来没说过冗余就是备份,ZFS还没流行的时候,俺就在版上说了很多次冗余不等于
备份。不过大虾讲的大部分还是认同的,俺从不建议家用搞传统raid,也不建议家用
SAS drive,也不建议dedup。

说白了,要不要异地/远程备份,local的备份放到什么样的介质,每种选择会有什么样的风险。这个每个人要根据自己的喜好和承受能力来选择。ZFS只是这其中一个环节上
的一种比较靠谱的选择。

【 在 atnalta (职业debugger) 的大作中提到: 】
家用折腾ZFS干什么,而且不是自己,是“朋友”。
自己的话,如果不折腾homelab,也没必要ZFS
首先冗余不是备份。还得折腾备份方案。
其次,RAID/ZFS提供得高可靠性指得是商业应用中得可靠性和持续性。家用没有这样得
需求。
当然,相比RAID,ZFS更适合家用,因为好的带电池的RAID卡非常贵。主板或者软
RAID
,重建的时候很脆弱。
如果家里使用ZFS的话,SATA更合适些。内存也不需要那么大--把Dedup关掉好了。家里
NAS里无非是些照片,家用视频,一点点文件,以及一大堆下载的盗版电源电视,基本
是单用户。没有必要dedup,还化那么多内存。
...................
x
xyz14
27 楼
我觉得卖个lenovo ts140最省事。

【 在 aloeoos (aloe) 的大作中提到: 】
最近给朋友装机意见,目标省钱又好用。晒下大约的清单,给喜欢折腾ZFS的兄弟参考
一下。
机箱 Zalman MS800 $35
硬盘盒(X 2 or X 3)StarTech HSB4SATSASBA $150~225
电源 EA380 $30
主板 x9scl+-f or x9scm-f $60~100
CPU Xeon E3-1220L or E3-1260(5)L v1/v2 $100~160
内存 32GB(8GB X 4) unbuffered ECC $140
Controller Dell PERC H200(flash to IT fw)$30~50
Heatsink any 1155 compatible $20~40
...................
u
updayup
28 楼
如果家用娱乐共享,买个200多刀的路由器更加省心。
a
aloeoos
29 楼
路由本来就是必需的。路由器上直接挂硬盘吗?不是不可以,只是想要这么干的大虾一定不会想去折腾ZFS。

【 在 updayup (yes) 的大作中提到: 】
如果家用娱乐共享,买个200多刀的路由器更加省心。
u
updayup
30 楼
路由器挂硬盘啊,读写都可以去到70多80MB了,还需要折腾什么呢,我是说一般的家庭娱乐共享。
d
doublebull
31 楼
什么路由器这么牛?我的只有几个MB。

【 在 updayup (yes) 的大作中提到: 】
: 路由器挂硬盘啊,读写都可以去到70多80MB了,还需要折腾什么呢,我是说一般的家庭
: 娱乐共享。
u
updayup
32 楼
【 在 doublebull (doublebull) 的大作中提到: 】
: 什么路由器这么牛?我的只有几个MB。

你的什么路由啊?我几年前的RT-65U USB2.0读写也超过45/25MBps了。
一般现在高端路由器读写速度基本都有60/70MBps以上的了,EA8500看测评读写还超过
100/90MBps。
d
doublebull
33 楼
你就吹吧, usb2.0 45 MBps

【 在 updayup (yes) 的大作中提到: 】
: 你的什么路由啊?我几年前的RT-65U USB2.0读写也超过45/25MBps了。
: 一般现在高端路由器读写速度基本都有60/70MBps以上的了,EA8500看测评读写还超过
: 100/90MBps。
u
updayup
34 楼
这个有啥好吹的额,是读45MBps,写大概25。
d
doublebull
35 楼
你确定是Bps不是bps?你发个截屏看看。usb 2.0直接接硬盘拷贝都没这么快。

【 在 updayup (yes) 的大作中提到: 】
: 这个有啥好吹的额,是读45MBps,写大概25。
u
updayup
36 楼
不好意思,看了一下,原来RT-N65U是USB3.0的,几年前的路由器想当然以为是USB2.0
,呵呵。