黑群晖企业级DS3622xs+的建设
主题:部署和私人娱乐使用黑群晖DS3622xs+
条件和环境:
1、物理机:
CPU:至强Xeon E3 1231V3 (2012年购置的当年神U,支持VT-D,此处感谢@钱乎 的指正)
内存:G.Skill 1666 4G ×2(2012年)
主板:华硕B85 pro gamer(2012年),自带网卡Interl I217
显卡:GT1050Ti
硬盘:SSD(512GB)×2, HDD(2TB)×6
Pcie网卡:Intel 82576 双口千兆
2、系统:Exsi 6.7(之前在家里另一台Dell工作站跑过7.0和6.7,还是6.7支持要好一些。)
步骤和要点:
1、系统安装:
(1)用笔记本Rufus制作一个Exsi的启动盘。【注意,想要获得更高支持度,尤其是网卡驱动的朋友,需要下载已经打包好网卡驱动的系统,尤其是8111的卡。或者自行打包,打包过程不再赘述。】
(2)正常调整BIOS启动顺序,引导U盘安装。
【注意,在进入BIOS中,请提前打开CPU-高级设置-CPU虚拟化选项】,这样可以省去后面重启再进入BIOS开CPU虚拟化(也依赖于你CPU的支持)
(3)正常安装Exsi,需要注意的就是设置内网静态IP。
【注意,我的是物理软路由管理全部局域网,所以单独分配了一个内网地址给Exsi注意,后期又分配了一个给vCenter。】
2、网络设置:
(1)主路由设置,请在DHCP服务中提前设置两个静态地址,一个给Exsi主机,一个给黑裙。
(2)Exsi的网络设置并不复杂,(比VmareStation的垃圾网络逻辑好多了,被坑过得都懂。。。)
(3)黑群晖要实现外网访问,我是公网IP+DDNS。网络上教程一大堆,不再赘述。
不过要注意的是:第一,公网动态IP获取,第二,DDNS部署(顺手把SSL也做了),第三,端口映射和网络防护。
3、黑裙安装:
(1)网络上大把教程,再次不再赘述。不过我推荐直接安装已经做好的ova文件。【注意,硬盘扩容有坑,一开始先别折腾硬盘】
(2)BUG1:直通硬盘,需要在Exsi中记录硬盘名字和地址,并使用SSH登陆Exsi挂载硬盘,实现直通。基本命令如下,可供参考:
挂载1.8T硬盘1 t10.ATA_____ST2000DM0052D2U9102__________________________________ZPM5A5NQ
vmkfstools -z /vmfs/devices/disks/t10.ATA_____ST2000DM0052D2U9102__________________________________ZPM5A5NQ /vmfs/volumes/49614b19-09052573-b69e-1c860b20ce78/HDD1.vmdk
其实就是在群晖系统里分配一个虚拟硬盘,再把物理硬盘挂上去。这时候你再开群晖的虚拟机,就能找到未分配硬盘,再组raid创建储存池。【注意:不论是黑还是白群晖,直通了硬盘,换到另一台黑/白群辉,都能同样适用。在Exsi中,由于硬盘损毁或者手贱删除操作系统(我干过),拷贝了vmdk文件到新的群辉上,全部都在,正常挂载正常使用,这点是当时令我感到意外的】
(3)BUG2:硬盘挂好以后,SSD和HDD要分开。组raid一定要注意。玩不好就变成达拉然巨坑。(有一次断电,导致系统盘,basic模式全部完蛋,我的套件都安装在里面,结果全部报废。)
(4)组Raid的原则,321:
三份数据拷贝:除了原始的数据之外,要另存两份数据的备份。倘若这三个拷贝丢失的概率相互独立(均为 1%),那么三份拷贝同时丢失的概率就仅有 0.0001% 了,这比两个拷贝同时丢失的概率更低。
- 两种存储介质:在同一种类型的存储介质上的数据更有可能同时丢失。比如你在电脑的内置存储器上存了三份数据拷贝,但如果电脑的磁盘彻底损坏、误格式化磁盘或者丢失了电脑,那么这些数据便一同丢失了。在上述案例中,另一种类型的存储介质可以是移动硬盘、SD 卡、U 盘、CD、DVD 等。
- 一个异地备份:多个备份间的物理隔离是很重要的。如果这些备份都放在一个房间里,那么一场火灾就足以毁掉所有的备份。如果条件允许,跨城市(间隔 100km 以上)存储备份就已经很安全了。在家和公司分别存放备份也算作异地备份。
为了实现321,我是重要数据全部都是radi1,然后再通过群晖套件,同步在我的Onedrive for business(类似于远程备份)
即便只是自己玩,我也不希望数据损毁。
4、黑裙网络设置
由于采用公网动态IPv4+DDNS,网络上没什么特别复杂和特别难的。几个要点值得注意:
(1)端口映射,群晖默认的http(5000),https(5001),等一切的配置都完成了,SSL也部署了,再限制只能https访问。其次是比如Plex,jeffyin等软件的端口,请慎重设置,并在路由做好转发。(反正Plex的SSL设置是个坑,提前请注意)
(2)访问速度:民用宽带上行最多30M,也就这样了。总之公网IP+DDNS,速度是非常理想的。(我用迅雷套件下载,办公室带宽500M,迅雷在25Mbps左右),正常情况,我用webDav,速度无感,足够使用。
(3)部署成功后,不要去洗白。自用即可,别搞出幺蛾子。群晖管家,DS file等APP,都正常使用的。
5、几个问题和误区
(1)黑裙其实非常稳定,不要去乱折腾主机,配置好了基本一路用下来没什么问题。偶尔断电什么的,数据修复和定期数据清理没什么问题(前提,一定要组raid)
(2)网络速度非常理想,传输也比较稳定,不论是plex还是Jeffyin,都不错。前期我用Jeffyin,后来买了plex pass去自嗨了。(刮削,用TMM去刮,Plex有时候也有问题,不过根源都是TMBD的host地址被解析错了,该hosts文件就行,可以自行查阅网络。)
(3)配套的手机,家里的电脑,办公室笔记本等终端,使用起来都很顺畅。(前提,设置好权限,群晖系统挺好的,按照Linux系统的习惯去适应就能很快ok。)
(4)主机性能的问题,主机上我还挂了一台vCenter,全部性能都是溢出的,完全够用。(黑群晖分了4个vCPU,4GB内存,其他的都去给vCenter管理其他机器去了,还跑着一个CentOS,里面挂着几个bot的接口和nginx的反向代理。)
(5)市电断了以后,exsi主机熄火。重启后,黑裙会报硬盘数据损坏什么的,如果有raid,就能恢复。如果没有raid,看运气恢复(因为是直通硬盘)
(6)显卡直通和硬解,无感。DS3266xs+不支持,就没用了。不过我在家里戴尔工作站试了一次,DS918完全可以直通,gt1050ti的老显卡是没问题的。不建议纠结于这个玩意儿。
(7)主板和CPU的问题。但是B85 主板不支持vt-d,所以网卡也没法直通。我用家里的电脑(Dell 塔式工作站)直通了4口的8111卡,Intel的双口82576卡,当时想做一个大家伙,接硬盘柜的。。。后来发现没有应用场景需求,就改成了现在这个样子。
6、最后
NAS是个好东西,懂得都懂。