高校大数据实验室建设方案（本研究方案有完整的逻辑框架，数据内容详实，参考和实用价值高！）
目录 1概述 (3) 1.1建设背景 (3) 1.2建设现状 (3) 2总体设计 (5) 2.1总体架构 (5) 2.2分步实施方案 (6)
2.2.1一期：实现大数据教学实验入口，建立稳定可靠的大数据实验平台 (6)
2.2.2二期：基于大数据领域的深入拓展研究 (7) 3详细设计 (9) 3.1一期建设内容 (9) 3.1.1机房装修建议方案 (9) 3.1.2云存储平台 (25) 3.1.3大数据实验平台 (29) 3.1.4桌面虚拟化 (96) 3.1.5教学云盘 (98) 3.2二期建设内容 (107) 3.2.1深度学习平台 (107) 3.2.2数据立方大数据库 (111) 3.2.3数据挖掘平台 (117) 3.2.4数据可视化 (122)
3.2.5物联网智能硬件服务平台 (127) 4建设意义 (132) 5规格配置 (134) 1概述
1.1建设背景
随着移动互联网、云计算、物联网的快速发展，特别是智能手机端博客、社交网络、位置服务（LBS）等信息发布方式的不断涌现，数据正以前所未有的速度在不断地增长和累积，全球在2010年正式进入ZB 时代，根据IDC监测，人类自有史以来所有数据量大约每18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到2020 年，全球将总共拥有35ZB的数据量，是2010年的近30倍，大数据时代已经来到。
在海量数据面前，大数据人才无疑是其中最关键环节之一，然而，不论国内外，大数据人才却紧缺相当稀缺，在未来5-10年，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达1.5万，在BAT发布的招聘职位中，大数据人才超过60%。我校为顺应新形式的发展，着手建立大数据学院，创建大数据实验室、大数据实验平台，开设大数据教学培训，实现我校教学科研一体化流程，将为我校增加学生就业机会和薪资水平，提高师资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。
而大数据学科方向是一门交叉专业方向，与不同专业相结合可以发展成特定方向的专业或研究领域。经济金融学、应用数学、统计学、计算机科学等传统专业方向与大数据学科方向相结合表现出多样化的差异特征，包括专业研究方向与社会需求岗位在内。除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明，当前大数据涉及到很多内容，如大数据实验、数据分析、数据挖掘、数据可视化等，其中的很多实验，都无法在我校现有的实验室中完成。因此，我校建设专门的大数据实验室就显得非常重要。
1.2建设现状
虽然目前我校也意识到开设大数据专业及相关课程，但是在专业课程开设的过程中也遇到了诸多问题，因此，我校着眼于未来，着手从全球的技术重点难点
-大数据教学出发，拟打造高校大数据教学的标杆，建设新一代的
大数据研究教学基地，建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的大数据教学平台，目前我校大数据实验平台建设具体现状如下：
●基础实验环境薄弱，大数据实训开展难
目前我校的大数据教学大都卡在了实验环节，缺乏相应的基础实验环境，无法为每一个学生都提供一套实验集群，而虚拟化的网络配置与运维又十分复杂，同时大数据分布式软件系统安装、配置难度较大，在实验过程中很容易造成实验环境的破坏，实验数据、实验教案、实验手册缺乏，难以开展相关的实验教学。
●课程体系待完善，大数据教学科研入门难
当前我校的大数据专业处于起步阶段，人才培养课程体系缺乏系统性，大数据教学资源匮乏，可配置和指导实验环境的专业师资不足。
●项目实训缺失，教学效果与就业率打折扣
在大数据教学过程中，缺乏相应的实训项目，只有理论教育，难以培养实用型人才所需的专业项目能力，存在专业学习与实际应用脱轨的情况，使得教学效果与就业率打折扣。
2总体设计 2.1总体架构
大数据实验室总体架构主要包括四个层面：
（1）基础环境设施建设
大数据实验室基础环境建设主要是支撑实验室教学运行的基本环境配套建设，包括实验室机房装修、综合布线、网络通信、配电UPS、安防监控、实验室空调、学生实验桌椅、教学用投影音响器材等。通过这些基础支撑环境的建设，才能保证大数据实验室的建设提供基础。
（2）IT环境配套建设
在基础环境搭建完善的基础上，需要建设满足大数据实验平台的配套环境，主要包括：各类服务器、交换机、路由器、投影仪、终端电脑等。
（3）大数据实验平台层建设
在满足大数据平台层所需的IT环境配套资源之上，建设存储资源池和计算处理资源池，提供大数据实验平台和深度学习平台，供师生科研教学使用，建立在数据立方大数据库高速运算、秒级处理基础上，数据挖掘分析平台对现有数据
进行智能分析，最终通过数据可视化能将数据以更加直观的方式展现出来，使获取的数据更加客观、更具说服力。
（4）服务层
大数据平台的最终目的是为学校、师生提供服务，因此利用平台搭建可供大量老师、学生完成大数据科研、教学实验的集成环境，该平台同步提供了配套的培训服务，对于科研教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据的教学、实验与科研。
2.2分步实施方案
我校大数据实验室建设的各个环节相互关联，在建设的过程中，需要有计划、有步骤地实施，以确保各项内容的协调发展；基于xxx股份有限公司在云计算、大数据领域积累的丰富经验并且结合学校的实际需求和业务特点，制定以下合理的分步实施方案。
本次方案主要围绕大数据专业课程的开展，搭建大数据实验相关的软硬件平台，分期进行建设。
2.2.1一期：实现大数据教学实验入口，建立稳定可靠的大数据实验
平台
利用大数据、云计算技术构建统一的大数据实验平台，完善大数据教学课程体系，培养大数据实战型人才。
主要建设内容如下： （1）云存储平台
提供一套存储资源管理系统，采用分布式的存储机制，将数据分
散存储在多台独立的存储服务器上；具有低功耗、超高性价比、高可靠、通用、免维护等优势。
（2）大数据实验平台
大数据实验平台通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行Hadoop相关试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。同时配套提供大数据实验教材、PPT、视频、操作手册、实验数据等配套资源。
（3）教学云盘
通过教学云盘为师生构建私有云平台，为用户提供了安全、稳定、高效、性价比高的数据管理服务。
（4）桌面虚拟化
针对学校日常办公、大数据教学等环境建立一体化桌面虚拟化解决方案，学生师生用户可跨平台、跨终端、跨协议按需弹性配置自己的桌面、应用和数据。具有高可靠、高安全、多兼容、易管理等优势。
2.2.2二期：基于大数据领域的深入拓展研究
在一期大数据实验平台的建设基础上，突出大数据领域的多应用建设，进一步提升学校在大数据专业的核心竞争力和影响力。
主要建设内容如下： （1）深度学习平台的建设
根据国家和地方社会经济发展需要，结合区域相关产业和行业特点，以我校优势学科和特色专业为基础，重点从图像处理、视频挖掘、生物识别和人工智能方面的创新实验、实习、实训以及深度学习为重点研究出发进行建设。提供一套涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与处理、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。
（2）数据挖掘及可视化分析
建立数据立方大数据库，实现EB级的数据能够秒级处理，支持数
据仓库存储、数据深度挖掘和商业智能分析等业务。建立数据可视化，将数据的各个属性
值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。
（3）物联网智能硬件平台
提供一个免费的物联网设备和应用的数据托管平台。学校现有的智能设备可使用多种协议轻松安全地向万物云提交所产生的设备数据，在服务平台上进行存储和处理，并通过数据应用编程接口向各种物联网应用提供可靠的跨平台的数据查询和调用服务。通过使用物联网智能硬件平台所提供的各项服务，学校可以收集、处理和分析互连智能设备生成的数据，在物联网应用中方便地调用这些设备数据，而无需投资，安装和管理任何基础设施，不仅大大降低了项目开发的技术门槛，缩短开发周期，而且研发和营运成本也成倍降低。
3详细设计 3.1一期建设内容 3.1.1机房装修建议方案 3.1.1.1系统概述 3.1.1.1.1机房环境特点 设计的机房参数如下：
●温度：21℃--25℃，最佳为23℃。 ●相对湿度为45%--65%，最佳为55%。 ●温度的变化率<5℃/h，不得结露。
●尘埃：机房在静态条件下，粒度≥0.5nm，个数<18000/m3。 ●噪音：计算机停机时，主机房中心位置处<68db。 ●静电电位≤1KV。
●照度：机房区≥300LX；其他房间≥200LX；应急照明＞5LX。 ●交、直流工作地≤1Ω。 3.1.1.1.2设计思路
现代机房通常采用大面积的开敞空间，辅以功能完善的辅助设施，构成宽敞明亮的设备环境，具有工作交流迅捷、信息传递快、工作效
率高、易于管理的特点。
机房工程是以保证设备运行的安全性、可靠性为主要目的综合性项目，它包括建筑装修、电气工程、综合布线、安防系统、监控系统、空调系统等几大系统。机房工程的目标：
●保证计算机设备运行的可靠性； ●保证机房运行的安全性； ●延长计算机设备的使用寿命； ●满足用户的特殊要求； ●保证场地工作人员的身心健康。
我们的工作就是围绕这些根本任务来进行，在设计过程中采用超越的设计思想和先进的技术，并着眼于未来的发展，把各个系统等有机的结合起来，通过采用优质材料、合理的配置和先进的工艺确保环境指标的实现，为计算机设备和工作人员创造一个安全、可靠、宽松、舒适的工作场地。
3.1.1.1.3设计规划
本次机房工程拟对学校已有的机房（约xx平米）改造，建设成为新的数据机房，主要涉及以下几个分项（可根据实际需要调整）：
3.1.1.2机房装修（建议） 3.1.1.2.1机房吊顶
吊顶是机房中重要的组成部分。吊顶上部安装着强电、弱电、线槽和管线，也安装着消防灭火的气体管路及新风系统风管等。在吊顶面层上安装着嵌入式灯具、风口、消防报警探测器、气体灭火喷头等。考虑机房吊顶必须防火、防尘、吸音性能好、无有害气体释放、抗腐蚀不变形、美观和易于拆装等方面。
在安装天花之前，将原楼板底清理干净及刷环氧聚氨脂（防尘漆）。
吊顶应该具有一定的承载能力，应能够承受住全部安装设备的重量及作为专用空调回风静压箱时的负压影响，并要留有一定的空间。所选用的吊顶板及其构件还应具有质轻、防火（A级）、防潮、吸音、
不起尘、不吸尘等特点。
3.1.1.2.2架空地板工程
在各类计算机房的组建中，活动地板是个很重要的结构件之一，可使机房地板下组建成一个地下空间。在活动地板上可安装各类计算机等设备，而在地板下的空间则可用来敷设联结各设备的电源、网络互联管线、集成监控信号线管等设施。同时可作为精密空调的送风静压风库。通过地板上设置的送风口，利用静压复得法，把冷却空气送至计算机设备，保障计算机的安全运行。
活动地板因其具有可拆性，所以对网络的建设、设备的检修及更换都很方便。所有连接电缆都从地板下进入设备，便于设备的布局调整，同时减少了因设备扩充或更新而带来的建筑设施的改造。
●活动地板高度
活动地板可以在活动地板下形成空调送风静压箱。为了获得最佳的通风效果，我们所建议的从机房地板到地面的高度为250mm，这样就可以有充足的通风空间。
●地板抗震动方面
地板的质量和地板的施工保证：
1. 地板平整度和尺寸精度高，以保证活动地板的整体抗震性。 2. 地板支架应一次冲压成型，避免底座和支腿焊接降低其抗震性。 3. 地板与墙面交接处应用柔性接触，采用减震橡胶垫作间隔。 设备抗震动方面
计算机设备、精密空调、UPS、配电柜等设备，建议采用角钢支架做为底座，角钢支架用地脚镙栓与地面固定，并采用强力减震橡胶垫。
活动地板选择
活动地板的抗静电技术指标及地板的质量好坏将直接影响到计算机系统的运行安全。在机房的建设中，活动地板的正确应用及使用，可以提高计算机及其微电子设备的运行可靠性和延长设备的使用寿命。
地板楼面保温
计算机机房的冬季保温、夏季隔热以及防凝露等技术问题是机房
设计重要考虑的因素，尤其夏季室外温度较高，空气的相对湿度也很高，由于机房内外存在较大的温差，机房的保温处理不当，会造成机房区域两个相邻界面产生凝露，更
重要的是下层天花结构面层的凝露会给相邻部分设施造成损坏而影响工作。同时会使机房区域的精密空调的负荷加大，造成能源的浪费。在冬季，由于机房的温/湿是恒定值，此时相对湿度高于室外，机房的内立面墙及天地平面产生凝露，使机房受潮，造成墙立面及天地平面建筑结构造成损坏，而影响机房的洁净度。
由于界面的凝结水蒸发，造成局部区域空气含湿增大，给计算机及微电子设备的元器件和线缆插件造成损坏。因此，为了节约能源，减少日后的运行费用，根据以上分析计算机房相邻界面凝露应按其起因而采取相应的措施来控制平面、立面隔热及热量的散失。对于本方案计算机房的特点，采用在机房专用空调区域内房间的楼面铺设带防水防火的隔热材料来提高楼面的隔热功能。
地板下面做保温层既能保持机房的温度恒定，又不至于使下一层楼顶结冷凝水，同时地板的灰尘又不至于被风吹进机器内。
3.1.1.2.3机房内墙、柱面
机房内墙、柱面装修的目的是为了保证室内环境使用条件，创造一个舒适美观而整洁的环境。在一般的普通装修工程中，内饰面不承担墙体热工功能，但在计算机房装修过程中，当墙体本身热工性能不能满足计算机房环境使用要求时，就得在室内内侧面增加一道保温层来增加墙体的热工性能，避免出现结露现象。另外，机房内窗户由于其缝隙容易渗进灰尘和有害气体而引起计算机的故障。同时透过玻璃进入机房的太阳辐射热将会增加机房的热负荷，并影响机房内的照度控制和对显示设备的观测。在冬天，通过窗户散出的热量较大，而且机房内温度较高，室外温度较低，这样还会在玻璃上结露。因此，为了防止外界的干扰，在能确保诸机房空调和照明的情况下，在机房内不设窗户，而主要采用人工照明。
该墙饰板在生产过程中，由于在其表面喷涂了一种有机高分子涂层，使得采用了该墙板装饰过的计算机房不但增强了机房的防静电、
防火性能，更由于这种墙板为高强度优质材料，在计算机房内安装使用后，它能与金属吊顶天花以及金属活动地板金属结构网架，经有效接地处理后，能初步形成一个六面都有屏蔽效果的屏蔽网，增强机房的屏蔽效果。在机房内增强屏蔽性能后，并具有以下特点：
●防止外界较强的电磁场干扰计算机房内计算机及其它电子信息处理设备；
●防止计算机房内的计算机及其它电子信息处理设备所产生的信息以电磁
波形式泄漏出去，造成机密的丢失。 3.1.1.2.4机房防火门的设计
门的开起方向要符合消防要求，大小要适于设备运装或人员出入，开门的位置要方便人员出入及设备的摆放，不影响设备操作，占用空间小，防火、防盗、隔音、隔热、美观、实用、经济。
机房入口大门设置钢质压纹防火、防盗门，并安装闭门器，增加压纹后，不仅满足防火门要求，同时也更为美观。
3.1.1.3机房配电及ups系统
机房供电为一级负荷，从大楼配电室引双路电源（TN-S系统）至机房UPS 室，经互投开关切换后供给机房UPS、空调、照明及辅助插座供电。
UPS（Uninterruptible Power Supply），即不间断电源，是一种储能的装置（常用蓄电池储能），以逆变器为主要组成部分的恒压、恒频电源设备，主要用于给计算机、服务器、计算机网络系统、通信系统或其它电力电子设备提供不间断的电力供应。
一种常见的错误概念认为：一般使用的市电除了偶尔发生断电事故之外，通常是连续而且稳定的。其实不然，市电系统作为公共电网，连接着成千上万个各种各样的负载，其中，一些较大的感性、容性、开关电源等负载不仅从电网获取电能，而且还会反过来对电网造成影响，恶化电网（或局部电网）的供电品质，造成市电电压波形畸变或频率漂移。另外，意外的自然或人为事故，如地震、雷击、输变电系统断路或短路都会危害电力的正常供应，从而影响负载的正常工作。
根据电力专家的测试，电网中经常发生并且对计算机或精密仪器产生干扰或造成损坏的情况主要有以下几种：电涌、高压尖脉冲、暂态过电压、电压下陷、电线噪声、频率漂移、持续低电压、市电中断等。
对计算机来说，其显示器和主机工作都需要正常的电力供应，突然的非正常断电可能会对计算机硬盘造成损坏，过高的电压可能会造成计算机整流电源烧毁，而且电压尖脉冲和暂态过电压及电源杂波等干扰都可能通过计算机整流器进入主板，影响计算机的正常工作，甚至烧毁主板。总之，供电问题对于计算机工作
的影响很大。因此，随着计算机和网络应用的日益重要和广泛，安全可靠的电源已是网络涉及和管理人员不得不认真面对的重要问题。在这种背景下，UPS应运而生，并伴随电力电子技术的发展不断推陈出新。
本项目需要UPS电源的区域包括网络中心机房、监控中心机房。 网络中心机房的UPS电源保护系统主要为网络设备及服务器主机提供统一的不间断电源供应。
监控中心的UPS电源保护系统主要为弱电井设备、安防系统、一卡通系统、楼宇自控系统提供不间断电源供电。
根据项目需求，要求在断电后，UPS应满足满负载供电2小时的要求，也为后期增加的设备留有的余量。
3.1.1.4防雷接地系统
为了保护人的安全、供电的可靠性以及计算机设备、电子产品、电气设备等正常准确运行，必须要有良好的接地系统来保证。为保证大楼内计算机设备、电子产品等安全可靠的运行，大楼内应有稳定可靠的接地系统，才能避免因接地系统不可靠而损坏设备及伤害人员的事故发生。
本次在每个机房内均设置防雷器及接地装置，每个机房设置一级防雷器1台，二级防雷器2台，三级防雷器2台，插座采用防浪涌插座。敷设田字形紫铜排。整个机房敷设玻化石全钢防静电地板。
3.1.1.
4.1机房防雷设计
由于电子设备雷电防护系统对所保护系统的业务正常运行具有非常重要的作用，因此，雷电防护系统应具备先进性、可靠性、易维护、易升级等方面的突出特性。防雷工程设计及设备的选择应遵从以下的原则：
1）可靠性原则
设计系统雷电防护工程应最先考虑的问题就是可靠性。防雷保护技术是不断发展变化的，所选产品必须符合国际标准、国家标准及行业标准。这样才能对网络的未来发展提供保证。
2）先进性、可扩充性原则
采用当今国内、国际上最先进和成熟的技术，使新建立的系统能够最大限度地适应今后技术发展变化和业务发展变化的需要，从目前国内发展来看，系统总体设计的先进性原则主要体现在以下几个方面：
采用的系统结构应当是先进的、开放的体系结构； 采用的技术应当是可扩充的，能满足今后日益扩充的需要。 3）经济实用性原则
本着一切从用户实际角度出发，配置防雷保护系统的目的，在保证系统的正常运行下，整个防雷保护的建设要坚持实用为主，根据投资的强度结合实用价值，应尽可能选择可靠性高，可维护性好的性能价格比高的产品，以便节省投资，以最低成本来完成系统设备雷电防护的建设。
3.1.1.
4.2防雷保护对象
目前，经实际运行经验验证，由电源系统耦合进入的感应雷击造成设备的损坏占雷灾损失60％以上的概率。因此，对电源系统的避雷保护措施是整个防雷工程中必不可少的而且是非常重要的一个环节。
1）电源系统第一级保护
供电系统采用架空电缆（电缆未穿钢管做屏蔽）将一路市电引入至大楼总配电箱，大楼总配电箱又引出一路出线至机房或所在楼层配电箱，然后通过插排与机房用电设备连接。因机房所在建筑物总配电箱进线路大多从户外架空引入，所以极易遭感应雷击及远端的传导雷
击，应加装电涌保护器加以保护，根据《建筑物防雷设计规范》和《建筑物电子信息系统防雷技术规范》的要求，在从室外引来的线路上安装的电源防雷器，其标称放电电流≥80kA（8/20μs）。
因此，本方案设计在每个机房所在建筑物的总配电箱进线端各加装一套一级电源防雷模块，以此作为对楼层总电源的一级防护。其技术要求及配置情况如下：
（1）安装位置：机房所在建筑物的总配电箱进线端 （2）选用产品：三相电源防雷模块（如下图所示）。
一级电源防雷模块
（3）安装方法：将一级防雷器并联于电源系统中，L1、L2、L3为相线，N 为零线，PE为地线，切勿错接。安装完成后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表示防雷模块出现故障，应及时维修或更换。
一级防雷模块接线示意图 2）电源系统第二级保护
虽然在机房所在大楼总配电箱内加装了电源系统第一级电涌保护器，但是机房与总配室距离较远，雷电仍然会在连接总配电室与机房的电缆上产生感应过电压，击坏设备，故根据《建筑物防雷设计规范》的要求，本方案设计在机房或所在楼层配电箱内加装一套二级电源防雷模块，以此作为对机房电源的二级防雷保护。其技术要求及配置情况如下：
（1）安装位置：机房配电箱或机房所在楼层配电箱。 （2）选用产品：单相电源防雷模块（如下图所示）。
二级电源防雷模块图
（3）安装方法：将二级防雷器并联于电源系统中，L为相线，N
为零线，PE 为地线，切勿错接。安装完成后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表示防雷模块出现故障，应及时维修或更换。
（4）二级防雷器产品参数：
二级电源防雷模块接线示意图 3）电源系统第三级保护
因为机房内都是一些精密的电子设备，耐冲击电压都比较低，一般在1.5KV 以下，为了进一步降低残压，根据国标《建筑物防雷设计规范》的要求，本方案
设计在UPS电源后端加装一套三级电源防雷模块，以此作为对信息机房电源的三级防雷保护。其技术要求及配置情况如下：
（1）安装位置：UPS电源后端
（2）选用产品：单相电源防雷模块（如下图所示）。
三级电源防雷模块
（3）安装方法：将三级防雷器并联于电源系统中，L为相线，N为零线，PE 为地线，切勿错接。安装完成后，合上自动断路器开关，检查工作状态是否正常。防雷模块在使用期间，应定期检测并查看故障显示窗口状态，当故障显示窗口呈红色或遥信端子输出报警信号时，表示防雷模块出现故障，应及时维修或更换。
（4）三级防雷器产品参数：
因篇幅问题不能全部显示，请点此查看更多更全内容