文章
  • 文章
搜索
首页 >> 解决方案 >>各行业解决方案 >> 电视台存储解决方案
详细内容

电视台存储解决方案


1.项目分析

1.1项目背景

经过几年高速的宽带基础设施建设,电信、广电、大型社区等宽带网已日臻成熟。为了让互联网用户不用电视机也能够看电视,建立网络电视台,将电视节目搬上互联网,成为一种趋势。建立网络电视台不仅仅为观众提供多样化的观看电视的途径,也可以让用户可以随时观看之前时间段的电视节目,不再受到时间地点的现实,增加了电视台节目的观看率

1.2需求分析

电视台随着视频素材的不断增长,并且准备H264高清、标清等多种码流编码以满足不同网络带宽用户的点播需求,这样对存储系统的容量、IO带宽和可靠性等要求也迅速增加,原有的存储系统已经不能满足快速增长的需求,迫切需要一个高性能、高可用、高可靠、高可扩展的存储系统方案为网络电视台提供存储服务。

综上所述电视台存储系统的核心需求是:

1、 数据全局共享,所有视频文件通过统一的存储系统使用管理。

2、 灵活可扩展的海量空间,并且性能随容量增加而现行增长。

3、 高性能,满足海量并发用户点播高清视频。

4、 数据高可用,有完善的故障恢复流程和灾备机制。

5、 增强型的权限管理,保证存储数据的安全性和可靠性。

6、 跨平台的客户端,和用户现有环境无缝兼容。

2.方案设计

如下图所示,由x台存储服务器和x台元数据服务器组成ShenguoStore集群存储系统向前端客户端提供一个xxTB虚拟文件存储池,能够存储大约16000个小时的节目(包括2M、1.5M、500K三种码流)。上载服务器和web服务器集群等客户端通过千兆网络和ShenguoStore集群存储系统连接,共享访问ShenguoStore虚拟文件存储池。

图片1.png

图表 1 方案拓扑图

系统中通过负载均衡器把互联网用户的访问请求均衡分配到web服务器上,web服务器直接从ShenguoStore集群存储系统上读取互联网用户要观看的视频文件。

 

 

 

3.ShenguoStore简介

ShenguoStore存储系统是一款针对海量数据存储应用而设计的大规模通用集群存储系统,采用通用硬件设备作为基本的构建单元,为应用提供全局统一的系统映像和完全POSIX兼容的API接口。

ShenguoStore集群存储系统采用了存储服务器集群和元数据服务器集群通过千兆以太网络构建,具备极高的扩展性和可靠性。利用ShenguoStore的相关软件功能消除集群内的单点故障,避免因为故障而导致服务中断或者数据丢失等影响,并且打破了传统存储系统的种种限制。

3.1 ShenguoStore系统架构图

ShenguoStore拓扑图如下:

图片2.png

图表 1 ShenguoStore拓扑图

ShenguoStore存储系统主要由应用服务器集群、元数据服务器集群、智能存储服务器集群三大部分组成。

应用服务器集群:运行客户应用程序的集群(如点播、直播、Web页面服务器)

元数据服务器集群:管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等),管理整个存储系统的命名空间,对外提供单一的系统映像。

智能存储服务器集群:存储用户的实际数据,是整个存储系统的存储资源提供者。

3.2 系统软件构成

3.1负载均衡软件

ShenguoStore负载均衡软件是专门针对存储扩展性需求较高的应用环境而提供。当存储系统按需在线动态扩展容量之后,该功能将数据在存储服务器之间迁移,直到数据分布较为均衡时停止。通过ShenguoStore负载均衡软件的数据迁移工作,ShenguoStore集群存储系统的性能能够随着容量的增长而线性增长。

3.2多副本软件

ShenguoStore的多副本软件是一种高效的数据保护方式,通过将数据同时存放到不同的存储服务器上来对数据进行保护,不但消除了单点故障,还能够提高数据并发访问性能。

2.3故障自动恢复软件

ShenguoStore的故障自动恢复软件具有一整套完整的故障恢复流程,该软件将会自动的探测集群存储系统内的各类可能出现的故障,如磁盘损坏、系统宕机、网络中断等各类数据中心常见的故障。集群存储系统内一旦发现了该类故障,该软件就会立刻启动相应的故障处理恢复流程对数据进行相应的恢复保护,确保数据的完整性,并且整个恢复过程完全不影响业务连续运行。而且由于ShenguoStore故障自动恢复软件能够提供的是整个集群全局的数据恢复,充分的利用了集群内的空闲资源进行相应的处理,能够提供高出RAID技术五倍的数据恢复速度,能够最大程度的确保数据完整性,为业务长期稳定运行打下基础。

3.4大目录支持软件

传统的存储方案(如NAS)都存在着文件数量、单目录下文件数量等诸多限制,并且当存储系统内文件数量达到一定数量时,文件的检索效率就会急剧下降,从而影响了业务的运行效率。

ShenguoStore的大目录支持软件打破了存储系统在面向海量小文件时的种种限制,提供了几乎无限的单目录文件数量支持、高效的文件检索效率支持,帮助企业解决海量小文件存储带来的烦恼。

4. ShenguoStore存储方案实施亮点

4.1全局共享

在系统中,所有的上载服务器和web服务器看到的是同一个文件系统视图,这样所有的web服务器都可以访问到同样的数据,可以方便的利用负载均衡器把互联网用户的访问请求分布到各个web服务器上。这样提高了系统的对外服务的整体能力,也消除了web服务器这一层的单点故障,任何一个web服务器的损坏都不影响系统对外服务的持续性,提高了整个网络电视平台的可靠性。

4.2高效数据读写,减少平台结构层次

如下图所示,传统的DAS和NAS存储系统能够为客户端提供的读写带宽受到DAS磁盘柜和NAS服务器的性能限制,所以在使用DAS和NAS存储系统的视频网站结构中一般会在web服务器的上层再架设一批squid缓存服务器,squid将数据从web服务器中读取出来缓存在缓存服务器的本地硬盘,互联网用户从缓存服务器上访问视频节目。

图片3.png

图表 3 DAS&NAS方案

由于视频节目文件量大,缓存服务器的容量有限,这样导致缓存服务器的cache命中率不高,大多数的用户访问负载都会直接作用到后端web服务器上,导致后端web服务器负载太高无法提供服务。而且每次添加新的缓存服务器或者更换故障缓存服务器时,缓存服务器都会大量的从web服务器上读取数据,给后端web服务器带来很大的压力,极有可能造成web服务器由于负载过高而崩溃。

ShenguoStore集群存储系统通过多台存储服务器提供同时数据存取服务的方法以满足大量应用服务器的并发访问需求。在应用服务器端,当应用程序往存储系统上写文件时,文件将会被根据一定大小进行分片存放到多台存储服务器上;在应用程序读文件时,则并发的从多个服务器上读取数据。由于大量的数据IO请求都被分散到多台存储服务器上,使得所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用,这样ShenguoStore集群存储系统的聚合带宽由多台的存储服务器上的IO带宽相加而成,从而克服了NAS和DAS系统的单一出口点所造成性能瓶颈,可以满足多台应用节点并发访问的带宽需求。

图片4.png

图表 4 ShenguoStore方案图

因此,如上图所示,在ShenguoStore方案中可以让互联网用户直接访问web服务器观看视频节目。这样在网络电视平台的架构中就减少了一个层次,在降低了平台结构复杂程度的同时也提高了整个平台的服务能力。

4.3扩展性强,满足平台不断增加的容量和性能需求

在传统DAS和NAS方案中,由于DAS磁盘阵列和NAS服务器容量基本无法进行扩展,导致整个系统扩展困难,只能不断的增加DAS磁盘阵列或者NAS服务器的数量来对系统的存储容量进行扩展。如下图所示,在网络电视台应用中存在大量的热点文件,其访问非常频繁,而其他的数据访问量则相对较少,在DAS和NAS方案中会导致热点数据集中在某个设备上,从而导致平台整体服务能力受限于单个设备的性能,在系统中形成了单点瓶颈。


图片5.png

图表 5 NAS&DAS负载不均衡

ShenguoStore集群存储系统可以支持动态的扩展存储容量,而无需中断应用的运行。用户可以通过ShenguoStore的配置工具动态添加存储服务器以扩大系统的容量和规模,扩展的容量即扩即用,web服务器看到的现象就是挂载目录的容量变大了。而且随着存储服务器数据的增多,整套系统的聚合带宽也会线性的增长,完全可以满足业务不断发展所产生的容量和性能需求。

图片6.png

图表 5ShenguoStore负载均衡

当系统扩容后可以自动的将原有存储服务器上的数据均衡到新添加的存储服务器中,达到如上图所示状态,数据均衡的过程对前端web服务器是完全透明的,在数据均衡的过程中也完成了热点数据的分布,从而在扩容的同时也提高了网络电视平台的服务能力。

4.4高可靠性,保护数据安全

无论是DAS,SAN还是NAS,都是基于磁盘阵列和RAID的技术, 其数据安全性都依赖于RAID技术。而RAID有一个很致命的缺点,当RAID中有一块硬盘失效时,必须马上Rebuild进行恢复,在Rebuild过程中如果再有硬盘失效使得失效硬盘数量超过RAID界别所允许的硬盘失效数量将导致整个磁盘阵列的崩溃。而且在Rebuild过程中,磁盘阵列的性能将会变得很低。对NAS系统来说,将会使得系统的IO带宽急剧降低,从而使得整个系统基本上无法使用。对DAS/SAN系统来说,将会使得某些使用到这个磁盘的阵列的存储卷性能降低。在Rebuild过程中web服务器继续保持高负载的访问,则会使得RAID Rebuild失败的可能性大大增加,一旦Rebuild失败则会导致这个存储卷中的数据完全丢失。这对网络电视台是完全无法容忍的。

ShenguoStore存储系统可以对不同的数据设置不同的安全等级,选择将数据和校验数据分别存放在不同的存储服务器上。ShenguoStore存储系统可以同时使用多条高速数据通道,可消除网络层的单点故障,进一步提高系统的高可用性。在这样的情况下,即使出现存储服务器宕机、网络中断、磁盘损坏时,仍然能够保障数据完整性和数据服务的持续运行。例如,在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据,ShenguoStore集群存储系统将会立刻发现该异常并自发的启动数据恢复流程,利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据仍有一定的冗余度。由于ShenguoStore的数据恢复是基于真实丢失的数据,并且数据恢复是通过整个存储集群同时并发进行,所以相对于传统的RAID技术具备更快的数据重建速度,这也能够有效提升数据的安全性。

通过将数据和校验数据存放在不同存储服务器的方法,ShenguoStore存储系统可以对一系列的软硬件故障(网络、主机、磁盘等)进行自动的隔离,消除了存储系统的任何单点故障,而且也无需配置任何复杂的配置。

4.5系统可维护性

ShenguoStore存储系统配有简单易用的图形化管理和监控界面,支持通过专用的安全通道进行远程配置和全系统监控,能够智能的发现各类软硬件故障并进行处理,减少了网络电视台管理员的工作量。

4.6与现有环境无缝兼容

ShenguoStore存储系统的设计是面向通用的硬件和软件环境,使用通用的以太网络作为数据传输通道可以确保充分利用现有的环境,并且可以无需对环境做出任何修改。另外ShenguoStore能够直接支持Linux、Window和MacOS等常用的操作系统之间进行数据共享,无需对操作系统和Web应用进行任何修改,直接把数据目录指向ShenguoStore即可,能够无缝的接入到网络电视台的软硬件环境。

5.售后服务支持

5.1综述

深国科技有限责任公司保证为客户提供高质量基于产品的安装、培训、维护和技术支持服务。公司期望与客户保持长期关系,根据客户的需要,为其提供最新升级的系统版本以及卓有成效的技术支持,再培训和咨询服务。我们相信:成功的企业管理来源于成功的客户服务。

我们将永远坚守我们一贯的原则:“卓越无极限!”

我们承诺:

Ø 我公司所提供的硬件和软件提供三年的免费维护,并在生命周期内负责其运行维护。我公司的软件升级后,及时为用户提供免费升级。

Ø 在保修期内,我公司对由于设计、工艺、质量或材料的缺陷而发生的任何不足或故障负责。

Ø 我公司保证所提供的货物不存在任何权利上的瑕疵,我公司产品的销售和使用不侵犯第三人合法权益。

Ø 保修期内,我公司对设备(人为故意损坏除外)提供全免费保修或免费更换;保修期后,收取成本费维修(备品备件成交供应商应以优惠的价格提供);软件在使用过程中出现质量问题,维修人员在收到故障报告后及时到达现场维护或通过其他途径及时解决。

Ø 我公司具备全面的服务能力,在服务机构、服务队伍、服务手段等方面具有整体服务能力。

5.2用户培训

为了确保系统顺利建设和投入使用后运行良好,达到项目建设的预期目标,对相关管理人员和系统运营维护人员进行应用技术的培训是一个必不可少的环节。

5.2.1培训方式

深国科技对公司的具体实施人员和管理人员采用逐级培训的方式和体系,培训方式为初级培训、现场培训和高级培训三级。

初级培训:初级培训包括主机系统硬件、网络产品的培训,初级培训应在系统安装调试前进行,以保证在系统安装调试时,公司的具体实施人员已经具备相应的技术水平和能力。

现场培训:现场培训是指在主机、网络安装时,由龙存科技和厂家的技术人员现场咨询和解答。现场培训的范围将涉及到公司的所有相关人员,其时间持续到系统正式运行。对参加系统开发的有关人员,还提供开发规范和操作系统的培训。

高级培训:高级培训包括本次项目中所涉及到的高级技术的培训,培训对象主要为系统管理员和维护人员。其培训时间可安排在系统安装、调试进入正常运行后实施。

5.2.2培训承诺

深国科技承诺对用户进行操作、维护、管理人员进行全面的技术培训,确保用户维护管理人员达到能独立操作、独立进行管理、运营、故障处理、日常维护测试等工作,使相关设备及应用能够正常运行。

5.3技术支持和服务

深国科技对系统提供全面的售后服务体系。深国科技完全清楚系统建立和运行后技术支持的重要性,深国科技的技术支持队伍受过良好培训并富有经验,我们对系统可能出现的技术问题已经做好了充分准备。

5.3.1技术支持服务机构

在系统实施的同时,组织专门的技术支持队伍,由以下人员组成:

技术支持项目经理

系统维护工程师

深国科技的技术小组,其职责是对系统的技术支持和咨询服务。服务内容包括:系统的维护、性能的维护等。本小组的任务是确保系统的正常、高效运行,让用户满意。

5.3.2保修期内的维护

在合同规定的保修期内负责维修系统正常运行过程中产生的软硬件故障。

服务类型包括:

热线电话

由工程师指导排除故障

现场排除故障

最快速度响应用户的服务需求

预防性服务,提供定期维护以保证系统的正常运行和排除故障隐患。

5.3.3保修期后的维护

保修期后可有多种维护支持方法。可选择:

维护合同方式,可以通过购买维护合同得到服务。

实际发生维护费用方式。

另外,深国科技的相关机构将提供工作日内的24小时热线服务,解决一些应急问题。

深国科技提供的另一项服务包括全面的安装支持、文档和教育。

5.4服务条款

深国科技将遵循如下服务条款对客户的网络系统提供服务与支持。

业务咨询:客户的系统初步建成并投入运行后,由于受外界环境、内部组织结构变化及可能的人员操作不当的影响,可能会产生一切非产品本身的问题。为了使客户拥有一个健壮的业务系统,我们将与客户共同评估今后对系统维护的需求,签订维护服务合同,并根据合同提供不同层次的维护服务。

指导性响应:当系统发生问题时,首先由客户的技术人员对故障现象、故障信息进行详细的观察记录,然后通过有效手段将资料通报我们,由我们的技术人员与客户一起进行故障会诊,确认合适的解决方案,然后指导客户方人员进行现场操作,排除故障。

24小时响应:当客户系统发生故障时,客户通知我们后,公司方面将在24小时内作出响应,确定问题的性质,以便确定派出有此方面经验的工程技术人员或高级技术顾问,尽快赶赴现场解决问题。

技术咨询:深国科技不仅能够为客户提供所有产品和应用开发方面的具体服务,还将依据技术合同对其计算机网络系统的业务及管理运作提供更深入的咨询服务。

关键点维护:在系统运行的每一个关键点,如系统扩容、数据从旧系统向新系统迁移、升级到更高端系统等,公司将响应客户请求派出应用工程师到现场提供技术保障。

远程维护:如有可能公司将建立维护环境,通过远程网络为客户提供系统支持和维护服务。

电话咨询:深国科技对于客户提出的简单问题,通过电话进行咨询和解答。








深国大数据有限公司

扫一扫关注我们

Copyright @ 2018 . All rights reserved.

底部导航

关于我们

联系我们

电话:0755-86665665
微信:18018785757
邮箱:2709172732@qq.com
址:深圳市南山大冲商务中心A

         座1802

IT综合运维管理平台,智能制造整体解决方案服务商

技术支持: 拉米拉 | 管理登录