DISC光盘库: 磁带库的终结者
(海量数据近线式存储技术) |
| |
| |
| 一提到光盘库大家都会想到光盘塔,淘汰的技术,实则两者间有着本质上的区别海量数据近线处理技术:Jukebox (光盘库) |
| |
关键词:
Jukebox ( 光盘库 );Optical Library;PoINT光盘库管理软件
|
| |
| |
前言:
目前在网络上可实现数据存储及共享的设备有三种:硬盘阵列、光盘塔和光盘库。这三种设备分别是在光盘和硬盘产品的发展过程中,在不同历史阶段出现的典型产品。
硬盘阵列是一种可供大容量数据实现实时共享的设备。它的访问速度非常快,可使用的数据资源非常大。用户直接访问硬盘,实现网络资源的共享。
CD-ROM光盘塔(CD-ROM Tower)是由多个SCSI接口的CD-ROM驱动器串联而成的,光盘预先放置在CD-ROM驱动器中。受SCSI总线ID号的限制,光盘塔中的CD-ROM驱动器一般以7的倍数出现。用户访问光盘塔时,可以直接访问CD-ROM驱动器中的光盘,但用户要频繁更换驱动器中的光盘,因此光盘塔的综合访问速度较慢。
CD-ROM光盘库(CD-ROM Jukebox)是一种带有自动换盘机构(机械手)的光盘网络共享设备。光盘库一般配置有1~6台CD-ROM驱动器,可容纳100~600片CD-ROM光盘。用户访问光盘库时,自动换盘机构首先将CD-ROM驱动器中光盘取出并放置到盘架上的指定位置,然后再从盘架中取出所需的CD-ROM光盘并送入CD-ROM驱动器中。由于自动换盘机构的换盘时间通常在秒量级,因此光盘库的综合访问速度较快。
上述三种类型的产品由于各自的特点决定了它们各自不同的用途。硬盘阵列由于它的访问速度非常快,所以它主要用于数据的实时共享,还可以用于小型的VOD点播系统。CD-ROM光盘塔的光驱访问速度相比于硬盘来说,速度慢了一些,而且光驱数量有限,数据源很少,所以供同时使用的用户数量也很少,但是由于光驱的价格很低,作为低端产品,它还是能够适用于一些用户的要求。CD-ROM光盘库的数据访问速度本身就比CD-ROM光盘塔速度快很多,而且它所能提供的数据量非常大。
虽然硬盘阵列的访问速度非常快,但是由于硬盘的可以改写,导致硬盘阵列在一些安全性要求比较高的环境下,不能使用。而且,硬盘的保存时间也很短。CD-ROM光盘塔在安全性方面,比硬盘阵列要强一些,但是它的数据量有限,所以在要求数据源很大时,光盘塔不能满足用户的要求。而CD-ROM光盘库能够同时满足高安全性、高可靠性、大数据源的要求,所以在要求比较高的环境里,CD-ROM光盘库有着不可替代的作用。CD-ROM光盘库主要应用于数据的备份。在数据要长期保存的情况下,光盘库的作用很突出。随着科学技术的发展,光盘库产品已经系列化。
|
| |
| |
什么是光盘库?
Jukebox ( 光盘库 ) 是个美国词。早期的Jukebox实际是个智能留声机。有时大家在西部电影中会看到,牛仔们在酒馆儿里,往这么个仪器里投上枚硬币,仪器就伸出个小机械手臂,从一叠唱片中选出一张来放到留声机的唱盘上。于是爵士乐大作,牛仔们起舞。
现代的高新技术设备 Jukebox ( 光盘库 ),已不是用来选歌听片的留声机了,它是一个海量的数据存储设备系统,提供的功能服务主要是:
· 超大数量的资料文件文档的存储/归档/备份,以及
· 超大数量的资料文件文档的检索/查询
基于这样的应用,现在光盘库的英文名也叫Optical Library。
这是一种集计算机技术,精密机械制造技术和光电技术为一体的高新技术设备。
现代光盘库结构和它的老祖宗一样,也有三个部分:放有光盘的光盘槽架,高速高精密度的机械手和光盘机组。
工作原理却很简单:机械手根据用户要求自动去光盘槽架上取来光盘,放到光盘机上提供给用户使用。 |
| |
| |
为什么用光盘库?
你也许会说,光盘库是用机械手,取出光盘放到光盘机去读写,这和我们使用一般电脑,用人手工把光盘放到电脑的光盘机上去读写,两者能有什么不同吗?
这里问题的关键是,数量的巨大导致了质的革命,形成了在应用意义上的全新突破。
拿德国DISC公司生产的NSM 7000型光盘库来说,它的光盘槽架可存放705张光盘。如果我们不用光盘库,就得把这705张光盘放到书架上。用的时候你要到书架上去翻找 (每张光盘在书架上的位置,光盘的内容你还未必搞得清楚),找到后取出来放到电脑的光盘机上去使用。
而使用光盘库,只要你的光盘在光盘库中,高速机械手会快速自动地把光盘从槽中取出来,放到光盘机里供你使用。使用光盘库,用户并不需要知道盘片在光盘库光盘槽架上的位置。
另外,已经成为主流的DVD盘片,由于记录密度大,盘片比CD盘要娇气。经常用手触摸容易损坏,造成数据丢失。使用光盘库,光盘存于光盘库的光盘匣内,由精密机械手操作取用,且避光,可最大限度地提高光盘的寿命,增强数据的可靠性。
在这里的关键是,光盘库的计算机应用软件给用户提供了各种功能强大的检索和查询手段,帮助用户轻松而有效地使用他们的文件和档案。 |
| |
| |
光盘库软件提供了什么?
比如,通过 PoINT光盘库管理软件 :
你可以在计算机上察看到光盘槽架上每一个光盘槽的状况,如,槽上是否有盘,是VCD盘还是DVD盘,空盘还是有内容的盘,盘的卷标,盘内容的名称登记,等等。
你还可以在Windows的资源管理器上看到光盘库所存光盘的内容,用你习惯的Windows的使用方式对光盘进行检索读取。
为支持大容量分类备份,你可以将几个光盘组合起来,定义成一个大的逻辑光盘来使用。
你可以随时随意地向选定的光盘上增写文件 (支持UDF光盘增写格式),这有点象你在使用硬盘。
你可以让光盘库定时地 (比如说每天晚上10点钟时),或定量地 (比如说每当数据量在计算机硬盘某指定目录上大过了4GB时),自动地把硬盘该目录下的数据文件写入到选定的光盘上做流水备份,而你不需要每天再去操心备份了。 |
| |
| |
光盘库海量的数据存储处理
光盘库最重要的特点,就是它对海量数据的存储及检索的处理功能。所谓数据的海量,我们来做下面的形象说明:
一张DVD的光盘为4.7GB,在这张光盘上可以存进写满14万多张A4纸的文件。
若使用前面DISC公司的NSM 7000型光盘库,它的705张DVD光盘的存储量就是3.3TB,在这台光盘库可以存进写满1亿张以上A4纸的文件。
而新的Professional Data Disc(PDD)光盘,每单张的存储量达到23.3GB! |
| |
| |
为什么说光盘库的出现是海量数据库的在线服务的基础
在光盘库出现之前,以磁带机为中心的海量数据库对外仅限于提供脱机(OFF-LINE)定题数据库查询服务,同时对外服务时间以天或数小时为基本单位。由于成本低廉对一些固定或特定的客户群有一定的吸引力。
当价廉物美CD-ROM、DVD-RAM、DVD-ROM、DVD-R的出现之后,使计算机外存储器---光驱,成为主机必备的标准外设。这期间各磁带机厂商也在不断研究新的磁带机快速读取技术,作为联机备份策略,磁带机仍然是用户在成本与可用性方面可供择优选用的方案之一。由于磁带机本身固有的顺序读取特性,使构造数据中心时,无法选用磁带机作为存储设备。
再加上“黑客”和病毒的骚扰,以硬盘为核心存储设备的方案,在网络安全性上大受质疑。互联网的出现,互联网接入成本的大幅度下调和光盘库本身具有的特性,使采用光盘库为用户提供海量数据库在线服务的普及和平民化成为可能。而以光盘库为核心存储设备辅以硬盘镜像阵列构建的在线服务数据中心和操作平台,已经成为网络服务的中心设备中的成熟方案选择。 |
| |
| |
光盘库用在哪儿?
首先让我们来看一下光盘库与磁带机及磁盘阵列的特点和性能比较:
光盘库,磁带机或磁盘阵列:
存储成本低存储量升级成本低使用年限长,生命周期成本低耗电量小,运行成本低信息安装和恢复速度快系统可靠性高存储介质可移动 存储成本高存储量升级成本高使用年限短,生命周期成本高耗电量大,运行成本高信息安装和恢复速度慢系统可靠性略低存储介质本质上不可移动
大多数情况下信息存取速度快 磁带机信息存取速度极慢磁盘阵列信息存取速度快
机械手把光盘放到光盘机中,再由光盘机存储读取,比磁带机要快得多,但不会比硬盘快。因此在学术上,光盘库的定义是所谓近线(Near Line)应用的存储设备,有别于磁盘阵列的online(在线)和磁带机的Off Line(离线)应用。
近线存储的应用主要是在对超大量文档文件数据的备份/检索/查看,如:
· 图像/文件/档案的文档管理,如公安/医疗/建筑/石油/影视等行业的图片图纸文字影视的档案文件
· 对政府/安检/税务等部门的大量的档案文件的备份支持
· 对业务日志文件流水备份的支持,如电信的日电话纪录文件,金融商业的日营业票据文件
在这里人们需要的是,对文件或图片图纸档案等等:
· 要能保存得下来,(量可能很大)
· 要能找得到,(不用这样的系统,档案堆了几个屋子,急用时找不到)
· 要能容易找到,(传统档案堆放,要花时间费劲去找)
· 多人可同时使用,
· 存放得安全 (文件不丢失) 和保密 (不该看的不能看)。
这里,速度倒不是第一位的。人们期望着能比传统的档案查询应用要快和方便。而实际上,光盘库系统的快捷和方便程度,比传统应用要高出几个数量级,简直可以说两者不能比。
在在线 (online) 应用方面,目前使用较多的设备是所谓用多个硬盘摞起来的磁盘阵列。它的速度确实很快,极适合做前台客户的在线支持。但它有两个缺点:
· 不安全:数据始终是保存在高速转动的磁盘上,一旦磁盘损坏,数据将丢失。而光盘库的数据是存在光盘上的,计算机系统或光盘库本身损坏了,光盘上的数据并不会丢失。
· 每存储单位价格昂贵:要比光盘上的存储价格高出一个数量级。
用磁盘阵列去做大数据量备份应用,即不安全而且又贵,确实是一种浪费。但是目前许多的应用系统,既要求前台客户的快速响应,又要求有大数据量的存储备份查询支持。纯磁盘阵列的应用就会产生一定的问题。
把磁盘阵列和光盘库结合起来:磁盘阵列做前台响应,光盘库做后台备份,两者的优势就都能发挥了:既满足了在线的响应速度,又保证了系统的大数据量备份需求,同时有利于数据的长期保存,保证了应用的安全性和稳定性。另外,由于避免了用磁盘阵列去做大数据备份,应用系统可选用小的磁盘阵列,从而会使费用会大大降低。
国际上学术界较一致的意见是:30%磁盘阵列,70%光盘库的连用,系统的效率较为理想。
这样的混用,具体的系统应用例子,如:银行金融票据业务,前台磁盘阵列做业务,处理客户票据,后台日营业票据文件用光盘库备份。又如,VOD影视点播,磁盘阵列保持若干影片提供客户放映,后台光盘库备份成百上千影片供调入前台。
当然,那些大量的没有前台在线响应要求的纯文档及纯备份的应用,如档案库文档查询,医院对病人病例,图书馆对图书,石油地质建筑等行业对工程资料图纸文档的查询等应用,则不必上磁盘阵列,纯光盘库系统可以高效地解决问题。
光盘库与另一类近线设备:传统的磁带库相比,更有着极大的优势。光盘库几乎没有了维护管理费用。而磁带的磁粉易沾粘,须定期取出来倒带,而且磁带磁粉易脱落,另需防火,防潮。管理维护费用相当高。磁带数据的安全寿命仅3-5年。光盘数据可保存100年,无须防火防潮。另外,磁带库的价格要高得多。
综上所述可以看到,光盘库在许多领域提供了不可替代的重要应用:石油/地质/煤炭/气象/ 环保等行业的数据资料的存储检索,电信/银行/证卷/金融/商业等行业的业务数据的备份,政府/海关/税务/公安/交通/教育等部门的档案文件的管理等。
目前,归档应用的市场主要包括保险、银行及金融机构、政府机关、健康中心、客服中心、电信等;未来的潜在市场包括电子记录的管理、e-mail的管理以及www内容管理等。企业需要从数据的保存策略、需要的寿命、法律原则以及保存文档流程等几个方面来考虑归档的应用。在欧美国家,光盘库的使用在飞速增长,在香港及内地的各大图书馆及商业、金融、医疗机构也早被广泛采用。 |
| |
| |
我们需要多大的数据存储量?
你也许还会有个困惑:“难道我们会真的需要那么量大的数据文件吗?”
全球企业都需要面对数据存储膨胀性增长,很多分析家都同意:数据量每6~9个月就会翻倍。这对企业信息部门造成非常大的经费压力,因此部分数据需要在质与量之间作选择。事实上,80%在主存储设备中的文件均为非常用数据文件,而且基本上不再作任何更改。同时,无论是业务还是国家法律要求,很多数据都需要保存很长时间。因此,将这些数据从主存储设备中移至成本较低的光学二级存储设备,可以即时提升系统性能,而且更能提供数据保护作用和减低对昂贵的主存储设备的再度投资。数据归档势在必行。
将不常用的文件长期地保存在磁记录媒体上,不管是硬盘或磁带均在承担着一个很大的风险,因为这些数据可能会出现损坏,被意外删除或被电脑病毒或黑客破坏。所有单位均应该重新考虑到万一出现数据丢失时的损失,尤其是随之而来的法律诉讼、罚款、重认证、营业损失、甚至影响到企业的存亡都有可能。而建立一套长期、有效和自动化的数据保护和迁移归档系统可以避免出现以上有可能发生的问题,避免承担沉重的代价。
归档是长期存储原始文档,它能检索或管理数据,并保卫公司数据,是对历史数据的保存。在许多国家法律规定金融机构需要保存至少七年的所有的交易数据记录;政府机关和律师事务所需要保存大量的法律、法规文档为了许多年以后提供给所服务的客户查阅;客服中心和呼叫中心需要不经常地近线接入客户数据以缩短电话的等待时间。医疗和保险行业能通过长期归档个人健康记录给他们的客户提供最好的服务。
信息界的这场革命,导致了对信息数据需求量的飞速膨胀。看看我们在过去的十年里对硬盘存储量的要求就会有感觉:人们应用上的需求膨胀得是多么可怕!十年前我们得意于能为自己的个人电脑装备上了100M的硬盘,而今天,100G的硬盘已不满足需要了。
由于早期阶段对数据量的增长的认识有局限,造成系统设计上的有限处理,阻碍了在数据量飞速膨胀时系统的进一步应用。这样的例子还有很多,最典型的比如,个人电脑上早先16位处理的设计,曾几何时就变成了阻碍电脑进一步应用的严重羁绊,人们费了极大的力气才挣扎到32位处理的水平,而现在人们又在普及64位的处理了。另外一个例子就是互联网网址。当初32位的网址容量被认为是个天文数字,人们还在里面搞网络和服务站子网址的划分,根本没想到会不够用。而现在,可以说是仅在技术发展史上一瞬间的时间里,网址就不够用了,其结构设计成了网址扩容使互联网进一步扩大应用的阻力。
所以,在今天信息化的这场革命中,对数据信息资料的处理,从技术,应用,观点,方法等各个方面,没有一个不处在一种不断革新的快速变化之中。对数据处理量的胃口成几何级地增长,三五年之间出现对信息资料全新的处理应用和对数据全新的需求量将会是件很平常的事。因而,不宜简单的用现在静止的眼光去看本行业的数据量的处理需求。
而选用光盘库系统,实际上是个稳妥的安全举措。重要意义在于,它的投资费用是一次性的。但它的海量处理能力足可以支持你安稳地适应一个较长时期内的计算机文档数据处理量高速发展的需求,而不用淘汰更新设备。另外,不断会有新型更大容量的光盘和和更高速度的光盘机被投放到市场。而光盘库可以容易地用新的光盘和光盘机进行升级扩容 (厂家有支持服务),从而支持系统满足对数据处理在数量上飞速膨胀的需求。 |
| |
| |
德国 DISC光盘库系列
德国DISC公司的光盘库系列产品,它的机械手及机械传动传输等部件,其精密性与可靠性在同业中均享有口碑,事实上,DISC光盘库是世界上唯一能够做到机械手无故障率大于250万次的光盘库产品,这实在是得惠于德国的精密机械制造技术的经验和秘密。
目前该系列产品按其所带光盘槽数量的大小,分成四种型号。各型号光盘槽数量,存储量大小等数据请参见下表:
如使用DVD光盘
型号 光盘数 容量(TB) 可存A4纸(张) 可存MPEG文件(4:2:0)(分)
DISC NSM 3000U 145 0.68 2096万 1893
DISC NSM 3000 285(max) 1.34 4121万 3721
DISC NSM 4000U 260 1.22 3760万 3394
DISC NSM 4000 415(max) 1.95 6000万 5418
DISC NSM 7000U 510 2.39 7375万 6648
DISC NSM 7000 705(max) 3.31 10194万 9204
以上是按照单面DVD光盘4.7G容量计算
可运行在DISC光盘库上的软件系统有:
· PoINT光盘库管理系统 (Windows / Linux)
· SmartStor光盘库管理系统 (Unix / Linux)
· IBM Tivoli Storage Manager
|
| |
| |
| |