云计算、5G、物联网、人工智能等新技术的快速应用,以及传统产业的数字化转型加速,带来海量数据的规模化聚集,IDC预测,到2025年,全球数据量将达到175个ZB。快速增长的数据,层出不穷的数据形态、不断变化的部署环境、随时出现的安全隐患等,都对存储技术发展提出了新的要求,成为企业存储基础设施管理面临的一项巨大挑战。
一方面,企业疲于应对上述挑战,不得不持续投资扩充和升级存储系统,另一方面,由于各种规划和管理等方面的不足,导致现有存储空间不能有效利用,造成浪费,这已经无法满足当下双碳战略的要求。而中国电信天翼云历时五年推出的存储资源盘活系统(HBlock),有效地化解了上述难题,堪称数据存储领域的一大创新。
在“2022分布式存储线上峰会”上,中国电信集团有限公司云计算首席
专家 江峰在主题演讲中讲述了HBlock是如何盘活存储资源、助力双碳战略的。
数据中心如何面对“双碳战略”
“双碳”战略,是指为承担解决气候变化问题中的大国责任,我国提出“双碳”目标,“二氧化
碳排放力争于2030年前达到峰值,努力争取2060年前实现
碳中和”并且战略已连续两年写入了中国的政府工作报告。
在IT和互联网领域,数据中心是典型的能耗大户。
最新数据显示,2020年国内数据中心年耗电量为2045亿千瓦时,占全社会用电量的2.7%;在数据中心,IT基础设施总能耗占比约为50%,作为其主要组成的服务器系统、存储系统和网络通信设备用电分别占到其中的50%、35%和15%;空调制冷设备、供配电系统、照明以及办公等其他能耗占据另外一半。
数据中心巨大的耗电量,给科技发展提供基础设施的支撑下,也给电力供应带来前所未有的挑战,也加重了环境污染。
显然,“双碳”给IT及数据中心提出了很大的挑战。
如何降低数据中心能耗?江峰表示,对策者之一是降低制冷系统本身的能耗,如更优质的空调设备、更科学的冷风通道等,其二是提升IT系统本身的利用率。
近20年来,虚拟化逐渐从实验室走出来,进入了主流的IT生产环境。虚拟化实际上是把物理的服务器从一个操作系统虚拟成多个操作系统、多个物理机给不同的用户同时使用,提高了这台物理机硬件资源的利用率。这是在计算领域实现提升资源利用率来降低能耗一个典型的例子。
“提升利用率、提升简便性是IT发展的趋势。但在存储领域,能不能用同样的方式提升服务器存储资源利用率、以及部署和使用存储资源的效率呢?”江峰表示,这在以前是没有的,但今天,随着HBlock的问世,情况发生了变化。
HBlock:一款革命性的存储产品
HBlock是中国电信天翼云推出的一款革命性的存储产品,通过它实现把服务器中的存储资源盘活。只要在应用层安装上HBlock这个软件,就可以把底层一台或多台服务器里硬盘的剩余空间打包,形成一个高可用、高性能的分布式存储,企业无需花额外投资,就可以把内部闲置的存储空间利用起来对外提供服务,可以充分盘活企业存储资源,带给用户完全不一样的体验。
一个研发小故事
HBlock作为中国电信天翼云纯自研的一款革命性存储产品,产品设计里包含很多专利性发明创造,“自适应性时钟同步方法“就是其中一个。
HBlock是面向弱算、弱网等不可靠环境设计的一款存储产品,而这类不可靠环境中的时钟一致性问题是一个难题。业内传统做法是采用中心聚合的时钟同步方案,比如NTP协议、GPS等,但是此方法成本较高,且存在单点故障的可能性。
HBlock研发团队经过精密的设计和针对各类企业应用场景环境的复杂实验,最终设计出了一种不依赖NTP协议等技术,可以自适应不可靠执行环境的全局一致性时钟同步方法。这种自适应的时钟同步方案使企业内的待盘活存储硬件不受区域、网络等限制,同时有效降低时钟同步成本、提升存储系统的整体可靠性,这使得HBlock具备更广泛的适用性。
江峰表示,HBlock具有四大特点:
一是兼容业务。HBlock以进程化的方式运行,无需独占服务器;安装好HBlock软件之后,在不影响先前所有任务运行的同时,就推出了一个分布式存储对外提供服务,实现 “一机多用、资源共享、科学共存“,从而有效提升服务器资源利用率。
二是易用性很强。HBlock通用市面上包括x86、ARM、MIPS等各种标准化的服务器,支持Linux2.6以上的操作系统,安装使用时无需对内核和操作系统做任何修改。
三是双控制器。独创的分布式双控架构,使HBlock可以通过增加节点的方式实现宏观上横向扩展的同时,微观上对每个逻辑卷都提供了双控,对于客户端而言,在使用这个逻辑卷的时候可以享受到双控带来的高可用和低时延,能够为随机写实现高性能的纠删。
四是极高的环境可靠性。HBlock能够在弱算、弱网、弱盘这样的不确定环境中使用,极端条件做到数据不丢、服务不停,数据从客户端直接落盘,规避断电情况下因数据写入内存但未写入硬盘导致的数据丢失事故,当数据中心遇到因限电断电等不可抗力导致的服务器宕机的情况时,存储资源盘活系统可以在供电恢复、服务器重启后无缝恢复至断电前的运行状态,具备可靠的自愈能力。
HBlock是一个只有140MB大小的压缩安装包,堪称世界上第一个能够把企业级分布式存储做到如此小巧容量的软件,在低至单核、2GB的空间内就可成功安装,从下载、安装到初始化,仅需一杯茶的时间;部署,学习、操作、管理、维护非常简单,成本极低。
作为一款满足“低碳”场景要求的硬核存储,HBlock设计了节能模式:一方面,策略性的让一部分硬盘工作,一部分硬盘休眠。在硬件系统硬盘进入休眠时,节能模式会调整数据分布机制,策略性地选择出部分硬盘处理新写入的数据,减少对其它硬盘的IO操作,以便其它硬盘维持或进入休眠状态,让尽可能多的硬盘保持低能耗的休眠模式。
一个典型的应用
HBlock已经服务了不少的客户。以中国电信天翼云服务的某企业项目为例。原本该企业机房购置了一批服务器,用于运行大数据
平台业务。大数据
平台的服务器计算和存储资源配比相对均衡,存储硬盘的容量较大。但由于前期规划的原因,大数据平台没有得到充分应用,所以整体负载较轻利用率约为30%,而存储资源的利用率不足10%。后该企业因云平台业务需要,急需扩展企业存储服务器提供存储能力,而传统的办法是购置专用的存储,这意味着又是一笔巨大的开支。
该企业把HBlock下载到了100多台大数据服务器上解压运行,不到半天的时间,全部服务器闲置的存储空间都被盘活,形成一个个高可用、低时延、高性能的分布式存储资源池,从而满足上述私有云建设的需求。该方案不仅快速把资源盘活起来,彻底解决用户痛点,而且无需额外服务器和硬件采购,减少了机房的能源开销,极大地缩短企业项目建设周期,受到了企业的高度好评。
良好的收效、广泛的应用前景
江峰介绍,HBlock是中国电信天翼云自主研发的成果之一。初步统计,该方式无需增加服务器,为企业降低能耗约28%,制冷方面也随之降低约28%,且在盘活资源的基础上有效节省机器成本、节约能源。
HBlock,不仅是中国电信天翼云的理念和技术创新,也是存储领域的一大创新。相信它的推广和应用,能为企业、为社会和整个国民经济带来创造巨大的经济效益和社会效益。
【版权声明】本网为公益类网站,本网站刊载的所有内容,均已署名来源和作者,仅供访问者个人学习、研究或欣赏之用,如有侵权请权利人予以告知,本站将立即做删除处理(QQ:51999076)。