摘 要：基础设施资源池是气象大数据的支撑系统，以“专有云+公共云”的混合云资源模式为气象大数据提供计算、存储资源以及中间件等基础软件资源。从基础池的计算特征入手，根据具体系统计算能力，详细调研基础设施资源池的服务器部署设计、网络设计和存储设计，并对现有存储磁盘、存储网络选型进行深入分析，深刻思考在后续存储发展中如何预留空间、如何考虑容量扩充等，并且从运维角度，考虑资源池的自动化设计以及自愈设计和完善，给整个业务能力和科研能力发展提供针对性的建议。

关键词：基础资源池；虚拟化技术；集中式存储；分布式存储

中图分类号：P409      文献标识码：A    文章编号：1671-2064(2023)17-0065-05

0引言

随着气象现代化快速发展的需求，气象信息系统对气象现代化的基础支撑作用越来越显著。在中国气象局《全国气象现代化发展纲要（2015-2030）》中对气象信息网络系统建设提出了更高的要求，该纲要气象信息系统主要按照“优化调整信息业务流程，实现数据流程简约化，提供信息基础资源、数据资源和系统软件资源的统一服务，构建集约化、扁平化的气象业务体系基础”的方向发展。

随着气象现代化进程的不断推进和气象观测预报预测业务能力的不断提高，气象业务获得快速发展，信息处理能力逐年提高，对服务器资源的需求也逐渐增大。气象业务系统一般均为7×24小时运行，传统的业务部署方式是增加一项业务就配备一台或多台服务器，往往会造成服务器资源利用率低、管理开销大、耗电量大、运维成本高等问题，已经无法满足海量业务数据存储以及气象资料分析处理加工的需求。按照信息化、集约化、标准化的理念和方式推动气象业务现代化，进行省级基础设施资源池建设。基础设施资源池是由虚拟化、分布式计算等技术构建的IT虚拟资源和物理资源的集合，主要满足不同业务应用对基础设施资源的需求^[1-4]。

上海市气象局基础设施资源池由虚拟化计算、集中式存储、分布式存储3部分组成。其中，虚拟化计算由虚拟化软件层（Vmware）构建管理；分布式存储由各种分布式计算系统和云数据库构建及调度运行；集中式存储则构建一个全局共享存储空间；基础设施资源池云平台实现3类资源的管理调度及服务，同时在规划中充分考虑异构平台上业务的快速恢复、重建和迁移。

1现状及存在问题

1.1建设情况

2014年：开展试验，初步建立虚拟化资源池（如图1所示），并在业务中投入应用测试。第一套资源池系统建于2014年，包含28把IBMx240刀片，处理器为6核心志强E5-2620，总核心为336，总内存为1848GB，总存储容量200TB。

2017年：扩充虚拟化平台能力，应用用户扩展到其他业务单位，拓展资源池类型，由单一资源池扩展为分类资源池，规划建设集中式存储和分布式存储（如图2所示）。第二套资源池系统于2017年建立，包括32把H3C的B390刀片，处理器为10核心志强E5-2630，总核心为640，总内存为3.94TB，总存储容量334TB。

2018年：依托《上海市现代气象探测和影响预报系统》项目进一步扩建，软件采用中科睿光CloudVirtual（40个CPU授权），硬件为华为刀片服务器E9000（20台刀片，每台刀片服务器配置为2颗Intel 志强金牌6132CPU，14核心，256G DDR4内存）和一套华为OceanStor18500存储，存储配置232T裸容量（如图3所示）。

2022年：气象信息系统集约化管理实施以后，气象信息系统的计算和存储资源统一由基础设施云平台提供，2022年的系统入云截至11月底累计29个。依托信息化系统工程项目建设，分布式存储支出60T，支出254个CPU、748GB内存、29756GB存储资源，已经完成分布式存储容量提升1.24PB，达到2.5PB。

图1  整体架构设计

图2 支撑平台技术架构

图3 存储部署架构图

1.2基础资源池现状

分布式存储：上海市气象局分布式存储资源池容量将达到4.6PB，截至目前使用容量达到559T，使用率为22%（如图4所示）。

 

图4 华为分布式存储

集中式存储：局资源池集中式存储已用容量为399.89TB，总容量为571.17TB，使用率为70%，目前局资源池集中式存储容量已经达到告警阈值。

虚拟化资源池：虚拟化资源池共5个集群、89个物理节点，总CPU核心数1836，内存总14.35TB，存储总容量1031.83TB，虚拟机达到812台。各类资源使用率均到达60%以上，其中内存使用率高达80%以上。为各职能处室、直属单位和区气象局的气象信息系统提供信息基础资源，同时对上述多套资源池管理平台进行优化，实现统一管理、统一资源调度和统一监视，不断提高信息基础设施资源的整体利用率。

按照气象信息化系统工程项目综合业务监控与运维系统建设内容，2022年完成基础设施资源池的对接监控（如图5所示），实现基于天镜的众创平台，根据Vcenter Server采集Vmware资源池信息，对各集群、主机、虚拟机分配与使用情况进行监视展示，包括虚拟机集群数量、实时CPU、内存、磁盘使用情况。

 

图5 天镜-基础资源池

1.3资源使用情况

第一套资源池磁盘使用率为53%，平均CPU使用率为13.3%，平均内存使用率为56.2%；第二套资源池磁盘使用率为76%，平均CPU使用率为28.5%，平均内存使用率为77.4%；第三套资源池磁盘使用率为35%，平均CPU使用率为11.3%，平均内存使用率为62.3%。

近1小时虚拟机CPU平均利用率曲线如图6所示，由于预报加工处理具有明显的周期性特征，数据处理作业高峰运行期间，CPU峰值利用率达到100%，计算机满负荷运行，物理设备的计算资源被全部耗尽。

图6 虚拟机CPU使用率

物理设备的计算资源被耗尽后，承载的虚拟机会自动发生迁移，频繁的设备迁移会给计算、存储和网络设备带来额外负担，影响设备运行的稳定性。

1.4存在的问题

预报业务存在时间上较强的周期性特征，占用的基础设施资源平均利用率不高，但峰值利用率过高，计算资源利用率不均衡。加工处理高峰期，单台虚拟机可占满整个物理设备的计算资源，会出现虚拟机之间争夺资源的情况，当前虚拟化平台无法避免此类情况的发生。

存储空间需求大，各类预报数据、产品存储日增量在1TB以上，当前存储能力难以满足数据量的存储需求，只能筛选数据价值较高的数据进行长期存储，价值不高的数据采取定期删除策略，优先满足关键数据的存储需求。

2 需求分析

2.1需求量分析

从未来3～5年各业务单位上报的需求来看，CPU核数、硬盘容量是需求量较大的两项，其中CPU核的需求量是现有资源的174%，内存容量的需求是现有资源的80%，硬盘容量的需求是现有资源的697%，同时也说明局气象业务正向计算型和大数据存储型转变。

虚拟化资源池主要支撑现有的业务发展，也是今后资源池建设扩展的重点。内存空间的扩展可以根据业务需求进行逐年扩展，对CPU的需求主要表现在气象台等业务单位需要高性能并行计算的业务。为满足未来3～5年需求，每年需固定投入相关硬件及系统，按当前主流4路18核CPU计算单台可用72核，单台内存配置512G，每年最少新增6～8个服务器节点。资源池架构网络设备要求全万兆交换机，按照每年6个节点的新增、单个节点网口10个计算，共计需至少60个万兆交换机，因此每年新增3台万兆交换机。每年所增加服务器节点组成的集群需新增两套安全设备，纳入安全资源池统一管理，承担新增集群的安全防护工作。每年新增6个节点的集群需购买相应服务器虚拟化、网络虚拟化、存储虚拟化软件授权，传统的杀毒软件已经不能适应虚拟化资源池环境应用。因此，需要部署基于虚拟化环境的病毒入侵检测与防御系统。

2.2硬件要求

2.2.1服务器

服务器虚拟化是实现计算虚拟化资源池的主要技术手段，通过将计算能力池化，实现计算能力的动态调配和弹性伸缩，盘活服务器闲置存量，有效提升服务器的资源使用率。

综合气象部门实际情况和技术发展趋势，基础资源池服务器虚拟化应当统一选用开放式、可良好扩展的X86架构服务器，物理形态应选择机架式服务器，其在内存、存储和网络方面具有更好的扩展性。除一些需要安装特殊配件的服务器，如数据解压缩卡、加密设备、特殊IO接口等（如表1所示），一般均可使用虚拟机作为服务器^[5]。

                        表1 服务器虚拟化技术建议

序号	应用场景	虚拟化技术建议
1	通信主机 其他轻量级主机	特性：网络IO密集型+存储IO密集型
		资源配置建议：（低配、中配、高配）
		CPU：低配
		内存：中配、高配
		网络：高配，配置多块万兆虚拟网卡
		存储：高配，FCSAN、SSD固态硬盘
2	文件服务	如果是实时高并发文件共享服务，技术建议同1；否则，根据访问量和数据量采用中低配置。
3	实时数据库 其他中小型数据库	特性： IO密集型+计算密集型
		资源配置建议：（低配、中配、高配）
		CPU：中、高配
		内存：中配或高配
		网络：中、高配，配置多块万兆虚拟网卡
		存储：高配
4	中间件服务	特性： IO密集型
		资源配置建议：（低配、中配、高配）
		CPU：低、中配
		内存：中配或高配
		网络：中、高配，配置多块万兆虚拟网卡
		存储：中、低配
5	数据处理服务 （结构化入库、质量控制、格式转换、格点化处理、解压缩、同化、融合等）	特性：计算密集型+IO密集型
		资源配置建议：（低配、中配、高配）
		CPU：中、高配
		内存：高配
		网络：中配
		存储：高配
6	产品制作服务 （气象数据的可视化、实况产品、预报产品、服务产品的生成）	特性：计算密集型+IO密集型
		资源配置建议：（低配、中配、高配）
		CPU：中、高配
		内存：高配
		网络：中配
		存储：高配
7	WEB服务	特性：网络IO密集型
		资源配置建议：（低配、中配、高配）
		CPU：中配
		内存：高配
		网络：高配
		存储：中配
说明：由于一台服务器提供多个虚拟机承载业务和服务，性能配置考虑冗余。

2.2.2存储

在存储资源池建设方案中，采用分布式存储技术构建统一的存储资源池，可以形成可横向扩展（Scale-out）的云计算基础架构。在业务应用区部署虚拟存储方案，利用虚拟存储构建云平台存储资源池，有效利用服务器资源，降低能源消耗，实现IT环境的节能减排。

磁盘长期运行导致损坏是不可避免的。因此，在集群中构建一些全局热备盘，当某一块磁盘或者某几块磁盘出现故障时，系统可以第一时间替代故障磁盘，实现快速的磁盘自动化替换，不需要人工操作。降低磁盘故障带来的风险，提高数据的可靠性。常规气象业务系统以数据密集型为主，在构建虚拟资源池的存储时，建议配置性能较高的存储资源^[6-7]。

2.2.3网络

网络虚拟化和服务器虚拟化结合，在虚拟机和物理网络之间，提供一整套完整的逻辑网络设备、连接和服务，包括分布式虚拟交换机、虚拟路由器、虚拟防火墙、虚拟负载均衡器、虚拟数据库防护等虚拟网络、安全设备；其次，还可以支持VXLAN等增强网络协议，实现和物理网络的无缝对接，简化网络的配置管理；此外，还可以通过虚拟化管理平台，实现网络拓扑部署、网络故障探测等网络管理功能。

2.2.4基础资源池云平台

云运维与管理层主要面向基础资源池的管理员，可以更好地对气象局的云服务进行配置与管理。例如，服务目录的发布、组织架构（管理）的定义、气象用户管理、云业务流程定制设计以及资源的配额与计费策略定义等。同时，还可以提供基础的设备管理、配置管理、镜像管理、备份管理、日志管理、监控管理和报表服务等，充分满足云管理员对云平台的日常运营维护需求。

3 对策研究

（1）物理服务器CPU、内存月平均利用率连续3个月以上低于10%，峰值利用率低于30%，建议将服务器承载应用迁移至虚拟化平台，服务器根据其设备状态选择利旧使用或下架报废处理。

（2）虚拟化服务器CPU、内存的峰值使用率达不到50%的或资源月平均利用率低于30%的，根据实际使用需求对已分配虚拟机资源进行降配处理。虚拟机连续关机超过3个月的强制回收虚拟机资源。

（3）调整业务布局，将计算密集型业务迁出虚拟化平台，调整至物理服务器运行，原虚拟化平台运行程序可作为备份系统。加强业务运行的集约管理，加快业务系统的集约整合，推进基于“天擎”的业务系统云化改造，梳理数据加工处理流程，优化加工处理程序，降低加工处理程序对算力的开销。

（4）结合业务实际，将部分低效运行系统退出业务运行，对部分基础设施资源进行回收再利用，老旧、低效设备下架报废处理。当业务系统所承载的业务不再需要运行或已有替代升级的新业务系统且业务运行不少于3个月，相关业务单位应及时向管理部门提交退出申请，管理部门审查批复后，由信息中心回收基础设施资源。

（5）依托重点工程项目建设逐步提升计算、存储支撑能力。新建信息系统项目时，同时做好基础设施资源支撑平台的规划设计，匹配响应投资。

4结语

经过多年发展，上海气象信息网络业务能力不断提高，资料服务与应用水平明显改进，为公共气象服务、预报预测和综合气象观测等业务的快速发展提供了重要支撑。未来，上海市气象局基础资源池将继续遵循“统筹管理、集约建设、统一出口、有序供给、充分利用、安全可控”的原则，提高气象数据质量和配置效率，保障气象数据依法有序流动，激发气象数据应用活力，促进气象数据高水平利用。

参考文献

[1] 刘国宏,余东昌,刘旭林,等.虚拟化技术在气象业务中的应用[J].计算技术与自动化,2013,32(4):119-122.

[2] 汪华,黄笞,方斌.贵州省气象信息业务系统的虚拟化实现[J].成都信息工程学院学报,2012,27(2):186-191.

[3] 聂元丁.基于云计算的国家级气象资源池设计与建设[J].计算机技术与发展,2018,28(12):132-136.

[4] 罗林艳,张继光,刘晓波,等.基于 Hyper-V 的湖南气象信息业务系统虚拟化实现[J],安徽农业科学,2017,45(6):198-199,204.

[5] 陈开,陈柯辰.气象基础设施资源统一管理系统的设计与实现[J].电子技术与软件工程,2020(7):204-206.

[6] 郭娜先,阿成凤.浅析虚拟化技术在省级气象基础设施资源池中的应用[J].青海科技,2022,29(5):138-141.

[7] 王瑞通,李炜春.大数据基础存储系统技术研究[J].计算机技术与发展,2017,27(8):66-72．

Demand Analysis and Counter Measure Research of Provincial Meteorological Basic Resource Pool

GUAN Lili,QIAN Zonghao,XIA Jingjie

(Shanghai Meteorological Information and Technical Support Center, Shanghai  200030)

Abstract:The infrastructure resource pool is the supporting system of meteorological big data. It provides computing, storage resources, and basic software resources such as middleware for meteorological big data with the hybrid cloud resource model of "private cloud + public cloud". Starting from the computing characteristics of the basic pool, according to the specific computing capabilities of the system, the server deployment design, network design, and storage design of the infrastructure resource pool are investigated in detail, and the existing storage disks and storage network selection are deeply analyzed. How to reserve space during storage development, how to consider capacity expansion, etc., and from the perspective of operation and maintenance, consider the automatic design of resource pools, as well as self-healing design and improvement, and provide constructive suggestions for the development of the business and scientific research capabilities.

Key words:basic resource pool;virtualization technologycentralized storage;distributed storage