高性能存储技术在云应用平台中的研究及应用

(整期优先)网络出版时间:2024-03-07
/ 2

高性能存储技术在云应用平台中的研究及应用

张振京、李盛龙、陈志军

中国铁路设计集团有限公司信息化院、天津、300251

摘要在勘察设计领域,随着企业业务的不断发展以及信息化水平的不断提升,云平台成为了企业重要的生产工具。然而,随着云平台应用逐步深入,云应用软件对于存储性能的要求越来越高,软件的运行速度往往受到云存储性能限制。

基于以上需求分析,本文提出云平台高性能存储架构,通过Ceph缓存优化、Redis分布式缓存优化、用户高速存储区优化等手段大幅提升云平台虚拟主机运行效率、云应用运行效率以及用户数据处理效率。

关键词:高性能存储云平台;CephRedis

.引言

当前云计算技术已在勘察设计企业中广泛研究与应用,服务企业高质量发展的成效逐步显现,有效解决了设计软件和数据上云的难题,已成为企业中重要的基础设施,随着云平台应用逐步深入,对于模拟仿真、结构计算、CAD地形图处理等高性能计算场景,云平台无法高效应对。通过对设计软件进行性能监控分析,该类场景往往需要高性能存储作为支撑,实现计算过程的快速数据交互。

基于以上需求分析,目前亟需运用高性能存储架构技术,支撑设计部门对高性能计算场景的需求,提升模拟仿真、结构计算等设计软件的执行效率。本文聚焦研究高性能存储技术,提供一套云计算平台高性能存储解决方案,提升PKPM、盈建科等计算类软件的启动速度和计算效率,提升CAD软件的地形图存取速度和操作流畅性。

.云平台高性能存储关键技术

2.1云平台高性能存储架构

本文创新性地将高性能存储技术应用于企业云应用平台中,从底层基础设施到上层云应用对应用软件的使用体验进行了全面提升,并提供用户统一的应用访问门户。

下图展示了云平台高性能存储架构,包括高性能基础设施、云应用管理中心及云应用三层架构。其中高性能基础设施层部署了高性能计算服务器,为上层应用提供物理资源环境,在服务器中部署高速磁盘并通过JBOD直通方式挂载,提升底层数据访问的I/O性能,通过部署Ceph分布式存储将磁盘整合为统一存储池,通过云硬盘的形式创建虚拟机与数据盘。云应用管理中心为应用调度提供服务,在云应用管理中心部署了基于Redis的统一全局缓存,为用户提供快速应用调度体验。云应用层负责发布应用软件,如Midas、PKPM等计算类软件,在云应用层部署高速存储区,用户可以将计算数据保存至高速存储区,有效提升应用软件计算过程中数据存取效率。

图1 云平台高性能存储架构

2.2 Redis高可用缓存技术

云应用管理中心提供了应用发布、资源管理、日志监控、用户权限控制、负载均衡等功能。本文将Redis缓存技术应用于云应用管理中心,负责存储系统配置信息、用户调度信息、主机在线信息等,提升用户调度过程中底层数据库调用效率。

本文Redis分布式缓存配置三节点Redis集群,包括一个主节点两个从节点,从节点仅提供读操作,主节点提供读写操作,当主节点有数据写入时,主节点向其他从节点复制数据。三个节点均部署哨兵监听主节点的存活状态,如果主节点宕机或者Redis进程退出,从节点继续提供缓存读写功能。主从配置结合哨兵模式解决单点故障问题,提高Redis可用性及响应效率。本文使用pgrep redis-server命令检测Redis进程是否存在,如果不存在则使用systemctl stop keepalived命令停止Keepalived服务,从而实现Redis集群虚拟IP的切换。

2.3 高速存储区技术

为解决在虚拟机中映射用户高速存储盘的问题,本文通过JBOD技术将高速SSD设备挂载至计算服务器中,通过Ceph OSD形式为上层虚拟化环境提供分布式存储。虚拟机系统盘与高速存储盘通过云硬盘的模式创建,为虚拟机运行软件与用户数据提供高速I/O性能。

通过组策略统一在用户登录时为用户在铁设云盘创建高速存储区快捷方式,并在虚拟机数据盘自动创建带有用户权限的文件夹,用户通过高性能存储工具将铁设云盘的数据拷贝至高性能存储区,并在软件中载入高性能存储区数据进行计算。当用户注销时,自动将高速存储区的数据备份至铁设云盘中,并清理虚拟机数据盘中的用户数据。

本文研发了高速存储工具,为计算类软件提供快速I/O访问。下图展示了高性能存储工具界面,以Midas为例,当用户启动高性能Midas软件时默认打开高速存储工具,左侧为用户云盘,右侧为高速存储区,用户可以手动将数据文件拷贝至高速存储区中进行计算,提升软件运行效率。

图2 高速存储工具

.实验验证

首先使用广联达GCCP6.0软件进行报表导出操作,使用AutoCAD2018软件进行图纸读取操作,使用压缩软件对文件进行压缩操作,对比不同测试场景下的文件读写速度,从测试结果看,由于对底层Ceph及高速存储区进行了优化,各类测试场景中优化后的性能均有较大提升,最高实现了80%的文件操作速度提升。

接下来选取盈建科结构计算软件4.0、Midas Civil、PKPM结构计算V5.0软件进行模型计算测试,对比不同测试场景下的软件计算速度,从测试结果看,优化后软件计算速度明显提升,主要由于高速存储区技术优化了软件计算过程中小文件读写性能,从而提升了整体软件的计算效率,最高实现了86%的计算速度提升。

              图3 软件计算效率测试

.总结

本文创新性地将高性能存储技术应用在云应用平台中,提出了云平台高性能存储架构,实现了Redis分布式缓存技术,研发了高速存储工具并实现了高速存储区自动挂载,通过对结构计算、工经概算等场景进行测试,提升了云应用软件运行效率,优化了用户使用体验。

参考文献:

[1] 梁浩,周娟,王辉华,陈龙. 基于云计算的分布式存储系统文件传输优化[J]. 自动化技术与应用. 2023(5)

[2] 屠要峰,韩银俊,金浩,陈正华,陈兵. UStore:面向新型硬件的统一存储系统[J]. 计算机研究与发展. 2023(3)

[3] 廖晓坚,杨者,杨洪章,屠要峰,舒继武. 低CPU开销的低延迟存储引擎[J]. 计算机研究与发展. 2022(3)

[4] 刘世超,杨斌,刘卫国. 高性能高可用Redis客户端的设计与实现[J]. 电子技术应用. 2022(1)