散据库与信息管理 …Ⅱ＾ＴＡＢＡＳＥ＆ＩＮＦＯＲＭＡＴＩＯＮＭＡＮＡＧＥ………… ．………………………………一一．… …．．… …… 种自适应的柔性数据库优化方法研究 孙晓强 ，苏燕 ，郭春燕・，刘芳ｚ （１．Ｉ『＾尔滨铁路局哈尔滨铁路』 息技术所，哈尔滨１５００９０：ｌ ２．Ｉ 移动通信集团黑龙汀有 公ｒ小Ｉｋ务支撑系统部，哈尔滨１５００８０） 摘 要：提出了一种自适应系统资源繁忙程度进行欺据采集、柔性定制功能点，并且支持多套、跨平 台数据库管理的、可操作性强的、节肖支撑成本的数据库优化方法，实现了优化维护功能的动态调 配、数据库优化维护与生产环境分离的现实需求，节省了生产系统硬件资源与企业运营成本 关键词：数据库；自适应；柔性 ｌ概述 随着互联网快速发展及全球信息化的快速迈进．大 量企业级系统与Ｗｅｂ应川程序应运而生，而企业信息 资源已成为最为重要的财富与资源。嘘用程序处理的 海量数据需要被有效组织与管理，数据库Ｉ ｉ作为企业信 息的管理巾心，需要完成对应ＪＨ程序数据的提取、存储 等操作的有效处理，企业级数据库的稳定运行与高效响 应已成为业务运营保障的仃效支撑，采川良好的数据库 优化维护方法势在必行 哈尔滨铁路局客票系统的数据库优化方法与装置 前的技术斤案是：内部组 ：服务的进程配置：｝十１数据库 系统Ｉ Ｉ自身提供优化系统眦 方案，建立生产数据库同 时。配备既定的内部组件、服务进程。各组件进程随数 据库房动而加载，通过组件内部进程的监Ｉ听与采集完成 数据库优化指标的分析，缺点是大世服务进程需要与数 据库争刚系统资源，并 绑定数据库组件与特定服务进 程／ｊ１能实现数据库的集ｒ１ｉ优化管理 ． ２现有技术存在的问题 原仃的技术方案在实际应川巾主要存在以下几方 的问题： （１）资源耗费情况严重：ｌ大Ｊ部组件服务的进程配 会ｌＪＪ【１绒大量的管理服务来启动，数据库需要装载组什 和软什Ｔ 具包以及产品特定ｒ… 件．受管的数据库服 务器 要预装代理服务，不考虑系统资源繁忙程度进 行定ｌｆ１ｆ或实时采集，大世『大Ｊ部服务进程与系统争用资 源．造成数据库性能不稳定．影响ｊ 生产数据库作业的 执行效率． （２）系统架构臃肿、分析优化数据闲难：内部组件 服务的进程配置是需安装数据库产品特定的巾间件以及 组件包，系统架构较为臃肿，不易于数据库维护人员日 常优化维护提取相关分析数据 、 （３）实现方案不合理、缺乏灵活性：现行数据库优 化功能实现较为死板，尢法根据企业数据库的实际优化 需求灵活、动态调整优化分析的功能点． ．（４）缺少产品和部署统一管婵：目前引入新型企业 级数据库产品类型广泛，而现有优化维护方法多数只维 护单一产品类型的数据库，而现有企业现状是数据库维 护人员需要管理多套数据库产品和集巾化的优化维护， 单一产品类型的优化维护无法满足不同种类产品优化的 统一管理和灵活切换 ３新技术实现方案 结合系统现状，提出一种ｔ＇１适应系统资源絷 程度进 行数据采集、柔性定制功能点，支持多套、跨平台数据 管理的、可操作性强的、节省支撑成本的数据库优化方 法．实现了优化维护功能的动态捌配，达到数据库优化 维护与生产环境分离的现实要求， 省了乍产系统硬件 资源与企业运营成本，系统总体框架如图ｌ所示。 自适应的柔性数据库优化方法Ｆｆ１系统优化配置卡｛！ 块、Ｗｅｂ程序逻辑模块、功能点模块、任务调度逻辑 模块以及系统基础数据模块共５个模块组成，形成ｆｔｔ 优化功能配黄层、性能分析统一接Ｌ１层和优化指标采 集控制层组成的系统架构，如同ｌ所示。指标采集 制层．…任务调度逻辑模块统一指挥，完成了根据 产系统繁忙程度自适应捌度数据采集任务。基于繁 投票判定算法、自动调度指标采集的优先级箅法，¨ 作者简介：孙晓强（１９７６一）． ，本科，： 程师、 收稿日期：２０１７—０２—２４ 奠＿捆ｉ２醢ｌ０鹂１７．１蠹１ 、－６１ ‘‘‘ 。 ’。 。。。。。 。。 。 。’ ’‘ ‘‘。 。 。。 。’。‘ 。 ’ 实用第一 智慧密集 。．．．。 。 ．．．．．。． ．．．． ．．．．．． 。 ．．。 ．。 。＿…． ．． ．．＿．。． 。．．．－ 时实现了自动调度、预约执行、立即应答３种指标数 据采集模式。性能分析统一接口层，由Ｗｅｂ程序逻辑 管理功能点的统一定制，根据数据库每个优化功能点 所需的指标数据，从采集的数据指标中获取优化统计 一 ～度块～凇锨一绷 一～ ～一 蛐毙一张 ～瞅一麒一 结果推送给上一层优化功能点模块。定制功能点在本 层完成上传部署。弹性定制功能点配置层，由系统优 化配置模块组织数据库优化所关注的全部功能点．维 护人员可以根据既定权限定制关注的优化功能点．也 可以配置优化功能点。 图２指标采集控制的实现流程 ３．２ 自动调度指标采集的优先级算法 Ｉ模块配髓袭ｌ 优化功能点柔性配置屡 定义１：快照．ｓ是指在固定时间间隔 内所截取的 优化数据指标的采集增量。每个快照具有唯一标识的 ｓｎａｐ＿ｉｄ按照生成时间顺序自增１。 定义２：临时优先级设有（立即执行）临时任务集合 Ｍ＝｛ ，ｍ２，…，％｝，且到达时间为‘ ‘ …ｃ‘，此时临 时优先级为ＭＩ＞Ｍ２ … ，且若，，Ｉｆ＝∈ 则 匹 。 定义３：预约优先级设有预约任务集合 优化指标采集控制层 ｆｆｌ， …， ｔ ｝，且到达时间为ｅ１＜ｅ ＜…ｅ ，此时预约优先级为 ＜ 资源冉适应调度圈圈圈 ＜… 且 的任务进入临时任务 的队尾．且若ｔ ∈Ｔ 则ｔｆ隹Ｓ。 定义４：快照优先级设有快照集合Ｊｓ＝｛ｓｌ，ｓ ，… ｝， 且有快照唯一标识的ｓｎａｐ＿ｉｄ为ｓｉｄ， ｉｄ２＜… ｉｄａ。则有 图１ 自适应的数据库优化方法的系统架构图 ３．１指标采集控制层 快照优先级为Ｍ＜ ＜…＜ 。 自动调度优先级算法设指标采集任务集合 ＝ｆｋ ， ｋ２，…，ｋ ｝，且Ｋ的唯一标识ｓｎａｐ＿ｉｄ有ｋｉｄＪ＜后ｉｄ２＜…＜ ， 根据性能指标采集任务的紧迫程度柔性设定任务优 先级，实现了自动调度、预约执行、立即应答等３种采 集方式，根据维护不同需求与资源情况进行自适应调度 则快照优先级为 （Ⅳ２＜…＜ ，临时优先级Ｍ，＞ ＞…＞ ，预约优先级为 ＞ ＞…＞ 。 任务，本发明默认设置为自适应调度采集，对于维护人 员的临时任务，若采集未生成，则采取立即执行的方式 生成结果，预约采集任务则会根据用户最晚获取时间． 采取从预约生成时间开始到预约时间周期性判断系统资 源繁忙程度，寻找空闲时段，根据预约时间设定优先级 采集数据。 指标采集控制的实现流程，如图２所示，由 自动调度算法根据系统优化维护需求．考虑了重要 及任务时间安排分优先级处理，同时结合下文提出的繁 忙投票判定算法，根据系统资源繁忙程度，将数据采集 的任务进行分类优先级划分，满足了优化指标采集任务 的柔性定制与系统资源自适应任务调度。 数据库维护人员根据个限，定制优化分析的 功能点，若采集已经完成，根据查询项则可以展 示优化功能点，若未采集数据．则继续判断是 否为预约执行任务，若有预约，则根据时间进 入预约队列，若没有预约则判断为立即执行任 务，需要进行立即采集，同时完成数据落地。 图３作业调度动态优先级算法 与 ３－３ 系统资源的忙闲判定 输出： １．‘ｐ＝ ×已 ， × ＋ ２．ｉｆ Ｐｃ≥‘ｐ ｔｈｅｎ ＋＋；ｅｎｄ ｉｆ； 定义：忙闲影响因子ｌ９是指衡量数据库系统资源繁 忙程度的影响因子，包括ＣＰＵ的使用率ｃ，Ｉ／Ｏ使用率 内存使用率ｍ，即Ｉ９＝｛ｃ， ｍ｝。 每个影响因子权重可以根据企业不同的生产运行情 况调整，本方法默认为 ＝０．４， ＝０－３， ＝０．３，是基 于客票系统数据库维护经验，通常影响数据库繁忙程度 ３．ｉｆ Ｐ，≥（Ｐ ｔｈｅｎ ＋；ｅｎｄ ｉｆ； ４．ｉｆ ≥‘ｐ ｔｈｅｎ Ｖ ＋＋；ｅｎｄ ｉｆ； ５．ｉｆ（（Ｖ ＋ Ｒ＝ｔｒｕｅ；ｅｎｄ ｉ；ｆ ６．ｒｅｔｕｒｎ ： ）≥２）ｔｈｅｎ 的影响因素中ＣＰＵ占权重相对最大．例如Ｉ／Ｏ很忙． ＣＰＵ由于忙于调度任务必然会很忙，ＣＰＵ忙碌时．Ｉ／Ｏ 存在相对空闲的可能。由于数据库内存划分是一次性分 配，用户连接（ＬＯＣＡＬ＝ＮＯ）进程／线程占用的浮动空 间相对较小。 上文计算得出ｑ￣＝８５．９％，设有系统当前状态ＣＰＵ 使用率 ＝８９％，磁盘使用率 ８５％，内存使用率Ｐｍ＝ ８６％，则Ｐ，≤‘Ｐ且Ｄｃ≥‘ｐ且 ≥‘Ｐ，产生两票繁忙的投 票结果，即当前系统资源繁忙，暂不适合数据采集，此 后每隔时问．ｒ（秒）会再次触发此判断，直至有资源不 再繁忙完成采集任务。通过该算法判定数据库系统资源 使用情况进行动态的自适应采集，优选时段和资源系统 资源空闲时段收集性能指标数据．避免与生产系统产生 资源争用，且保证资源利用的最大化。 ３．５柔性的性能分析统一接口与功能点配置层 本地化部署采集数据的原子ｓｈｅｌｌ脚本．全面覆盖 数据库优化分析的各类功能点，本发明采用了基于不同 数据库产品做统一接口封装，该功能点分类方法适用于 不同产品、不同版本做统一的数据库性能维护管理。分 为５类接口包含硬件性能指标、数据库系统参数配置、 定义：影响因子配置常量，ｃ。是指根据企业生产系 统运行状态，为忙闲影响因子．９配置的单因子使用率． Ｃ ， ， 分别为ＣＰＵ、Ｉ／Ｏ、内存使用率的影响因子 配置常量。 客票系统对单因子使用率的告警设定值分别为 ＝ ９５％， ＝９８％， ＝９５％，由于这是系统已经严重繁忙 的临界值，为生产系统预留一定空间，将采用，ｃ一１０％作 为本发明默认的影响因子配置常量，Ｃ￣８５％， ８８％， Ｍ￣８５％。这里．允许企业根据生产系统实际情况设定 影响因子配置常量。 定义：繁闲阈值‘ｐ指系统繁忙的临界状态，衡量 系统资源使用率的综合指标。根据忙闲影响因子 与影 响因子配置常量Ｋ可以计算出： ＝ＳＱＬ统计信息、数据空间以及数据库后台日志，涵盖了 数据库系统设计参数的优化、ＳＱＬ程序优化、数据库系 统内存优化、数据库系统Ｉ／Ｏ争用优化以及主机操作系 统优化。数据库性能指标包含４类接口与一个后台日志 分析接口，其中后台日志分析是解析ＡＬＥＲＴＳＩＤ．ＬＯＧ， 进行性能指标分类，各优化指标均通过ｓｈｅｌｌ脚本实现 原子接口部署。具体分类如下： （１）系统级性能指标接口。 （２）数据库系统参数配置接口。 Ｕ＾ｘＵ ＵｚｘＦ￣＋Ｕ Ｍ 采取繁忙投票判定方法，根据系统指标实际投票结 果Ｒ有得票情况为２：１或３：０时，则判定为系统资源繁 忙．根据作业自动调度优先级算法。此时不执行数据采 集．否则认为系统有空闲资源执行指标采集任务。 这里，忙闲影响因子ｔ９与影响因子配置常量，ｃ均取 默认值。则有： ‘Ｄ＝８５％ ０．４＋８８％ ０．３＋８５％ ０。３＝８５．９％ （３）ＳＱＬ统计信息收集接口。 （４）数据空间分布接口。 为３ ３．４系统繁忙投票判定算法 输入： ＝０．４， ＝０＿３， ：０．３， ， ， 根据上述分类，每个类别的数据库性能指标可以延 伸，例如在ＳＱＬ统计信息中捕获ＲＥＤＯ ＳＩＺＥ（每秒） 指标变化情况．可以用来估量ｕｐｄａｔｅ、ｉｎｓｅｒｔ、ｄｅｌｅｔｅ的 频率，大的ＲＥＤＯ ＳＩＺＥ可能是由于ＬＧＷＲ后台进程写 个影响因子配置常量，繁忙阈值‘Ｐ。Ｖ 为ＣＰＵ繁忙票 数，ｌ，，为Ｉ，０繁忙票数， 为内存繁忙投票， 为投票 结果。设每隔时间ｒ（秒），生产作业的ＣＰＵ使用率为 Ｐｃ，Ｉ／Ｏ使用率为Ｐ，，内存使用率为 ； 初始化： ＝０， ，＝０，Ｖｍ＝０，尺＝ｆａｌｓｅ； 日志或归档造成了Ｉ／Ｏ压力。每个类别包含的具体指标 均可从数据库系统基表和视图中获取。本发明会将所有 ‘。。。。。 ‘ ‘ 。 。 。 ‘ 。 ’。。 。’。。 ‘ 。。 ’。。。 。。。 。。 ‘ ’。 。 ‘ 实用第一 智慧密集 ．．．．．。 。。．．…． ．．．，…． ．…．…。……．．…。…．。…。．．．。…．． 视图和基表根据系统繁忙程度自适应采集所有指标数 据。保证数据分析来源一次收集后与生产系统分离，生 边界清晰。访问定制模块可以完成批量操作，访问和修 改权限内的优化分析功能点，导出有效分析数据备份。 后台权限分配模块由超级用户角色完成所有用户功能点 访问与配置权限的分配。由功能点配置模块提供数据库 优化所关注的全部功能点，由超级用户角色管理普通用 户访问优化模块、功能点的权限，可执行新功能点增 成统一访问接口实现本地优化分析．而生产数据系统资 源与优化分析资源的分离，减轻了生产系统由大量优化 数据的分析造成的压力，同时根据资源状态自适应调 度。实现资源利用最大化。 ３．６优化功能点配置层 扣 加、部署、删除以及隐藏与恢复。 ４结语 一种自动调度指标采集的优先级算法与系统繁忙投 票判定算法，通过忙闲阈值的计算判定系统资源繁忙 舾舾 程度，将数据采集的任务进行分类与优先级划分，满 足了优化指标采集任务的多重柔性定制以及系统资源 自适应调度，性能接口统一管理，实现跨产品与版本 的指标一次增量采集。多次使用，实现优化指标采集 与数据库资源分离。部署与生产系统分离释放了生产 图４优化功能点柔性配置层结构 系统资源，减轻了数据库系统压力。 优化功能点配置层的结构如图４所示．优化端数据 库生成功能配置表、用户功能权限表、用户功能配置 表，即每个用户根据系统访问权限进行优化功能点柔性 配置，满足维护需求多样性，让繁冗复杂的优化功能点 — —参考文献 ［１】徐慧．数据库技术与应用［Ｍ】．北京：北京理工大 学出版社．２０１０． ［２】肖梅．浅谈数据库性能的优化【Ｍ】．２０１０． ．址・址・５ｌＬ—５止— ．址．５止—址— — —喜ｌ上．址 —址龇．５止．喜屯． 屯 ． ． ＳＩＬ．５ＩＬ ．ＳｌＬ．Ｓ ． ．．址．；止．Ｓ止．Ｓｌ上．Ｓ也．Ｓｌ上． ．Ｓ止．Ｓ止．址．＾止．址．址．址 （上接第２４页） 就变成了ａ＝９，８，７，６；所以ａ＝６，ｉ＝９。 ｉｎｔｉ＝５，ａ； ａ＝ｉ＋＋，ｉ＋＋，ｉ＋＋，ｉ＋＋； 码，但是，不同的语句环境，自增（减）运算符执行的 顺序也是相当复杂的，不可能将所有的情况都能分析 到，所以，在编程过程中，为了减少没有必要的逻辑错 误，还是多使用“（）”为好。对于初学者而言，还是少 用为妙。 运算的顺序也先执行最后一个表达式ｉ＋＋，表达 式的值为５，ｉ再自加１等于６，再执行倒数第二个表 达式，这时表达式的值为６，ｉ自加１等于７，……。 最后逗号表达式就变成了ａ＝８，７，６，５；所以ａ＝５， ｉ＝９。 参考文献 ［１】谭浩强．Ｃ程序设计．北京：清华大学出版社， ２０１０． ［２】康莉，李宽．零基础学Ｃ语言．北京：机械工业出 版社，２００９． 在一些其他语句出现和逗号表达式一样的形式。例 如在函数的参数传递的时候，可以参照逗号表达运算规 律进行分析。 ［３］徐志伟，陈曦，王永静．ｃ语言从初学到精通．北 京：电子工业出版社．２０１０． 自增（减）运算符在编程的时候，可以大大缩减代 》 与
