实现数据可视化及数据整合ETL的解决方法及系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112765254 A(43)申请公布日 2021.05.07

(21)申请号 202110374939.4(22)申请日 2021.04.08

(71)申请人 北京三维天地科技股份有限公司

地址 100000 北京市海淀区彩和坊路11号

601(72)发明人 金震　张京日　徐伟　(74)专利代理机构 北京冠和权律师事务所

11399

代理人 田春龙(51)Int.Cl.

G06F 16/25(2019.01)G06F 16/26(2019.01)

权利要求书3页 说明书9页 附图5页

(54)发明名称

实现数据可视化及数据整合ETL的解决方法及系统(57)摘要

本发明公开了一种实现数据可视化及数据整合ETL的解决方法及系统，其方法包括：获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建数据连接，确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待分析业务数据进行ETL处理，获得处理后的待分析业务数据，将所述数据连接中的待分析业务数据替换为处理后的待分析业务数据，根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘制基于处理后的待分析业务数据的数据报告，将所述数据报告进行分享并且发布到驾驶舱中。使得最终的数据报告更加多样化和精确，企业领导和员工可以根据最终的数据报告快速直观地进行决策工作，提高了其使用体验感。

CN 112765254 ACN 112765254 A

权　利　要　求　书

1/3页

1.一种实现数据可视化及数据整合ETL的解决方法，其特征在于，包括以下步骤：获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建数据连接；确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待分析业务数据进行ETL处理，获得处理后的待分析业务数据；

将所述数据连接中的待分析业务数据替换为处理后的待分析业务数据；根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘制基于处理后的待分析业务数据的数据报告；

将所述数据报告进行分享并且发布到驾驶舱中。

2.根据权利要求1所述实现数据可视化及数据整合ETL的解决方法，其特征在于，所述获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建数据连接，包括：

接收所述目标用户上传的待分析业务数据，对所述待分析业务数据进行预处理，获得预处理后的待分析业务数据；

确定所述预处理后的待分析业务数据的数据类型；

根据所述数据类型进行数据库表匹配获得数据类型对应的匹配数据库表，构建与所述匹配数据库表之间的数据连接。

3.根据权利要求1所述实现数据可视化及数据整合ETL的解决方法，其特征在于，所述确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待分析业务数据进行ETL处理，获得处理后的待分析业务数据，包括：

向所述目标用户所在终端发出是否需要进行整合处理的请求，接收所述终端发出的反馈指令；

当所述反馈指令为确认需要进行整合处理时，向所述终端展示ETL处理的多个组件，获取目标用户选择的目标组件；

基于所述目标组件选择合适的目标数据连接，将所述待分析业务数据以特定格式输入到所述目标数据连接中进行ETL处理，获得处理后的待分析业务数据；

将所述处理后的待分析业务数据以所述特定格式输出。

4.根据权利要求3所述实现数据可视化及数据整合ETL的解决方法，其特征在于，所述多个组件包括：集合组件、聚合组件、表达式组件、连接组件、过滤组件、排序组件和脱敏组件；

所述特定格式包括：表格式和Excel格式。

5.根据权利要求1所述实现数据可视化及数据整合ETL的解决方法，其特征在于，所述根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘制基于处理后的待分析业务数据的数据报告，包括：

导入所述数据连接中的处理后的待分析业务数据，对所述处理后的待分析业务数据进行检测，获得检测信息；

获取所述检测信息中的属性因子，将所述属性因子映射到预先设定的初始数据模型中以获得基于所述处理后的待分析业务数据对应的目标数据分析模型；

利用所述目标数据分析模型对所述处理后的待分析业务数据进行数据分析，获取分析结果；

创建报告中心，在所述报告中心中根据所述分析结果绘制基于处理后的待分析业务数

2

CN 112765254 A

权　利　要　求　书

2/3页

据的数据报告。

6.根据权利要求1所述实现数据可视化及数据整合ETL的解决方法，其特征在于，所述将所述数据报告进行分享并且发布到驾驶舱中，包括：

生成所述数据报告的专属分享链接，设置所述专属分享链接的访问权限为任何人；将所述专属分享链接传输至目标用户所在终端；与所述驾驶舱实现通信连接，连接完毕后将所述数据报告导入到所述驾驶舱中；导入完毕后，检测导入的数据报告的完整性，当所述完整性为100%时，无需进行后续操作，当所述完整性补位100%时，重新向所述驾驶舱导入数据报告以替换前一次导入的数据报告。

7.根据权利要求1所述实现数据可视化及数据整合ETL的解决方法，其特征在于，所述方法还包括：

将所述数据报告另存为备用模板存储到模板库中；为所述模板库进行加密，获取加密密钥，将所述加密密钥转发至具有调用模板权限的用户的手机终端。

8.根据权利要求5所述实现数据可视化及数据整合ETL的解决方法，其特征在于，所述导入所述数据连接中的处理后的待分析业务数据，对所述处理后的待分析业务数据进行检测，获得检测信息，包括：

解析所述处理后的待分析业务数据，获得其包含的目标属性信息；计算所述目标属性信息与预设属性信息的当前匹配度；筛选出当前匹配度大于等于预设匹配度的第一属性子信息；

对当前匹配度小于所述预设匹配度的第二属性子信息进行异常信息判定，获取所述第二属性子信息对应的异常信息序列；

生成特定检测信号，对所述特定检测信号进行解析获得其检测特征信息；根据所述检测特征信息生成第一特征信息链表，对所述特征信息链表中属性相同的检测特征信息进行合并，获得第二特征信息链表；

根据所述第二特征信息链表生成测试数据包；

向所述异常信息序列对应的异常属性子信息发出所述测试数据包，获得所述异常属性子信息反馈的响应信息；

根据所述响应信息确定对于所述处理后的待分析业务数据的目标检测条件；获取所述目标检测条件的目标检测参数，将当前检测参数替换为所述目标检测参数；利用所述目标检测条件对所述处理后的待分析业务数据进行检测，获得所述检测信息。

9.根据权利要求1所述实现数据可视化及数据整合ETL的解决方法，其特征在于，在将所述待分析业务数据进行ETL处理之前，所述方法还包括：

检测将要对所述待分析业务数据进行ERL处理的服务器的CPU使用率和内存使用率；获取所述服务器的多个工作节点，在所述多个工作节点中确定ERL处理需要用到的目标工作节点；

确定每个目标工作节点的当前工作任务；

根据每个目标工作节点的当前工作任务和服务器的CPU使用率和内存使用率计算出所

3

CN 112765254 A

权　利　要　求　书

3/3页

述服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指数：

其中，k表示为服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指数，A表示为服务器的CPU使用率，B表示为服务器的内存使用率，表示为服务器的当前服务率， 表示为目标工作节点数量，表示为第i个目标工作节点的当前工作任务对应的当前使用数据量，

表示为第i个目标工作节点的最大分配数据量，

表示为第i个目标工作节

点在工作稳定性最高时的期望使用数据量，表示为第i个目标工作节点的性能指数；根据所述服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指数计算出以当前负载均衡指数对待分析业务数据进行ETL处理的目标时长：

其中，表示为以当前负载均衡指数对待分析业务数据进行ETL处理的目标时长，表示为预设期望时长，表示为第i个目标工作节点对待分析业务数据进行ETL处理时分配的目标数据量，表示为第i个目标工作节点的当前剩余数据量，表示为服务器在负载均衡指数下第i个目标工作节点的工作效率；

确认所述目标时长是否大于等于预设限定时长，若是，对所述服务器进行工作节点任务进程优化以目标工作节点的使用数据量，否则，无需进行后续操作；

在对所述服务器进行优化后，利用所述服务器将所述待分析业务数据进行ETL处理。10.一种实现数据可视化及数据整合ETL的解决系统，其特征在于，该系统包括：创建模块，用于获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建数据连接；

处理模块，用于确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待分析业务数据进行ETL处理，获得处理后的待分析业务数据；

替换模块，用于将所述数据连接中的待分析业务数据替换为处理后的待分析业务数据；

绘制模块，用于根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘制基于处理后的待分析业务数据的数据报告；

发布模块，用于将所述数据报告进行分享并且发布到驾驶舱中。

4

CN 112765254 A

说　明　书

实现数据可视化及数据整合ETL的解决方法及系统

1/9页

技术领域

[0001]本发明涉及数据分析技术领域，尤其涉及一种实现数据可视化及数据整合ETL的解决方法及系统。

背景技术

[0002]目前，许多企业在决策时仍沿用以往的个人经验，没有用数据说话，这在实际决策运行时会出现很多问题。在数据分析行业发展成熟的国家，90%的市场决策和经营决策都是通过数据分析研究确定的。用数据说话，重视定量分析，也逐渐成为科学研究、企业经营、决策等过程着重考虑的问题。越来越多的人们意识到数据分析对经济发展的重要意义。[0003]数据分析工作有利于数据资料的深度开发利用，进行数据分析的目的都是为了可以给企业带来更多的商业价值以及帮助企业规避或者减少风险带来的损失，提高数据质量，为企业解决问题。现有技术的数据分析方法为利用已有的数据进行关联建模然后绘制出数据报告以供工作人员进行参考，但是这种方法存在以下缺点：对于数量庞大以及复杂的待分析数据只能做简单的关联处理，无法对待分析数据进行更深层次的处理从而导致最终生成的数据报告过于简单没有参考性，严重地影响了工作人员的体验感。发明内容

[0004]针对上述所显示出来的问题，本发明提供了一种实现数据可视化及数据整合ETL的解决方法及系统用以解决背景技术中提到的对于数量庞大以及复杂的待分析数据只能做简单的关联处理，无法对待分析数据进行更深层次的处理从而导致最终生成的数据报告过于简单没有参考性，严重地影响了工作人员的体验感的问题。[0005]一种实现数据可视化及数据整合ETL的解决方法，包括以下步骤：

获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建数据连接；确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待分析业务数

据进行ETL处理，获得处理后的待分析业务数据；

将所述数据连接中的待分析业务数据替换为处理后的待分析业务数据；根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘制基于处理

后的待分析业务数据的数据报告；

将所述数据报告进行分享并且发布到驾驶舱中。

[0006]优选的，所述获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建数据连接，包括：

接收所述目标用户上传的待分析业务数据，对所述待分析业务数据进行预处理，

获得预处理后的待分析业务数据；

确定所述预处理后的待分析业务数据的数据类型；

根据所述数据类型进行数据库表匹配获得数据类型对应的匹配数据库表，构建与

所述匹配数据库表之间的数据连接。

5

CN 112765254 A[0007]

说　明　书

2/9页

优选的，所述确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待

分析业务数据进行ETL处理，获得处理后的待分析业务数据，包括：

向所述目标用户所在终端发出是否需要进行整合处理的请求，接收所述终端发出

的反馈指令；

当所述反馈指令为确认需要进行整合处理时，向所述终端展示ETL处理的多个组

件，获取目标用户选择的目标组件；

基于所述目标组件选择合适的目标数据连接，将所述待分析业务数据以特定格式

输入到所述目标数据连接中进行ETL处理，获得处理后的待分析业务数据；

将所述处理后的待分析业务数据以所述特定格式输出。

[0008]优选的，所述多个组件包括：集合组件、聚合组件、表达式组件、连接组件、过滤组件、排序组件和脱敏组件；

所述特定格式包括：表格式和Excel格式。

[0009]优选的，所述根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘制基于处理后的待分析业务数据的数据报告，包括：

导入所述数据连接中的处理后的待分析业务数据，对所述处理后的待分析业务数

据进行检测，获得检测信息；

获取所述检测信息中的属性因子，将所述属性因子映射到预先设定的初始数据模

型中以获得基于所述处理后的待分析业务数据对应的目标数据分析模型；

利用所述目标数据分析模型对所述处理后的待分析业务数据进行数据分析，获取

分析结果；

创建报告中心，在所述报告中心中根据所述分析结果绘制基于处理后的待分析业

务数据的数据报告。[0010]优选的，所述将所述数据报告进行分享并且发布到驾驶舱中，包括：

生成所述数据报告的专属分享链接，设置所述专属分享链接的访问权限为任何

人；

将所述专属分享链接传输至目标用户所在终端；与所述驾驶舱实现通信连接，连接完毕后将所述数据报告导入到所述驾驶舱中；导入完毕后，检测导入的数据报告的完整性，当所述完整性为100%时，无需进行后

续操作，当所述完整性补位100%时，重新向所述驾驶舱导入数据报告以替换前一次导入的数据报告。

[0011]优选的，所述方法还包括：

将所述数据报告另存为备用模板存储到模板库中；为所述模板库进行加密，获取加密密钥，将所述加密密钥转发至具有调用模板权

限的用户的手机终端。[0012]优选的，所述导入所述数据连接中的处理后的待分析业务数据，对所述处理后的待分析业务数据进行检测，获得检测信息，包括：

解析所述处理后的待分析业务数据，获得其包含的目标属性信息；计算所述目标属性信息与预设属性信息的当前匹配度；筛选出当前匹配度大于等

于预设匹配度的第一属性子信息；

6

CN 112765254 A

说　明　书

3/9页

对当前匹配度小于所述预设匹配度的第二属性子信息进行异常信息判定，获取所

述第二属性子信息对应的异常信息序列；

生成特定检测信号，对所述特定检测信号进行解析获得其检测特征信息；根据所述检测特征信息生成第一特征信息链表，对所述特征信息链表中属性相同

的检测特征信息进行合并，获得第二特征信息链表；

根据所述第二特征信息链表生成测试数据包；

向所述异常信息序列对应的异常属性子信息发出所述测试数据包，获得所述异常

属性子信息反馈的响应信息；

根据所述响应信息确定对于所述处理后的待分析业务数据的目标检测条件；获取所述目标检测条件的目标检测参数，将当前检测参数替换为所述目标检测参

数；

利用所述目标检测条件对所述处理后的待分析业务数据进行检测，获得所述检测

信息。

[0013]优选的，在将所述待分析业务数据进行ETL处理之前，所述方法还包括：

检测将要对所述待分析业务数据进行ERL处理的服务器的CPU使用率和内存使用

率；

获取所述服务器的多个工作节点，在所述多个工作节点中确定ERL处理需要用到

的目标工作节点；

确定每个目标工作节点的当前工作任务；

根据每个目标工作节点的当前工作任务和服务器的CPU使用率和内存使用率计算

出所述服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指数：

其中，k表示为服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指

数，A表示为服务器的CPU使用率，B表示为服务器的内存使用率，表示为服务器的当前服务率，表示为目标工作节点数量，表示为第i个目标工作节点的当前工作任务对应的当前使用数据量，表示为第i个目标工作节点的最大分配数据量，表示为第i个目标工作节点在工作稳定性最高时的期望使用数据量，表示为第i个目标工作节点的性能指数；根据所述服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指数计算

出以当前负载均衡指数对待分析业务数据进行ETL处理的目标时长：

其中，表示为以当前负载均衡指数对待分析业务数据进行ETL处理的目标时长，表示为预设期望时长，表示为第i个目标工作节点对待分析业务数据进行ETL处理时

7

CN 112765254 A

说　明　书

4/9页

分配的目标数据量，表示为第i个目标工作节点的当前剩余数据量，表示为服务器在负载均衡指数下第i个目标工作节点的工作效率；

确认所述目标时长是否大于等于预设限定时长，若是，对所述服务器进行工作节

点任务进程优化以目标工作节点的使用数据量，否则，无需进行后续操作；

在对所述服务器进行优化后，利用所述服务器将所述待分析业务数据进行ETL处

理。

[0014]一种实现数据可视化及数据整合ETL的解决系统，该系统包括：

创建模块，用于获取目标用户上传的待分析业务数据，根据所述待分析业务数据

创建数据连接；

处理模块，用于确认是否需要对所述待分析业务数据进行整合处理，若是，将所述

待分析业务数据进行ETL处理，获得处理后的待分析业务数据；

替换模块，用于将所述数据连接中的待分析业务数据替换为处理后的待分析业务

数据；

绘制模块，用于根据所述数据连接创建数据分析模型，利用创建好的数据分析模

型绘制基于处理后的待分析业务数据的数据报告；

发布模块，用于将所述数据报告进行分享并且发布到驾驶舱中。

[0015]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。[0016]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。附图说明

[0017]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的。

[0018]图1为本发明所提供的一种实现数据可视化及数据整合ETL的解决方法的工作流程图；

图2为本发明所提供的一种实现数据可视化及数据整合ETL的解决方法的另一工

作流程图；

图3为本发明所提供的一种实现数据可视化及数据整合ETL的解决方法的又一工

作流程图；

图4为本发明所提供的用于本发明的实现数据可视化及数据整合ETL的解决方法

的实施例工作流程截图；

图5为本发明所提供的一种实现数据可视化及数据整合ETL的解决系统的结构示

意图。

具体实施方式

[0019]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附

8

CN 112765254 A

说　明　书

5/9页

权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。[0020]目前，许多企业在决策时仍沿用以往的个人经验，没有用数据说话，这在实际决策运行时会出现很多问题。在数据分析行业发展成熟的国家，90%的市场决策和经营决策都是通过数据分析研究确定的。用数据说话，重视定量分析，也逐渐成为科学研究、企业经营、决策等过程着重考虑的问题。越来越多的人们意识到数据分析对经济发展的重要意义。[0021]数据分析工作有利于数据资料的深度开发利用，进行数据分析的目的都是为了可以给企业带来更多的商业价值以及帮助企业规避或者减少风险带来的损失，提高数据质量，为企业解决问题。现有技术的数据分析方法为利用已有的数据进行关联建模然后绘制出数据报告以供工作人员进行参考，但是这种方法存在以下缺点：对于数量庞大以及复杂的待分析数据只能做简单的关联处理，无法对待分析数据进行更深层次的处理从而导致最终生成的数据报告过于简单没有参考性，严重地影响了工作人员的体验感。为了解决上述问题，本实施例公开了一种实现数据可视化及数据整合ETL的解决方法。[0022]一种实现数据可视化及数据整合ETL的解决方法，如图1所示，包括以下步骤：

步骤S101、获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建

数据连接；

步骤S102、确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待分

析业务数据进行ETL处理，获得处理后的待分析业务数据；

步骤S103、将所述数据连接中的待分析业务数据替换为处理后的待分析业务数

据；

步骤S104、根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘

制基于处理后的待分析业务数据的数据报告；

步骤S105、将所述数据报告进行分享并且发布到驾驶舱中。

[0023]上述技术方案的工作原理为：获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建数据连接，确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待分析业务数据进行ETL处理，获得处理后的待分析业务数据，将所述数据连接中的待分析业务数据替换为处理后的待分析业务数据，根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘制基于处理后的待分析业务数据的数据报告，将所述数据报告进行分享并且发布到驾驶舱中。

[0024]上述技术方案的有益效果为：通过对待分析业务数据进行ETL处理可以创建数据整合ETL过程，对非常复杂的业务数据进行加工处理，为数据建模提供了更加复杂的数据形式，而且ETL的输出结果仍然可以再次被拿来作为ETL过程的输入，可以根据业务需要反复加工处理，使得最终的数据报告更加多样化和精确，工作人员可以根据最终的数据报告快速直观地进行决策工作，提高了其使用体验感。解决了现有技术中对于数量庞大以及复杂的待分析数据只能做简单的关联处理，无法对待分析数据进行更深层次的处理从而导致最终生成的数据报告过于简单没有参考性，严重地影响了工作人员的体验感的问题。[0025]在一个实施例中，所述获取目标用户上传的待分析业务数据，根据所述待分析业务数据创建数据连接，包括：

接收所述目标用户上传的待分析业务数据，对所述待分析业务数据进行预处理，

获得预处理后的待分析业务数据；

9

CN 112765254 A

说　明　书

6/9页

确定所述预处理后的待分析业务数据的数据类型；

根据所述数据类型进行数据库表匹配获得数据类型对应的匹配数据库表，构建与

所述匹配数据库表之间的数据连接。[0026]上述技术方案的有益效果为：通过确定待分析业务数据的数据类型可以快速地进行关于该数据类型的数据库表匹配工作，提高了工作效率，进一步地，通过构建与匹配数据库表之间的数据连接可以调取匹配数据库表之中的数据进行数据分析，提供了分析样本以及分析准确度，保证了最终数据结果的准确性。[0027]在一个实施例中，如图2所示，所述确认是否需要对所述待分析业务数据进行整合处理，若是，将所述待分析业务数据进行ETL处理，获得处理后的待分析业务数据，包括：

步骤S201、向所述目标用户所在终端发出是否需要进行整合处理的请求，接收所

述终端发出的反馈指令；

步骤S202、当所述反馈指令为确认需要进行整合处理时，向所述终端展示ETL处理

的多个组件，获取目标用户选择的目标组件；

步骤S203、基于所述目标组件选择合适的目标数据连接，将所述待分析业务数据

以特定格式输入到所述目标数据连接中进行ETL处理，获得处理后的待分析业务数据；

步骤S204、将所述处理后的待分析业务数据以所述特定格式输出。

[0028]上述技术方案的有益效果为：通过利用目标用户选择的目标组件进行ETL处理可以使得用户根据自身的需要选择不同的处理组件，提高了实用性，进一步地，使得后续数据分析建模与数据整合ETL无缝转化，而且对于非常复杂的数据加工处理，也可以采用数据整合ETL过程轻松解决。

[0029]在一个实施例中，所述多个组件包括：集合组件、聚合组件、表达式组件、连接组件、过滤组件、排序组件和脱敏组件；

所述特定格式包括：表格式和Excel格式。

[0030]在一个实施例中，如图3所示，所述根据所述数据连接创建数据分析模型，利用创建好的数据分析模型绘制基于处理后的待分析业务数据的数据报告，包括：

步骤S301、导入所述数据连接中的处理后的待分析业务数据，对所述处理后的待

分析业务数据进行检测，获得检测信息；

步骤S302、获取所述检测信息中的属性因子，将所述属性因子映射到预先设定的

初始数据模型中以获得基于所述处理后的待分析业务数据对应的目标数据分析模型；

步骤S303、利用所述目标数据分析模型对所述处理后的待分析业务数据进行数据

分析，获取分析结果；

步骤S304、创建报告中心，在所述报告中心中根据所述分析结果绘制基于处理后

的待分析业务数据的数据报告。

[0031]上述技术方案的有益效果为：通过获取属性因子来映射到初始数据模型上以获得待分析业务数据对应的目标数据分析模型进而进行数据分析可以获得待分析业务数据独有的精准分析结果，保证了分析结果的准确性，去除了干扰数据的影响，进一步地提高了数据报告的准确性。

[0032]在一个实施例中，所述将所述数据报告进行分享并且发布到驾驶舱中，包括：

生成所述数据报告的专属分享链接，设置所述专属分享链接的访问权限为任何

10

CN 112765254 A

说　明　书

7/9页

人；

将所述专属分享链接传输至目标用户所在终端；与所述驾驶舱实现通信连接，连接完毕后将所述数据报告导入到所述驾驶舱中；导入完毕后，检测导入的数据报告的完整性，当所述完整性为100%时，无需进行后

续操作，当所述完整性补位100%时，重新向所述驾驶舱导入数据报告以替换前一次导入的数据报告。

[0033]上述技术方案的有益效果为：既可以使所有人都可以查看数据书包，提高了用户的体验感的同时又保证了导入的数据报告的完整性，使得工作人员的参考样本更加精确进而做出合理的决策。

[0034]在一个实施例中，所述方法还包括：

将所述数据报告另存为备用模板存储到模板库中；为所述模板库进行加密，获取加密密钥，将所述加密密钥转发至具有调用模板权

限的用户的手机终端。

[0035]上述技术方案的有益效果为：可以使得后续使用人员创建报告中心时可以选择模板，这样可以非常快速的绘制精美的报告，提高了工作效率，同时，通过设置加密密钥可以保证模板的保密性。

[0036]在一个实施例中，所述导入所述数据连接中的处理后的待分析业务数据，对所述处理后的待分析业务数据进行检测，获得检测信息，包括：

解析所述处理后的待分析业务数据，获得其包含的目标属性信息；计算所述目标属性信息与预设属性信息的当前匹配度；筛选出当前匹配度大于等

于预设匹配度的第一属性子信息；

对当前匹配度小于所述预设匹配度的第二属性子信息进行异常信息判定，获取所

述第二属性子信息对应的异常信息序列；

生成特定检测信号，对所述特定检测信号进行解析获得其检测特征信息；根据所述检测特征信息生成第一特征信息链表，对所述特征信息链表中属性相同

的检测特征信息进行合并，获得第二特征信息链表；

根据所述第二特征信息链表生成测试数据包；

向所述异常信息序列对应的异常属性子信息发出所述测试数据包，获得所述异常

属性子信息反馈的响应信息；

根据所述响应信息确定对于所述处理后的待分析业务数据的目标检测条件；获取所述目标检测条件的目标检测参数，将当前检测参数替换为所述目标检测参

数；

利用所述目标检测条件对所述处理后的待分析业务数据进行检测，获得所述检测

信息。

[0037]上述技术方案的有益效果为：通过确定对于处理后的待分析业务数据的目标检测条件可以以更加合适合理的检测方式来对处理后的待分析业务数据进行检测，保证了检测信息的准确性，为后续建模和生成数据报告提供了合理的数据基础，进一步地，通过利用处理后的待分析业务数据信息中的异常信息序列来确定检测条件可以精准地筛选出对于异常信息序列无影响的检测条件以保持对于处理后的待分析业务数据的完整性检测，进一步

11

CN 112765254 A

说　明　书

8/9页

地提高了数据的实际性。[0038]在一个实施例中，在将所述待分析业务数据进行ETL处理之前，所述方法还包括：

检测将要对所述待分析业务数据进行ERL处理的服务器的CPU使用率和内存使用

率；

获取所述服务器的多个工作节点，在所述多个工作节点中确定ERL处理需要用到

的目标工作节点；

确定每个目标工作节点的当前工作任务；

根据每个目标工作节点的当前工作任务和服务器的CPU使用率和内存使用率计算

出所述服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指数：

其中，k表示为服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指

数，A表示为服务器的CPU使用率，B表示为服务器的内存使用率，表示为服务器的当前服务率，表示为目标工作节点数量，表示为第i个目标工作节点的当前工作任务对应的当前使用数据量，表示为第i个目标工作节点的最大分配数据量，表示为第i个目标工作节点在工作稳定性最高时的期望使用数据量，表示为第i个目标工作节点的性能指数；根据所述服务器在对所述待分析业务数据进行ETL处理之前的负载均衡指数计算

出以当前负载均衡指数对待分析业务数据进行ETL处理的目标时长：

其中，表示为以当前负载均衡指数对待分析业务数据进行ETL处理的目标时长，表示为预设期望时长，表示为第i个目标工作节点对待分析业务数据进行ETL处理时分配的目标数据量，表示为第i个目标工作节点的当前剩余数据量，表示为服务器在负载均衡指数下第i个目标工作节点的工作效率；

确认所述目标时长是否大于等于预设限定时长，若是，对所述服务器进行工作节

点任务进程优化以目标工作节点的使用数据量，否则，无需进行后续操作；

在对所述服务器进行优化后，利用所述服务器将所述待分析业务数据进行ETL处

理。

[0039]上述技术方案的有益效果为：通过计算服务器的负载均衡指数可以有效地判断在对所述待分析业务数据进行ETL处理之前的服务器忙碌情况以及判定是否还可以在当前基础上使用服务器对所述待分析业务数据进行ETL处理，当确认可以进行ETL处理时，通过计算处理目标时长可以预先评估在负载均衡指数下对于待分析业务数据的所需时长是否合格，进而在不合格时对服务器进行优化以保证对于待分析业务数据的ETL处理效率，避免了目标用户过长时间等待，提高了工作效率的同时也提高了用户的体验感。

12

CN 112765254 A[0040]

说　明　书

9/9页

在一个实施例中，上述方法还包括：利用预设表达式解析器将用户表达式转换成

最终的目标数据库的查询语句片段，在创建的数据连接中设置一套标准函数到数据源方言的转换体系。

[0041]上述技术方案的有益效果为：通过设置预设表达式解析器可以针对同一个表达意愿不同的人输入的不同方式的表达式来实现快速转换转换为通同一个查询语句片段，使得更多的人适用于该方法，提高了实用性和使用人员的体验感，进一步地，通过设置标准函数到数据源方言的转换体系可以有效地针对将数据连接权限对应的待分析业务数据的实际内容的范围扩大到方言领域，可以更加获得民主的数据报告。[0042]在一个实施例中，如图4所示，包括：创建不同类型的数据连接（包括Excel、MySQL、Oracle、SQLServer、RestFul API等），这些数据连接类型可以随意组合关联创建模型。报告中心可以引用不同的模型绘制报告，报告图表组件支持36种以上。绘制好的数据报告可以支持分享和发布到驾驶舱，分享指分享报告链接，让知道报告链接的人免登录查看报告，发布到驾驶舱指领导集中查看数据分析结果的地方，供领导决策提供数据支撑。绘制好的数据报告可以另存为模板，创建报告中心时可以选择模板，这样可以非常快速的绘制精美的报告。可以创建数据整合ETL过程，对非常复杂的业务数据进行加工处理，加工处理的结果可以输出到已有连接的数据库表或者Excel类型的数据连接中，为数据建模提供了更加复杂的数据形式，而且ETL的输出结果仍然可以再次被拿来作为ETL过程的输入，可以根据业务需要反复加工处理。

[0043]本实施例还公开了一种实现数据可视化及数据整合ETL的解决系统，如图5所示，该系统包括：

根据所述待分析业务数创建模块501，用于获取目标用户上传的待分析业务数据，

据创建数据连接；

处理模块502，用于确认是否需要对所述待分析业务数据进行整合处理，若是，将

所述待分析业务数据进行ETL处理，获得处理后的待分析业务数据；

替换模块503，用于将所述数据连接中的待分析业务数据替换为处理后的待分析

业务数据；

绘制模块504，用于根据所述数据连接创建数据分析模型，利用创建好的数据分析

模型绘制基于处理后的待分析业务数据的数据报告；

发布模块505，用于将所述数据报告进行分享并且发布到驾驶舱中。

[0044]上述技术方案的工作原理及有益效果在方法权利要求中已经说明，此处不再赘述。

[0045]本领域技术人员应当理解的是，本发明中的第一、第二指的是不同应用阶段而已。[0046]本领域技术用户员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

[0047]应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来。

13

CN 112765254 A

说　明　书　附　图

1/5页

图1

14

CN 112765254 A

说　明　书　附　图

2/5页

图2

15

CN 112765254 A

说　明　书　附　图

3/5页

图3

16

CN 112765254 A

说　明　书　附　图

4/5页

17

图4

CN 112765254 A

说　明　书　附　图

5/5页

图5

18