Practice|行业治理2018年·第5期
栏目编辑:梁丽雯   E-mail:liven_01@163.com
数据综合利用在外汇管理中的应用实践
■  中国人民银行湛江市中心支行 平
摘随着国内外经济金融形势的变化和我国全面改革的不断深化,外汇管理工作面临了许多新的情况和问要:
题。为此,国际收支数据监测分析辅助系统应运而生。该系统采用建立数据基础库,应用灵活稳健、高可用的架构确保数据安全和质量,利用深度挖掘数据等做法,对外汇管理业务数据的深入挖掘利用,实施精准的分析和监测,打造了集数据的整合加工、统计分析和监测于一体的信息化平台,为健全业务监管体系建设、提高风险识别防范能力、促进业务创新提供了强有力的技术支撑。
数据综合利用;外汇管理;金融决策关键词:
一、系统概述
随着国内外经济金融形势不断变化和我国全面改革的不断深化,外汇管理工作面临了许多新的情况和问题,从而使得非现场分析作为开展监管的重要手段,在新时期对事中事后管理的意义更加凸显,而非现场分析的核心与关键在于数据的挖掘与应用。通过对外汇管理业务数据的深入挖掘利用,实施精准的分析和监测,提高外汇风险预警水平,为金融发展提供更好支持,成为了外汇管理部门的重要工作方法和内容。根据外汇数据的基本特点,人民银行组织开发了国际收支数据监测分析辅助系统,该系统建立了数据来源多渠道的基础数据库,采用业务缓存采集机制、基于MySQL集群的数据离线分析方法,解决了数据来
源多、格式复杂、数据安全风险、可视化程度低等问题,打造了集外汇管理数据的整合加工、统计分析和监测于一体的信息化平台,为健全业务监管体系建设、提高风险识别防范能力、促进业务创新提供了强有力的技术支撑。
二、系统架构
国际收支数据监测分析辅助系统采用B/S和C/S相结合的架构,包含数据上传客户端、数据导入服务、数据分析服务、分析结果展示、平台数据库五部分,严格遵照软件开发规范开发,数据上传客户端使用C#语言开发,数据导入服务、数据分析服务使用Java开发,分析结果展示Web服务器端使用MVC分层思想进行
作者简介: 平(1985-),男,广东湛江人,助理工程师。
收稿日期: 2018-01-30
70
2018年·第5期
栏目编辑:梁丽雯   E-mail:liven_01@163.com
设计,平台数据库采用MySQL集群,其中数据上传客户端使用Socket与服务器端服务连接,保证了大文件上传成功率,技术架构如图1所示。
数据分析服务务任切片片切任务数据上传Socket数据缓存客户端数据缓存数据导入…服务MySql集群Dao方法及实现,分析表及确定表间的关数据持久化Model实体类系,实体持久化操作持久层Service方法及实现调用Dao操作进行业务逻辑处理业务层Controller方法及实现前端与业务层的交互,并进行必要的验证控制层httphttpWeb服务报表图表图1 技术架构
三、主要做法
(一)建立数据基础库
1. 扩大数据来源,多层次获取基础数据
丰富、充实的数据是分析的首要基础,从数据对象入手,结合总局下发的数据和本地数据,以金融机构和部门数据为补充,积极扩大采集范围,从现有的国收系统、银行结售汇系统、进出口系统和海关报送报表中收集数据,通过客户端上传至数据缓存区,然后整合入库。数据来源的多渠道化打破了不同口径、不同业务条线“数据孤立”问题,大大丰富了基础库的内容,为决策信息夯实基础。
2. 统一数据规范,提高数据质量
由于不同业务人员提供的数据有较大的差异,为
Practice|行业治理确保数据的准确性,在软件开发规范和业务数据格式的指导下,规范数据采集流程,统一数据格式,明确上传的CSV数据文件中的字段数量、名称、非空列以及文件/文件夹的层次结构,并在数据上传客户端和数据导入服务中对数据进行自动化校验处理,不符合规范的数据将不能上传,并返回数据不规范情况,上传成功后的数据,则在系统中显示数据分析的进度状态。
(二)应用灵活稳健、高可用的架构确保数据安全和质量
1. 采用MySQL集群技术
本系统集群结构设计有一台主服务器和一台从服务器,主服务器运行集群Manage管理节点服务、NDB
数据节点服务和SQL服务器节点,从服务器运行NDB数据节点和SQL服务器节点,主从服务器的数据相互同步复制,每个NDB数据节点都可以接受读写操作。
本系统将分析结果互不影响的分析脚本划分为两份,在轮询分析时,分析服务读取并行脚本分别向每个SQL服务器节点发送分析指令,SQL服务器节点并行分析和存储分析结果,同时同步分析结果至其他NDB数据节点,采用MySQL集群架构,实现了数据的自动备份。数据多份存储在不同的主机上,一旦某个数据节
点发生故障时,数据至少还存储在另外一个节点上,避免数据丢失的风险,同时多份脚本并行分析提高了数据的离线分析速度。
2. 采用数据缓存采集机制
由于数据采集存在数据量大、误传数据、数据校验格式复杂等情况,该系统首先使用数据上传客户端通过Socket上传验证通过的数据至服务器数据缓存区,确保了数据采集渠道的畅通和数据稳定、高效地传输,避免了使用HTTP上传大文件带来的不稳定性,数据上传完毕后,由数据管理员审核后,再由数据导入轮询服务验证并导入数据库中。采用数据缓存采集机制,避免由于上传过程中出现错误造成直接删除数据的操作,增强了系统运行的总体稳定性,采用“一审核
71
Practice|行业治理双验证”校验模式,确保数据满足质量要求,为数据分析打下基础。
(三)深度利用数据,为区域金融服务提供支持1. 展示视角度
一是按数据口径划分,包括全口径、国际收支口径、跨境口径、大额交易口径。其中全口径、国际收支口径、跨境口径是传统划分,主要对明细数据进行部分筛选过滤,新增的大额口径则是为了满足观测重点企业重点交易的需要。二是按研究主体类别划分,将研究主体划分为币种、城市、国别地区、银行、企业、行业属性、经济类型、交易类型类别,通过这些类别明细数据分离、汇总,使得对单一主体的监测更为高效、清晰。三是按时间跨度划分,根据传统的统计分析习惯,将全部明细数据按照发生时间分为月度、季度、年度的汇总集合,满足实际监测分析中不同频度的操作需要。
2. 指标设计全方位
指标设计的考量主要是数量型指标和复合型指标。数量型指标包括实际金额、环比变化率、同比变化率、占比率等,并自动设置字体颜色突出显示环比、同比中的特殊结果。复合型指标是指运用数学公式计算得出的结果,如出口收汇率、进口付汇率、结汇率、售汇率、贸易偏离度。它是对数量型指标的补充,旨在通过对不同来源的数据进行交叉分析,得到更多外汇信息。
3. 可视化设计多样化
多样化的可视化设计主要实现了表格与图形集合构建,另外还从两个层面来考量,一是组合展示视角维度实现交叉结果透视,譬如“地市+币种”在某个时间段的汇总结果,或者“地市+银行”在某个时间段的汇总结果,从而实现度、深层次的数据钻取分析;二是实现明细反馈,对于一些某些特定的、度的交叉透视结果,不仅仅能看到汇总的数值变化,还能够关联导出对应的全部明细数据。
72
2018年·第5期
栏目编辑:梁丽雯   E-mail:liven_01@163.com
四、取得成效
(一)提高工作效率
系统实现了数据的校验、上传、存储、分析等自动化过程,只需较少的人工参与就可以完成,度、全方位的图表和图形分析由系统自动分析生成,改变以往用人工切割数据、汇总统计的工作模式,减轻了业务人员工作量,避免了手工汇总出错的可能性,使得业务人员从繁琐的日常工作中出来,更专注于信息综合分析及利用,大大提高了工作效率。
(二)为地方金融决策提供支持
数据来源多渠道、观察视角度、监测指标全方位的数据分析系统提供了全面的外汇管理数据的展示,有效打破外汇管理不同项目的界限,融合各个行业领域数据,通过平台可以快速监测各类交易数据的变化,提高了甄别风险能力和预警的时效性,做到金融风险早发现、早识别、早预警、早处置,促进地区经济金融健康发展。FTT参考文献:
[1]邵捷. 以大数据为支撑,构建基层央行决策服务平台[J]. 金融科技时代,2017(7):37-41.
[2]王韬,何士安,秦呈. 人民银行省级数据综合利用体系建设实践[J]. 金融电子化,2014(2):66-67.
[3]徐珊,李慧强. 对大数据分析在外汇管理领域运用的思考[J]. 金融纵横,2017(9):87-92.