基于MPP和Hadoop的城市轨道交通线网指挥平台设计

2020-09-11 来源：爱问旅游网

URBAN RAIL TRANSIT

城轨交通DOI: 10.3969/j.issn.1673-4440.2021.08.011

宋大治1，张浩1，徐钟全2，刘光杰3

（1．南京地铁建设有限责任公司，南京 210017；2．北京全路通信信号研究设计院集团有限公司，北京 100070；3．南京信息工程大学电子与信息工程学院，南京 210044）

为进一步促进城市轨道交通信息化、智能化、网络化建设，针对当前城市轨道交通各摘要：

业务系统中的数据特点，基于大规模并行处理器（Massively Parallel Processor，MPP）和Hadoop设计城市轨道交通线网指挥平台。通过对业务系统数据分类、分层融合，优化数据流实时处理和通用服务标准化等方法，形成适用于大数据架构的海量城市轨道交通线网指挥平台，为城市轨道交通大数据业务系统提供技术支撑和数据依据。MPP；Hadoop；城市轨道交通；线网指挥平台关键词：

U239.5 中图分类号：

文献标志码：A 文章编号：1673-4440(2021)08-0047-07

Design of Urban Rail Transit Line Network Command Platform Based

on MPP and Hadoop

Song Dazhi1, Zhang Hao1, Xu Zhongquan2, Liu Guangjie3

(1. Nanjing Metro Co., Ltd., Nanjing 210017, China）

（2.CRSC Research & Design Institute Group Co., Ltd., Beijing 100070, China）

(3. School of Electronic Information Engineering, Nanjing University of Information Science & Technology, Nanjing 210044, China)

Abstract: In order to further promote the construction of information, intelligence and network of urban rail transit, according to the data characteristics of various business systems of urban rail transit, a command platform of urban rail transit line network is designed based on MPP and Hadoop. Through classiﬁ cation and hierarchical fusion of business system data, optimization of real-time data ﬂ ow processing, standardization of general services and other methods, a massive command platform of urban rail transit line network applicable to the big data architecture is formed, thus providing technical support and data basis for the big data business system of urban rail transit.Keywords: MPP; Hadoop; urban rail transit; line network command platform

URBAN RAIL TRANSIT

城轨交通

化和信息化，轨道交通涉及多种服务，包括日常运营、生产、管理等，这些服务的扩增带来了海量的数据积累。然而数据形式多种多样，数据结构错综复杂，如何利用统一的管理中心实现数据治理，从海量数据中挖掘有价值的指标数据，进而指挥生产以部分大城市为例，轨道交通通常建立传统的数据的形式存储，这种形式能够实现数据资源的采集和运营，是当前城市轨道交通研究的一个重点和难题。中心。在数据中心中，数据按照来源/主题/规则存储。然而随着数据规模的扩大，存储硬件、软件程序为适应数据量的增加应同步更新适配和增容。一方面，传统的数据存储形式难以扩展，且扩展成本较高；另一方面，数据库存储形式在业务数据扩增后数据查询效率明显降低，而且不同类型的数据难以关联分析。

传统数据存储和计算形式难以适应海量数据，

近些年来，各大城市轨道交通基本已实现网络内在关联，形成一套适用于当前城市轨道交通海量生产优化提供技术支撑和数据依据。

数据的综合解决方案，从而为业务决断、运营管理、

1　数据特征分析

1.1　数据现状

多问题，主要表现在以下几个方面。

城市轨道交通各业务系统生产的数据还存在很数据关联性差：城市轨道交通各系统各自为政，数据结构差异大：数据管控力度薄弱，数据标数据处理方式落后：技术手段薄弱，仍采用传

独立建设，数据共享不够，集成较弱。据质量有待提高。

准化程度不高，存在数据不一致、不准确问题，数统的数据库技术、数据处理技术开展大数据的应用性、可用性不强。

分析，缺乏专用技术及工具支撑，数据处理的时效初级阶段，深层次的数据分析、数据挖掘较少；对务系统之间的数据综合分析。

缺少数据挖掘方法：对于数据的利用还停留在

大数据技术和云计算的发展带来了海量数据存储和计算方式的革新[1-4]。文献[5-6]总结了当前基于大了一种基于大数据Hadoop平台的海量数据资源存用于物联网领域的大数据分析处理的改进架构，该进。这些方法是大数据分析处理、应用实施、优化数据Hadoop技术的应用及创新。池亚平[7]等设计

于数据的利用仍以专业为界限，缺乏跨部门、跨业需采集不同业务系统的数据。但不同部门在合作模解决不同业务部门之间合作的“共赢”模式。1.2　数据复杂性

数据共享模式不成熟：为实现数据综合分析，

储和计算效率的改进措施。李敏[8]等提出了一种应方法主要是基于海量异构数据的时间和空间特点改改进的不同尝试。除了理论研究，一些城市的数据构、基于Hadoop大数据架构、基于虚拟化技术平台的形式。这些方法通常规避了传统数据库在应对海量数据时的不足，重点关注了架构扩展时的成本因素和数据处理分析的便捷应用。

分析时快速、便捷、实用的需求，针对当前城市轨设计采用基于MPP和Hadoop的城市轨道交通线

为解决城市轨道交通中海量数据在存储、计算、中心也逐步应用了大数据技术，包括基于MPP结

式不清晰情况下，不愿意提供专业业务数据，需先

各业务系统产生的数据结构形式不同，包括结

构化数据、非结构化数据和半结构化的数据，数据

类型繁多，包括文本、图像、音频、表格等。不同

类型和形式的数据结构需要对应的存储方式和存储例如关键事件、报警事件等数据保存时间较长，以便在需要时随时调出使用；而普通的视频类文件存上的差异性决定了其需要定制化的存储策略。

除了数据形式外，数据的来源和采集方式也不

铁路通信信号工程技术(RSCE) 　2021年8月大小。除此之外，数据存储时间要求也有所区别，储时间通常是一个月左右。数据在形式、存储时间尽相同。根据数据采集周期，数据可分为实时数据、

道交通数据形式多样化、异构性、多源性的特点，网指挥平台。通过建立大数据处理平台，根据数据流分级分层处理的特点，深入挖掘海量数据之间的

城轨交通近实时数据、离线数据和非固定数据。根据数据类包括协议传输、文件传输、报文传输、消息队列传输、Webservice传输等。

型和数据传输要求，数据传输接口也有多种形式，

通过采用共享数据的形式实现海量异构数据的

2　线网指挥平台构建

2.1　设计思路

适用于海量异构数据的系统框架、数据接入和交互、数据组织、数据分发、数据流控制、数据质量管理等。在功能上重点研究对外数据服务接口等数据融中实时监控系统的数据接口规范，包括数据的传输务上重点研究实时和历史数据在MPP数据仓库中以及数据质量管理等；在设计架构上研究Hadoop输和转换。

合及综合管理服务、实时监控系统及应用系统，其机制、采用协议、采集周期、重传与补传等。在业如何存储、数据如何组织、如何分发、数据流控制历史结构化与非架构化数据的存储、检索、以及MPP数据仓库与Hadoop历史数据平台的数据传

基于数据中心的分析及应用服务由统一的数据城市轨道交通线网指挥平台在架构上重点研究

统一化管理，不同类型的数据通过数据采集、数据清洗、数据抽取、数据加载等步骤形成规范化的数避免数据孤岛现象的出现。海量数据的关联有利于从更宏观、更全面的视角去把握当前城市轨道交通运营、生产、管理等业务中存在的问题，为推进线保障。1.3　建设需求

网协会指挥、实现智能决策分析提供强有力的技术线网指挥平台（NCC）采集各线路行车数据据形式。业务系统通过数据订阅形式实现数据访问，数据共享方式能够解决业务之间存在的数据壁垒，（ATS）、客流数据（ACC）、供电、风水电等设备及运行数据（ISCS）、能耗数据（EMS）、图纸文档及视频、外部数据（包括气象信息系统、地理信息系统、互联网数据、公共服务部门数据）等，大量运行数据日益呈现体量大、类型多、价值高等特征。数据量爆炸式的增长，数据分析处理能力落后与数缺少数据分析挖掘的高级方法、非结构化数据尚缺乏有效利用等问题。

线网大数据平台定位为数据共享平台、数据分据快速增长之间的矛盾将更加突出。随着数据量、数据类型的不断增多，也出现数据分析性能瓶颈、

发布平台完成数据共享对外发布，以J2EE体系和面向服务的架构(SOA)为基础采用中间件技术、Web布。通过数据发布平台将数据存储计算层与应用层有机地结合在一起。各业务应用系统与轨道交通NCC数据交换中心相连，通过数据共享交换中心来实现数据共享和路由。这种连接方式实现了数据的无缝交换和共享访问，保证各业务系统的有效协同，同时又能提高了系统运作效率和安全性。2.2　架构设计2.2.1　平台架构

保证各应用系统的相互独立性和低耦合性，从整体上服务及企业ESB完成松散耦合的服务集成及数据发

析应用平台、大数据应用开发运行平台，从数据采集、存储、预处理、计算、分析、可视化等多个层并为业务应用开发和运行提供支撑平台。各异构的为轨道交通的客流预测、数据挖掘、应急指挥、能耗分析预测、信息发布等业务提供数据分析支持。面为数据分析人员、大数据应用开发人员提供服务，业务源系统数据通过数据采集与交换平台进行数据抽取、清洗和转换后存储到高性能数据存储平台。

挥平台是一套综合的业务信息管控平台，在平台上

基于MPP和Hadoop的城市轨道交通线网指

实现各业务系统数据集中访问、资源同步更新，在数据清洗、挖掘分析等步骤。基于业务系统数据统构的数据仓库、基于Hadoop的大数据存储模型和常规关系型数据库混合应用的数据管控模式，多种

数据流上包括数据资源收集、数据存储、数据关联、一接入和访问的应用需求，设计采用基于MPP结

URBAN RAIL TRANSIT

城轨交通

存储模式共存满足各业务系统数据在存储形式、结构、采集频率、更新时间上的特定需求。通过构建

业务核心板块

问。如图1所示，线网指挥平台依据数据流分为5个层面，分别是数据接入层、数据持久层、数据清

业务高级分析分层多级的数据中心实现线网指挥平台基础数据访

生产调度类系统运营管理类系统管理办公类系统资源能耗类系统

数据挖掘层数据清洗层报表报告、组态工具洗层、数据挖掘层和数据应用层。

数据应用层

运营相关主题应用设备管理主题应用调度管理主题应用监控管理主题应用

标准编码配置业务模型配置数据同步分发数据集成服务非结构化数据（大文本、视频数据等）分析视图组件化服务数据集成组件化服务共享技术统一化服务公用数据规范化服务

分析建模工具统计数据定制计算引擎搜索引擎外部数据接入信息共享服务关联性分析、多维度分析、主题建模数据自动抽取实时流数据处理数据持久层关系型数据库（结构化数据）数据抽取和采集实时数据（准结构化数据）数据接入层业务管理信息系统运营现场系统文档归档系统经营管理系统人工补充采集外部系统图�　平台架构Fig.1 Platform architecture

1）数据接入层

包括ISCS、SIG、AFC、PIS以及其他数据。ACC

数据接入层负责采集从各个专业系统的源数据，

接入到MPP仓库和Hadoop历史仓库中，使用Kafka消息组件做为数据传输的中间件。MPP数据仓库保留指定周期的贴源层数据，Hadoop保留全量贴源层数据，Hadoop存储数据分为结构化和构化数据进行调用查询功能。Hadoop集群的多节点，保证了数据的稳定与安全。

3）数据清洗层

数据清洗层实现数据的统一化管理，通过规范非结构化数据，结构化数据存储在HIVE数据仓库中，非结构化数据直接存储在HDFS中，再通过结

与信息化系统数据直接由数据中心ETL作业接入近/

离线数据。数据类型主要分为3种：一是近线数据，满足查询和分析处理当天30 min之内的业务类别的数据；二是离线数据，在当天生产系统结束后统一采集并处理分析的数据；三是实时数据，满足查应用的业务类别的数据。

2）数据持久层

询当前业务状态或将实时业务数据提供给在线监察、

数据持久层是NCC数据中心数据资源的系统

化的访问接口、通用组件、模型工具等形成数据模板库。通过将业务服务化、数据接口统一化、服务照函数调用的形式提供访问接口。数据清洗后形成上层系统直接调用的数据资源，数据资源根据业务类型被划分成多层级的数据单元，通过对数据单元组合关联和建模汇聚形成业务单元。

铁路通信信号工程技术(RSCE) 　2021年8月管理环境与核心平台，其在功能上包括数据状态监控、数据监控、数据维护等功能组件，并通过对这处理流程的存储和监控管理。

标准化、计算模型化、数据规范化等组件集成并按

些组件的综合管理，实现NCC数据中心所有数据

数据持久层通过实时数据库将其他专业数据

城轨交通4）数据挖掘层

相关的业务工具，包括指标管理、基础信息管理、统计分析、OD分析、调查管理、票制票价管理、报表管理、报告管理、配置管理等。

5）数据应用层

数据应用层作为城市轨道交通日常运营、决

数据挖掘层主要包含了与数据管理和统计分析统的历史数据需要存入到关系型历史数据库中，另息等存储到关系型数据库；

1）实时监控系统关键业务的历史数据、信号系

外一些业务系统，如应急指挥系统、统计分析业务系统、可视化展示等业务系统的配置信息、参数信量高价值密度的结构化数据，对于数据维度关联性强的业务数据存放到MPP数据平台，对于数据维度关进行合理处理的业务数据存放到Hadoop平台；联性较弱或可通过宽表、高表等技术手段对数据模型据及低价值密度的结构化数据，如存储轨道交通视频分析资料、建设图纸、影像资料、标准等非结构化内算业务可通过Hadoop计算框架进行分布式计算；接口完成数据摆渡；

4）MPP平台和Hadoop平台可通过数据交互5）关系型历史数据库可通过定制的ETL JOB容数据。对于实时客流计算、短期客流预测准实时计

3）Hadoop平台主要用于处理其他非结构化数2）MPP平台和Hadoop平台主要用于处理海

策、管理等方面数据应用服务的标准化工具，实现信息共享，构建便捷安全的数据资源访问系统。数据应用层分为业务核心板块、业务高级分析和信息耗类系统等；业务高级分析包括运营相关主题、设件化服务、共享技术统一化服务、公用数据规范化服务等。

2.2.2　数据流规划

共享服务3类。其中业务核心板块包括生产调度类系统、运营管理类系统、管理办公类系统、资源能备管理主题、调度管理主题、监控管理主题等；信息共享服务包括分析视图组件化服务、数据集成组的接口服务器汇集到实时监控系统中，由实时监控系统完成对关键业务的历史数据存库工作。实时数据库用于存储从实时监控系统中接入的数据，并

各线路侧实时业务系统的实时数据通过线网侧抽取到MPP平台或Hadoop平台安装数据分层分级存储的策略进行存储。2.2.3　数据服务标准化

在传统的存储模式中，数据采集后直接按照设

支撑应用系统实时业务，包括线网行车检察、报心，用于存储一定时间段的结构化数据，分为缓冲层（数据处理）、基础层（数据分析）与访问层（数

警警告管理等。MPP数据仓库作为数据中心的核据输出），基础层又包括核心层与通用汇总层。包包括结构化与非结构化数据，将数据分布在不同的

定的数据结构存储在数据表中，数据通过向数据库

发送请求来访问数据。在数据量较小时，传统的数

据存储模式能够满足业务需求。然而，城市轨道交数据读取效率低、数据关联性差等问题。

通业务繁多，业务数据错综复杂，数据累积时间长，

为避免数据存储带来的业务瓶颈，设计采用数

括客流、行车、设备、票务等不同主题的数据。Hadoop数据仓库用于数据中心的历史数据存储，节点之中，通过主节点进行访问和更新。结构化数放在HDFS分布式文件系统中。Hadoop集群的多节点，保证了数据的稳定与安全。其中：

数据的存储与计算由关系型数据库和MPP和据存储于Hive数据仓库中，非结构化文件直接存

这种传统的存储模式可能会面临数据前后不一致、据服务标准化思想来应对城市轨道交通复杂的数据形式。在数据接入后，按照基本数据单元的形式保存，为上层业务系统直接提供数据单元。建立一套通用的数据统一模型，将接入数据经过准实时的运算和架构化形成模型化的数据单元，极大地减少后通过对数据采集后实现统一的数据标准化处理，从续业务处理数据的复杂性，更便捷地使用业务数据。数据处理的流程、效率、准则等角度对数据标准化

Hadoop混合架构的高性能数据存储系统构成。

URBAN RAIL TRANSIT

城轨交通

模型进行细化，保障数据单元的可用性、可靠性、准确性和完整性。数据标准化服务包含3个步骤，分别是数据接入服务、数据模型化、数据应用。

1）数据接入服务

数据接入服务通过NCC系统接口服务器与源

3　平台应用

3.1　基本方法

数据层的各业务系统进行通信，在收到数据后根据数据表达式将数据转化为统一的数据单元，将各专业数据单元接入到数据仓库和实时数据库中。

轨道交通数据处理的重要解决手段，对客流预测、规律总结、决策调控等多个应用需求都有关键的数据支撑作用。通过大数据技术对数据处理和关联分析，不仅能实现基本的业务数据解析和数据统计归档，还能够挖掘数据背后的价值。通过探索对各类通过搭建各种共享服务平台为应用层面服务，支持基本功能。3.2　应用举例

数据以及现有各控制中心各线路不同监控平台数据生产管理指标分析、应急指挥、信息报送及发布等

客流是为了实现各类出行活动，乘客借助地铁

MPP架构和Hadoop大数据处理技术是城市

为Producer，数据持久服务定义为Consumer。如果有数据访问请求，数据接入服务接收则为Consumer，数据持久服务则为Producer。

2）数据模型化

在Hadoop大数据结构中，数据接入服务定义

源的抽取、转换和加载，按照统一的数据标准存储；

仓库中启动数据模型化服务，数据模型化服务被加在计算后将数据发送至后续的存储系统中。

通过数据模型化，将各业务数据定制化形成规

数据模型化实现数据表的规范化管理，在数据

入到服务容器中，服务容器开启对数据进行计算，范的表达式形式，并按照数据表的形式保存。根据业务数据的需求，数据表中的数据单元被应用到对应的数据计算流程中。

3）数据应用

形成的有目的流动。客流描述的乘客进入交通路网后的乘车轨迹，即描述乘客的进站、出站、及进入交通路网后的换乘、乘车途经的车站路径及时间信息。城市轨道交通客流数据的保存时间是1～3年，它是线网指挥平台大数据存储和分析的重要数据资源，客流数据是轨道交通编制列车运营方案、指定列车运营计划的主要数据支撑。客流数据主要包括周期性地采集进出站、上下行区间、换乘、乘客路径OD等数据。

Hive将一定周期内的客流资源数据转化为数据表，便于从中查找和抽取客流特征数据。抽取某个时间区间内的客流特征，形成客流数据模型和业务数据资源集合。通过将业务数据资源集合应用到客流数据和进阶数据两种不同的数据类型。基础数据包括据模型得到客流特征值。将客流特征定义为基本数列车线路、车站名称、车站区域、车票类型、乘客OD路径、进站名称、出站名称、换乘路线、换入乘客区间最大的方向和时间段等。

通过大数据技术对客流量数据进行分析，利用

应急事件处置协调系统等。通过定义规范化的数据处理模型，将不同业务系统的数据信息统一格式并度员各自业务，根据不同的应用场景对路网全局信客流监视、路网设施设备监视及路网视频监控等进支撑调度员日常调度业务。应急事件处置协调系统主要包括路网运营信息监视业务、路网应急管理业务、突发事件数字化处置业务以及日常工作管理业务。其中路网运营信息监视业务有日常运营信息展资源管理、预案电子化管理。

数据应用主要是实现上层业务，比如监控系统、

完善，对数据编码便于标准识别。监控系统结合调息展示、路网行车监视、线路行车监视、行车告警、行不同的组合，形成不同的可视化信息聚合，以便

示、突发事件信息展示；路网应急管理业务有应急

路线、换出路线；进阶数据包括乘车高峰起止时间、

超出乘车阈值的车站名、乘客量最大的车站名称、

铁路通信信号工程技术(RSCE) 　2021年8月52

城轨交通城市轨道交通关联程度高的因素作为客流特征的影响要素，对相关要素按照分级关系进行聚类，然后经过客流信息统计分析，并设定统计特征的权重系的客流量作为均值聚类的中心点，设定聚类中心个数据并输出结果。

根据不同业务目标下的业务倾向设计各因子的权重。数，得到当前时期内客流的画像。在数据聚类中，将车站换乘客流量、乘车区间的客流量、进出站点数，应用均值聚类算法和收敛系数，最终得到目标通过对选定时间段内的数据关联分析，提取与

电系统故障诊断的数据仓库挖掘技术[J].计算机工程，2004，30(20):169-170．

He Youquan, Xiao Jian, Huang Bixia, et al. Data Mining Technology Used for Diagnosing Failure of the Railway Pull Power System[J]. Computer Engineering, 2004, 30(20): 169-170.

[4] 杨燕，朱焱，戴齐，等.智慧轨道交通：实

现更深入的智能化[J].计算机应用，2012，32(5):1205-1207．

Yang Yan, Zhu Yan, Dai Qi, et al. Smart Rail Transportation-an Implementation of Deeper Intelli-gence[J]. Journal of Computer Applications, 2012, 32(5): 1205-1207.

[5] 夏靖波，韦泽鲲，付凯,等.云计算中Hadoop

技术研究与应用综述[J].计算机科学，2016，43(11):6-11．

Xia Jingbo, Wei Zekun, Fu Kai, et al. Review of Research and Application on Hadoop in Cloud Compu-ting[J]. Computer Science, 2016, 43(11): 6-11.[6] 邓仲华，刘伟伟，陆颖隽．基于云计算的大数

据挖掘内涵及解决方案研究[J].情报理论与实践，2015，38(7):103-108

Deng Zhonghua, Liu Weiwei Lu Ying jun. Research on the Connotation and Solutions for Big Data Mining Based on Cloud Computing[J]. Information Studies:Theory & Application, 2015, 38(7):103-108.[7] 池亚平，杨垠坦，许萍，等．基于Hadoop的监

控数据存储与处理方案设计和实现[J].计算机应用与软件，2018，35(6):58-63．

Chi Yaping, Yang Yintan, Xu Ping, et al. Design and Implementation of Monitoring Data Storage and Processing Scheme Based on Hadoop[J]. Computer Applications and Software, 2018, 35(6): 58-63.[8] 李敏，倪少权，邱小平,等．物联网环境下基

于上下文的Hadoop大数据处理系统模型[J].

计算机应用，2015，35(5):1267-1272．

（收稿日期：2020-06-18）

（修回日期：2020-07-20）

4　结论

的城市轨道交通线网指挥平台架构，探索对各类数搭建各种共享服务平台为应用层面服务，支持生产功能。通过该平台的建设，挖掘数据潜在价值，实现对运营优化和决策预警的技术支撑。

参考文献

本文提出一种混合式的基于MPP和Hadoop

据以及现有各控制中心各线路不同监控平台数据源管理指标分析、应急指挥、信息报送及发布等基本的抽取、转换和加载，按照统一的数据标准存储。[1] 张义鑫，杨军，张静,等.基于数据仓库的北

京轨道交通数据中心测试平台[J].都市快轨交通，2012，25(5) :109-114．

Zhang Yixin, Yang Jun, Zhang Jing, et al. Data Center Test Platform Based on Database in Beijing Rail Transit[J]. Urban Rapid Rail Transit, 2012, 25(5): 109-114.

[2] 郭鹏，陈川，任红波.数据仓库在轨道交通数

据资源整合中的应用[J].城市轨道交通研究，2010，13(10):48-52．

Guo Peng, Chen Chuan, Ren Hongbo. Application of Data Warehouse Technology in URT Data Resource In-tegration[J]. Urban Mass Transit, 2010, 13(10): 48-52.

[3] 何友全，肖建，黄碧霞，等．用于铁道牵引供

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文

全部栏目

基于MPP和Hadoop的城市轨道交通线网指挥平台设计