专利名称:实时数据处理方法、装置、计算机设备和存储介质专利类型:发明专利发明人:陈金路
申请号:CN201911277999.3申请日:20191211公开号:CN111190703A公开日:20200522
摘要:本申请涉及大数据处理领域,尤其是一种实时数据处理方法、装置、计算机设备和存储介质。所述方法包括:获取待处理实时数据,并根据待处理实时数据的依赖方式生成有向无环图;将有向无环图进行拆分得到初始任务,并获取拆分后的每一初始任务的任务量;将初始任务分配到不同的执行机中进行处理;判断每一所述初始任务的任务量之间的差值是否大于预设阀值;当存在差值大于预设阀值的初始任务时,则将差值大于预设阀值的初始任务中,任务量较大的初始任务进行拆分得到多个过度任务;将所述过度任务分别分配到对应的执行机的不同的线程中进行执行;将各个执行机执行得到的交易对象存储至分布式存储系统中。采用本方法能够提高处理效率和资源利用率。
申请人:平安医疗健康管理股份有限公司
地址:200001 上海市黄浦区北京东路666号H区(东座)12G室
国籍:CN
代理机构:广州华进联合专利商标代理有限公司
代理人:姜晓云
更多信息请下载全文后查看
因篇幅问题不能全部显示,请点此查看更多更全内容