一种边缘计算中多任务并行计算实现方法及装置

技术特征：

1.一种边缘计算中多任务并行计算实现方法,其特征在于，具体步骤如下：1)将多个计算任务请求基于rpc的方式下发到边缘管控平台的汇聚节点及多个基础计算节点中，基础计算节点将任务标签压入线程队列中并进行计算；2)单轮计算完毕后将多个基础计算节点的参数通过消息应答队列进行发送，汇聚节点在收到全部节点参数后进行参数融合处理；3)将融合后的结果重新下发给多个基础计算节点，供基础节点进行接续计算，直到训练轮数达到预设阈值时，得到计算结果。2.如权利要求1所述的一种边缘计算中多任务并行计算实现方法,其特征在于，步骤1)中将多个基础计算节点将任务标签压入线程队列中并进行计算的具体步骤为：1-1)将多个计算任务请求基于rpc的方式下发到边缘管控平台的汇聚节点及多个基础计算节点中，基础计算节点将任务标签压入线程队列中；1-2)基础计算节点会监听任务队列，获得任务标签后向consul配置中心获取详细任务计划，并按照任务计划执行计算。3.如权利要求2述的一种边缘计算中多任务并行计算实现方法,其特征在于，步骤1-2)中任务计划进行执行计算的具体步骤为：1-2-1)基础计算节点的线程队列执行汇聚节点初始化任务，构建汇聚计算任务；1-2-2)汇聚计算任务创建后，按照配置文件中设置的基础计算节点对各节点中的分布式计算任务进行初始化；1-2-3)待基础计算节点初始化完毕后，汇聚节点通过grpc协议向基础计算节点传递初始化参数，基础计算节点收到参数后会依据各自的数据进行离线计算。

4.如权利要求3所述的一种边缘计算中多任务并行计算实现方法,其特征在于，步骤1-2-2)中对各节点中的分布式计算任务进行初始化的具体方法为：获取详细任务计划，对任务进行任务数据准备、计算模型准备以及模型初始化：所述任务数据准备包括对本地数据进行检测，检测其是否存在训练数据，若本地不存在，则从对象存储系统中进行数据下载；所述计算模型准备包括检测任务是初次执行还是接续执行，如果是接续执行也会从对象存储系统中获取历史模型文件，若是初次执行则导入基础计算模型并设置模型初始参数。5.如权利要求1所述的一种边缘计算中多任务并行计算实现方法,其特征在于，步骤3)中将融合后的结果重新下发给多个基础计算节点，供基础节点进行接续计算的具体步骤为：3-1)融合后的参数通过grpc协议重新下发给多个基础计算节点，多个基础节点进行接续计算；3-2)若当前训练轮次小于预设阈值，则将多个基础节点的参数返回步骤2)，重复步骤2)-步骤3-1)，若当前训练轮次等于预设阈值，则转至步骤3-2)；3-3)多个基础节点向汇聚节点发送最后参数，汇聚节点依据多个基础节点测试集得分对参数进行排序，选择得分最高的将其保存到平台模型库中。6.一种边缘计算中多任务并行计算实现装置，其特征在于，用于实现权利要求1-5任一项所述一种边缘计算中多任务并行计算实现方法，包括：任务管理模块，算法服务模块；

所述任务管理模块用于对已部署的平台计算服务进行实时管控以及对新任务的实时部署，所述任务管理服务模块包括实时任务管理模组、在线任务部署模组、离线任务部署模组；所述实时任务管理模组用于获取实时任务列表、编辑实时任务属性、控制实时任务状态、捕获实时任务报警、操作日志管理，所述实时任务管理模组基于mysql数据库进行构建，采用rabbitmq消息队列设计任务数据通道；所述在线任务部署模组用于获取配置参数值、在线任务资源预校验、输入与应答通道、在线计算初始化；所述离线任务部署模组用于获取配置参数值、离线任务资源预校验、消息应答通道、离线计算初始化；所述算法服务模块包括算法服务管理模组、在线计算模组、离线计算模组，所述算法服务模组基于python进行构建，并通过grpc和rabbitmq实现异构语言的服务调用与消息通讯；所述算法服务管理模组用于算法任务监听、任务计划解析、任务环境初始化、计算任务控制，所述在线计算模组用于任务数据解析、应答通道构建、模块算法初始化、计算任务控制，所述离线计算模组用于任务数据解析、应答通道构建、模块算法初始化、计算任务控制、任务结果持久化。

技术总结

本申请提供一种边缘计算中多任务并行计算实现方法,具体步骤如下：1)将多个计算任务请求基于RPC的方式下发到边缘管控平台的汇聚节点及多个基础计算节点中，基础计算节点将任务标签压入线程队列中并进行计算；2)单轮计算完毕后将多个基础计算节点的参数通过消息应答队列进行发送，汇聚节点在收到全部节点参数后进行参数融合处理；3)将融合后的结果重新下发给多个基础计算节点，供基础节点进行接续计算，直到训练轮数达到预设阈值时，得到计算结果。本申请通过将计算结果融合的方式，使得原本不具备某些计算样本的基础计算节点也能识别出其他节点探测到的数据信息并行计算云计算，实现了数据共享、打破数据孤岛。打破数据孤岛。打破数据孤岛。

技术研发人员：刘切 柴毅 段海超 曾建学 王浩

受保护的技术使用者：重庆大学

技术研发日：2022.06.28

技术公布日：2022/9/27

（编辑：92站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!