一种混洗数据的处理方法、相关装置、设备以及存储介质CN115793958A.pdfVIP

权利要求书5页 说明书28页 附图8页 发明名称 一种混洗数据的处理方法、相关装置、设备 以及存储介质 摘要 本申请公开了一种混洗数据的处理方法，可 应用的领域包括但不限于大数据、云计算、和云 存储等领域。本申请包括向调度节点发送第一注 册请求，以使调度节点为目标写入任务分配第一 服务节点，并生成第一路由匹配信息；接收调度 节点发送的第一路由匹配信息；根据第一路由匹 配信息，向第一服务节点发送第一空间分配请 求；接收第一服务节点发送的第一空间分配响 应；若第一空间分配响应指示空间分配成功，则 向第一服务节点发送shuffle数据，以使第一服 务节点将shuffle数据写入至存储空间。本申请 A 还提供装置、设备及存储介质。本申请中， 8 shuffle过程的失败不会影响到已存储的 5 9 3 shuffle数据，从而避免重复生成数据。并将 9 7 5 shuffle数据存放与外部设备上，有利于提升数 1 1 N 据存储量。 C CN 115793958 A 权　利　要　求　书 1/5页 1.一种混洗数据的处理方法，其特征在于，包括： 向调度节点发送第一注册请求，以使所述调度节点为目标写入任务分配第一服务节 点，并生成第一路由匹配信息，其中，所述第一注册请求携带所述目标写入任务的任务标 识，所述第一路由匹配信息包括所述目标写入任务的任务标识与第一节点标识之间的对应 关系，所述第一节点标识用于指示所述第一服务节点； 接收所述调度节点发送的所述第一路由匹配信息； 根据所述第一路由匹配信息，向所述第一服务节点发送第一空间分配请求，其中，所述 第一空间分配请求携带所述目标写入任务的任务标识以及混洗shuffle数据的数据量，所 述第一空间分配请求用于请求所述第一服务节点为所述shuffle数据分配存储空间； 接收所述第一服务节点发送的第一空间分配响应，其中，所述第一空间分配响应用于 指示空间分配结果； 若所述第一空间分配响应指示空间分配成功，则向所述第一服务节点发送所述 shuffle数据，以使所述第一服务节点将所述shuffle数据写入至所述存储空间。 2.根据权利要求1所述的处理方法，其特征在于，所述接收所述第一服务节点发送的第 一空间分配响应之后，所述方法还包括： 若所述第一空间分配响应指示空间分配失败，则进入等待状态； 若等待时长大于或等于时长阈值，则根据所述第一路由匹配信息，向所述第一服务节 点发送第二空间分配请求，其中，所述第二空间分配请求携带所述任务标识以及所述 shuffle数据的数据量，所述第二空间分配请求用于请求所述第一服务节点为所述shuffle 数据分配存储空间； 接收所述第一服务节点发送的第二空间分配响应； 若所述第二空间分配响应指示空间分配成功，则向所述第一服务节点发送所述 shuffle数据，以使所述第一服务节点将所述shuffle数据写入至所述存储空间，其中，所述 第二空间分配响应用于指示空间分配结果； 若所述第二空间分配响应指示空间分配失败，则再次进入等待状态。 3.根据权利要求1所述的处理方法，其特征在于，所述接收所述第一服务节点发送的第 一空间分配响应之后，所述方法还包括： 若所述第一空间分配响应指示空间分配失败，则向所述调度节点发送第二注册请求， 以使所述调度节点根据所述第二注册请求为所述目标写入任务分配第二服务节点，并生成 第二路由匹配信息，其中，所述第二注册请求携带所述目标写入任务的任务标识，所述第二 路由匹配信息包括所述目标写入任务的任务标识与第二节点标识之间的对应关系，所述第 二节点标识用于指示所述第二服务节点； 接收所述调度节点发送的所述第二路由匹配信息； 根据所述第二路由匹配信息，向所述第二服务节点发送第二空间分配请求，其中，所述 第二空间分配请求携带所述目标写入任务的任务标识以及所述shuffle数据的数据量，所 述第二空间分配请求用于请求所述第二服务节点为所述shuffle数据分配存储空间； 接收所述第二服务节点发送的第二空间分配响应，其中，所述第二空间分配响应用于 指示空间分配结果； 若所述第二空间分配响应指示空间分配成功，则向