本技術涉及人工智能領域,尤其涉及一種數據處理方法及其裝置。
背景技術:
1、時間序列的數據預測任務是基于歷史時序數據進行的未來數據的預測任務。為了進行更準確的預測,輸入數據往往是多類和待預測數據相關的數據,例如,在煤炭開采領域中進行的瓦斯?jié)舛阮A測時,以瓦斯?jié)舛取L速、風壓、一氧化碳、溫度、割煤速度、瓦斯抽放量或者瓦斯抽出壓力等數據作為輸入,來預測未來瓦斯?jié)舛取?/p>
2、現有的預測任務往往只通過單一的算法模型來完成,這種方式中模型輸入特征的維數固定,也就是在模型訓練和推理時輸入數據的類別數量是固定不變的,當輸入數據缺失時,相應維度無輸入,會導致算法失效或者預測精度較低。
技術實現思路
1、第一方面,本技術提供了一種數據處理方法,所述方法包括:獲取第一數據;向端側發(fā)送根據所述第一數據,訓練得到的第一模型;所述第一模型為時序預測的基模型;獲取第二數據;所述第二數據和所述第一數據為不同類的數據;向端側發(fā)送根據所述第二數據,訓練得到的第二模型;所述第二模型用于預測和所述基模型的預測偏差相關的數據。
2、本技術的思路在于,將輸入數據進行分層,其中,每一層數據可以包括一類或者多類的時序數據,針對于每一層數據可以訓練對應的模型,最終的預測結果則是基于多個模型預測結果的融合,這樣使得即使部分層的數據缺失了,仍然可以利用未缺失的數據以及對應的模型進行預測,保證了預測效果。此外,由于不是將大量類別的數據作為同一個模型的輸入,使得即使部分類別的數據缺失,仍然可以使得算法模型可行有效。此外,由于預測偏差相關的數據的數值相比預測的數據主體來說很小,當用于預測偏差相關的數據的模型對應類別的輸入數據缺失時,對最終的預測數據的影響很小,進行使得在進行模型訓練或者推理時,由于用于預測待預測數據主體的模型的輸入數據的缺失可能性較低,使得用于待預測數據主體的模型被使用,提高了預測精度。
3、在一種可能的實現中,所述第二模型用于進行所述基模型的殘差預測。
4、在一種可能的實現中,所述第一數據和所述第二數據包括相同時間段內的時間序列數據。例如,第一數據和第二數據為相同時間段內的時間序列數據,或者第一數據和第二數據為存在部分重疊的時間段內的時間序列數據。
5、在一種可能的實現中,所述第一數據和所述第二數據包括對同一個場景在第一時間段內采集的數據,所述第一數據還包括在所述第一時間段之后的目標時刻采集的數據;所述向端側發(fā)送根據所述第二數據,訓練得到的第二模型之前,所述方法還包括:根據所述第一數據中所述第一時間段內采集的數據,通過所述第一模型,得到對所述目標時刻的預測數據;將所述預測數據和所述第一數據中在所述目標時刻采集的數據之間的殘差作為第一真值,根據所述第二數據中所述第一時間段內采集的數據,訓練得到第二模型。
6、在一種可能的實現中,可以將其中的一層或多層數據對應的模型的訓練時使用的真值設置為要預測的數據(為方便描述,該模型可以稱之為用于預測待預測數據主體的模型,也就是基模型),其他層的數據對應的模型的訓練時使用的真值設置為上述模型的預測殘差,預測殘差可以理解為模型的預測結果和真實結果之間的差異的預測結果。
7、在一種可能的實現中,所述方法還包括:獲取第三數據;所述第三數據、所述第二數據和所述第一數據為對同一個場景采集的不同類的時間序列數據;向端側發(fā)送根據所述第三數據,訓練得到的第三模型;所述第三模型用于預測和所述第二模型的預測偏差相關的數據。
8、在一種可能的實現中,所述第三模型用于預測所述第二模型的預測殘差的預測殘差。
9、在一種可能的實現中,所述第一數據、所述第二數據和所述第三數據包括對同一個場景在第一時間段內采集的數據,所述第一數據還包括在所述第一時間段之后的目標時刻采集的數據;所述向端側發(fā)送根據所述第三數據,訓練得到的第三模型之前,所述方法還包括:根據所述第二數據中所述第一時間段內采集的數據,通過所述第二模型,得到對所述第一模型的預測殘差;將所述預測殘差和所述第一真值之間的殘差作為第二真值,根據所述第三數據中所述第一時間段內采集的數據,訓練得到第三模型。
10、在一種可能的實現中,所述第一數據為第一類的傳感器數據,所述第二數據為第二類的傳感器數據;其中,采集所述第一類的傳感器數據時的數據缺失可能性低于采集所述第二類的傳感器數據時的數據缺失可能性;或者,所述第一模型用于基于所述第一類的傳感器數據預測第三類的傳感器數據,所述第一類的傳感器數據和所述第三類的傳感器數據之間的相關度高于所述第二類的傳感器數據和所述第三類的傳感器數據之間的相關度。其中,第一類和第三類相同或者不同。
11、在一種可能的實現中,所述方法還包括:接收到端側發(fā)送的指示信息;所述指示信息用于指示所述第一數據用于作為所述時序預測的基模型的訓練樣本。
12、在一種可能的實現中,所述第一數據和所述第二數據為資源采集場景中和有害物質相關的傳感器數據。
13、第二方面,本技術提供了一種數據處理方法,所述方法包括:
14、發(fā)送第一數據;
15、接收第一模型;所述第一模型為根據所述第一數據訓練得到的,所述第一模型為時序預測的基模型;
16、發(fā)送第二數據;所述第二數據和所述第一數據為不同類的數據;
17、接收第二模型;所述第二模型為根據所述第二數據訓練得到的,所述第二模型用于預測和所述基模型的預測偏差相關的數據。
18、在一種可能的實現中,所述第二模型用于進行所述基模型的殘差預測。
19、在一種可能的實現中,所述第一數據和所述第二數據包括相同時間段內的時間序列數據。
20、在一種可能的實現中,所述方法還包括:
21、發(fā)送第三數據;所述第三數據、所述第二數據和所述第一數據為對同一個場景采集的不同類的時間序列數據;
22、接收第三模型;所述第三模型為根據所述第三數據訓練得到的,所述第三模型用于預測和所述第二模型的預測偏差相關的數據。
23、在一種可能的實現中,所述第三模型用于預測所述第二模型的預測殘差的預測殘差。
24、在一種可能的實現中,所述第一數據為第一類的傳感器數據,所述第二數據為第二類的傳感器數據;其中,
25、采集所述第一類的傳感器數據時的數據缺失可能性低于采集所述第二類的傳感器數據時的數據缺失可能性;或者,
26、所述第一模型用于基于所述第一類的傳感器數據預測第三類的傳感器數據,所述第一類的傳感器數據和所述第三類的傳感器數據之間的相關度高于所述第二類的傳感器數據和所述第三類的傳感器數據之間的相關度。
27、在一種可能的實現中,所述方法還包括:
28、發(fā)送指示信息;所述指示信息用于指示所述第一數據用于作為所述時序預測的基模型的訓練樣本。
29、在一種可能的實現中,所述第一數據和所述第二數據為資源采集場景中和有害物質相關的傳感器數據。
30、第三方面,本技術提供了一種數據處理方法,所述方法包括:
31、獲取第一數據和第二數據;所述第一數據和所述第二數據為對同一場景在第一時間段內采集的不同類的數據;
32、根據所述第一數據和所述第二數據,得到目標數據;其中,所述目標數據為第一預測數據和第二預測數據的融合結果,所述第一預測數據為根據所述第一數據對所述第一時間段之后的目標時刻的數據進行預測得到的,所述第二預測數據為根據所述第二數據確定的與所述第一預測數據的預測偏差相關的數據。
33、在一種可能的實現中,所述第二預測數據為根據所述第二數據確定的所述第一預測數據的預測殘差。
34、在一種可能的實現中,所述第一數據和所述第二數據為時間序列數據。
35、在一種可能的實現中,所述根據所述第一數據和所述第二數據,得到目標數據,包括:
36、根據所述第一數據,得到在所述第一時間段之后的目標時刻的預測數據;
37、根據所述第二數據,得到第二預測數據;
38、根據所述第一預測數據和所述第二預測數據的融合結果,確定目標數據。
39、在一種可能的實現中,所述根據所述第一數據和所述第二數據,得到目標數據,包括:
40、向服務器發(fā)送所述第一數據和所述第二數據,并接收到來自所述服務器發(fā)送的目標數據。
41、在一種可能的實現中,所述第一數據為第一類的傳感器數據,所述第二數據為第二類的傳感器數據;其中,
42、采集所述第一類的傳感器數據時的數據缺失可能性低于采集所述第二類的傳感器數據時的數據缺失可能性;或者,
43、所述第一模型用于基于所述第一類的傳感器數據預測第三類的傳感器數據,所述第一類的傳感器數據和所述第三類的傳感器數據之間的相關度高于所述第二類的傳感器數據和所述第三類的傳感器數據之間的相關度。
44、在一種可能的實現中,所述方法還包括:
45、獲取第三數據;所述第三數據、所述第二數據和所述第一數據為對同一個場景采集的不同類的時間序列數據;
46、所述根據所述第一數據和所述第二數據,得到目標數據,包括:
47、根據所述第一數據、所述第二數據和所述第三數據,得到目標數據;所述目標數據為第一預測數據、第二預測數據和第三預測數據的融合結果,所述第三預測數據為根據所述第三數據確定的與所述第二預測數據的預測偏差相關的數據、或者,所述第三預測數據為根據所述第三數據確定的與所述第一預測數據的預測偏差相關的數據。
48、在一種可能的實現中,所述第三預測數據為根據所述第三數據確定的所述第一預測數據或者所述第二預測數據的預測殘差。
49、在一種可能的實現中,所述第一預測數據為根據所述第一數據通過第一模型對所述第一時間段之后的目標時刻的數據進行預測得到的,所述第二預測數據為根據所述第二數據通過第二模型確定的與所述第一預測數據的預測偏差相關的數據。
50、在一種可能的實現中,所述獲取第一數據和第二數據之前,所述方法還包括:
51、獲取或者向服務器發(fā)送第四數據和五數據;所述第四數據和所述第一數據為同一類的數據,所述第五數據和所述第二數據為同一類的數據;所述第一模型為根據所述第四數據訓練得到的,所述第二模型為根據所述第五數據訓練得到的。
52、在一種可能的實現中,所述第一數據和所述第二數據為資源采集場景中和有害物質相關的傳感器數據。
53、本技術還提供了一種數據處理方法,所述方法包括:
54、根據第一數據和第二數據,得到目標數據;其中,所述目標數據為第一預測數據和第二預測數據的融合結果,所述第一預測數據為根據所述第一數據對目標類的進行預測得到的,所述第二預測數據為根據所述第二數據確定的與所述第一預測數據的預測偏差相關的數據。
55、在一種可能的實現中,所述第一數據的優(yōu)先級高于所述第二數據,所述優(yōu)先級與如下的至少一項相關:和所述目標類的數據的相關度、數據質量。
56、在一種可能的實現中,所述第一模型為基模型,所述第一數據為基礎預測值。
57、在一種可能的實現中,所述方法還包括:
58、根據所述目標數據和預警閾值之間的關系,進行預警。
59、在一種可能的實現中,所述目標數據為瓦斯信息,所述第一數據和所述第二數據為和瓦斯信息相關的數據。
60、在一種可能的實現中,所述第一數據和所述第二數據為對同一場景在第一時間段內采集的不同類的數據;所述第一預測數據為根據所述第一數據對所述第一時間段之后的目標時刻的數據進行預測得到的。
61、在一種可能的實現中,所述第二預測數據為根據所述第二數據確定的所述第一預測數據的預測殘差。
62、在一種可能的實現中,所述第一數據和所述第二數據為時間序列數據。
63、在一種可能的實現中,所述根據所述第一數據和所述第二數據,得到目標數據,包括:
64、根據所述第一數據,得到在所述第一時間段之后的目標時刻的預測數據;
65、根據所述第二數據,得到第二預測數據;
66、根據所述第一預測數據和所述第二預測數據的融合結果,確定目標數據。
67、在一種可能的實現中,所述根據所述第一數據和所述第二數據,得到目標數據,包括:
68、向服務器發(fā)送所述第一數據和所述第二數據,并接收到來自所述服務器發(fā)送的目標數據。
69、在一種可能的實現中,所述第一數據為第一類的傳感器數據,所述第二數據為第二類的傳感器數據;其中,
70、采集所述第一類的傳感器數據時的數據缺失可能性低于采集所述第二類的傳感器數據時的數據缺失可能性;或者,
71、所述第一模型用于基于所述第一類的傳感器數據預測第三類的傳感器數據,所述第一類的傳感器數據和所述第三類的傳感器數據之間的相關度高于所述第二類的傳感器數據和所述第三類的傳感器數據之間的相關度。
72、在一種可能的實現中,所述方法還包括:
73、獲取第三數據;所述第三數據、所述第二數據和所述第一數據為對同一個場景采集的不同類的時間序列數據;
74、所述根據所述第一數據和所述第二數據,得到目標數據,包括:
75、根據所述第一數據、所述第二數據和所述第三數據,得到目標數據;所述目標數據為第一預測數據、第二預測數據和第三預測數據的融合結果,所述第三預測數據為根據所述第三數據確定的與所述第二預測數據的預測偏差相關的數據、或者,所述第三預測數據為根據所述第三數據確定的與所述第一預測數據的預測偏差相關的數據。
76、在一種可能的實現中,所述第三預測數據為根據所述第三數據確定的所述第一預測數據或者所述第二預測數據的預測殘差。
77、在一種可能的實現中,所述第一預測數據為根據所述第一數據通過第一模型對所述第一時間段之后的目標時刻的數據進行預測得到的,所述第二預測數據為根據所述第二數據通過第二模型確定的與所述第一預測數據的預測偏差相關的數據。
78、在一種可能的實現中,所述獲取第一數據和第二數據之前,所述方法還包括:
79、獲取或者向服務器發(fā)送第四數據和五數據;所述第四數據和所述第一數據為同一類的數據,所述第五數據和所述第二數據為同一類的數據;所述第一模型為根據所述第四數據訓練得到的,所述第二模型為根據所述第五數據訓練得到的。
80、在一種可能的實現中,所述第一數據和所述第二數據為資源采集場景中和有害物質相關的傳感器數據。
81、第四方面,本技術提供了一種數據處理裝置,所述裝置包括:
82、處理模塊,用于獲取第一數據;獲取第二數據;所述第二數據和所述第一數據為不同類的數據;
83、收發(fā)模塊,用于向端側發(fā)送根據所述第二數據,訓練得到的第二模型;所述第二模型用于預測和所述基模型的預測偏差相關的數據。
84、在一種可能的實現中,所述第二模型用于進行所述基模型的殘差預測。
85、在一種可能的實現中,所述第一數據和所述第二數據包括相同時間段內的時間序列數據。
86、在一種可能的實現中,所述第一數據和所述第二數據包括對同一個場景在第一時間段內采集的數據,所述第一數據還包括在所述第一時間段之后的目標時刻采集的數據;
87、所述向端側發(fā)送根據所述第二數據,訓練得到的第二模型之前,所述處理模塊,還用于:
88、根據所述第一數據中所述第一時間段內采集的數據,通過所述第一模型,得到對所述目標時刻的預測數據;
89、將所述預測數據和所述第一數據中在所述目標時刻采集的數據之間的殘差作為第一真值,根據所述第二數據中所述第一時間段內采集的數據,訓練得到第二模型。
90、在一種可能的實現中,所述處理模塊,還用于:
91、獲取第三數據;所述第三數據、所述第二數據和所述第一數據為對同一個場景采集的不同類的時間序列數據;
92、所述收發(fā)模塊,還用于:向端側發(fā)送根據所述第三數據,訓練得到的第三模型;所述第三模型用于預測和所述第二模型的預測偏差相關的數據。
93、在一種可能的實現中,所述第三模型用于預測所述第二模型的預測殘差的預測殘差。
94、在一種可能的實現中,所述第一數據、所述第二數據和所述第三數據包括對同一個場景在第一時間段內采集的數據,所述第一數據還包括在所述第一時間段之后的目標時刻采集的數據;
95、所述處理模塊,還用于在所述向端側發(fā)送根據所述第三數據,訓練得到的第三模型之前,根據所述第二數據中所述第一時間段內采集的數據,通過所述第二模型,得到對所述第一模型的預測殘差;
96、將所述預測殘差和所述第一真值之間的殘差作為第二真值,根據所述第三數據中所述第一時間段內采集的數據,訓練得到第三模型。
97、在一種可能的實現中,所述第一數據為第一類的傳感器數據,所述第二數據為第二類的傳感器數據;其中,
98、采集所述第一類的傳感器數據時的數據缺失可能性低于采集所述第二類的傳感器數據時的數據缺失可能性;或者,
99、所述第一模型用于基于所述第一類的傳感器數據預測第三類的傳感器數據,所述第一類的傳感器數據和所述第三類的傳感器數據之間的相關度高于所述第二類的傳感器數據和所述第三類的傳感器數據之間的相關度。
100、在一種可能的實現中,所述第一數據和所述第二數據為資源采集場景中和有害物質相關的傳感器數據。
101、第五方面,本技術提供了一種數據處理裝置,所述裝置包括:
102、收發(fā)模塊,用于發(fā)送第一數據;
103、接收第一模型;所述第一模型為根據所述第一數據訓練得到的,所述第一模型為時序預測的基模型;
104、發(fā)送第二數據;所述第二數據和所述第一數據為不同類的數據;
105、接收第二模型;所述第二模型為根據所述第二數據訓練得到的,所述第二模型用于預測和所述基模型的預測偏差相關的數據。
106、在一種可能的實現中,所述第二模型用于進行所述基模型的殘差預測。
107、在一種可能的實現中,所述第一數據和所述第二數據包括相同時間段內的時間序列數據。
108、在一種可能的實現中,所述收發(fā)模塊,還用于:
109、發(fā)送第三數據;所述第三數據、所述第二數據和所述第一數據為對同一個場景采集的不同類的時間序列數據;
110、接收第三模型;所述第三模型為根據所述第三數據訓練得到的,所述第三模型用于預測和所述第二模型的預測偏差相關的數據。
111、在一種可能的實現中,所述第三模型用于預測所述第二模型的預測殘差的預測殘差。
112、在一種可能的實現中,所述第一數據為第一類的傳感器數據,所述第二數據為第二類的傳感器數據;其中,
113、采集所述第一類的傳感器數據時的數據缺失可能性低于采集所述第二類的傳感器數據時的數據缺失可能性;或者,
114、所述第一模型用于基于所述第一類的傳感器數據預測第三類的傳感器數據,所述第一類的傳感器數據和所述第三類的傳感器數據之間的相關度高于所述第二類的傳感器數據和所述第三類的傳感器數據之間的相關度。
115、在一種可能的實現中,所述收發(fā)模塊,還用于:
116、發(fā)送指示信息;所述指示信息用于指示所述第一數據用于作為所述時序預測的基模型的訓練樣本。
117、在一種可能的實現中,所述第一數據和所述第二數據為資源采集場景中和有害物質相關的傳感器數據。
118、第六方面,本技術提供了一種數據處理裝置,所述裝置包括:
119、處理模塊,用于獲取第一數據和第二數據;所述第一數據和所述第二數據為對同一場景在第一時間段內采集的不同類的數據;
120、根據所述第一數據和所述第二數據,得到目標數據;其中,所述目標數據為第一預測數據和第二預測數據的融合結果,所述第一預測數據為根據所述第一數據對所述第一時間段之后的目標時刻的數據進行預測得到的,所述第二預測數據為根據所述第二數據確定的與所述第一預測數據的預測偏差相關的數據。
121、在一種可能的實現中,所述第二預測數據為根據所述第二數據確定的所述第一預測數據的預測殘差。
122、在一種可能的實現中,所述第一數據和所述第二數據為時間序列數據。
123、在一種可能的實現中,所述處理模塊,具體用于:
124、根據所述第一數據,得到在所述第一時間段之后的目標時刻的預測數據;
125、根據所述第二數據,得到第二預測數據;
126、根據所述第一預測數據和所述第二預測數據的融合結果,確定目標數據。
127、在一種可能的實現中,所述處理模塊,具體用于:
128、向服務器發(fā)送所述第一數據和所述第二數據,并接收到來自所述服務器發(fā)送的目標數據。
129、在一種可能的實現中,所述第一數據為第一類的傳感器數據,所述第二數據為第二類的傳感器數據;其中,
130、采集所述第一類的傳感器數據時的數據缺失可能性低于采集所述第二類的傳感器數據時的數據缺失可能性;或者,
131、所述第一模型用于基于所述第一類的傳感器數據預測第三類的傳感器數據,所述第一類的傳感器數據和所述第三類的傳感器數據之間的相關度高于所述第二類的傳感器數據和所述第三類的傳感器數據之間的相關度。
132、在一種可能的實現中,所述處理模塊,還用于:
133、獲取第三數據;所述第三數據、所述第二數據和所述第一數據為對同一個場景采集的不同類的時間序列數據;
134、所述處理模塊,具體用于:
135、根據所述第一數據、所述第二數據和所述第三數據,得到目標數據;所述目標數據為第一預測數據、第二預測數據和第三預測數據的融合結果,所述第三預測數據為根據所述第三數據確定的與所述第二預測數據的預測偏差相關的數據、或者,所述第三預測數據為根據所述第三數據確定的與所述第一預測數據的預測偏差相關的數據。
136、在一種可能的實現中,所述第三預測數據為根據所述第三數據確定的所述第一預測數據或者所述第二預測數據的預測殘差。
137、在一種可能的實現中,所述第一預測數據為根據所述第一數據通過第一模型對所述第一時間段之后的目標時刻的數據進行預測得到的,所述第二預測數據為根據所述第二數據通過第二模型確定的與所述第一預測數據的預測偏差相關的數據。
138、在一種可能的實現中,所述處理模塊,還用于:在所述獲取第一數據和第二數據之前,獲取或者向服務器發(fā)送第四數據和五數據;所述第四數據和所述第一數據為同一類的數據,所述第五數據和所述第二數據為同一類的數據;所述第一模型為根據所述第四數據訓練得到的,所述第二模型為根據所述第五數據訓練得到的。
139、在一種可能的實現中,所述第一數據和所述第二數據為資源采集場景中和有害物質相關的傳感器數據。
140、第七方面,本技術實施例提供了一種數據處理裝置,可以包括存儲器、處理器以及總線系統,其中,存儲器用于存儲程序,處理器用于執(zhí)行存儲器中的程序,以執(zhí)行如上述第一方面及其任一可選的方法、上述第二方面及其任一可選的方法或者上述第三方面及其任一可選的方法。
141、第八方面,本技術實施例提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質中存儲有計算機程序,當其在計算機上運行時,使得計算機執(zhí)行上述第一方面及其任一可選的方法、上述第二方面及其任一可選的方法或者上述第三方面及其任一可選的方法。
142、第九方面,本技術實施例提供了一種計算機程序,當其在計算機上運行時,使得計算機執(zhí)行上述第一方面及其任一可選的方法、上述第二方面及其任一可選的方法或者上述第三方面及其任一可選的方法。
143、第十方面,本技術提供了一種芯片系統,該芯片系統包括處理器,用于支持數據處理裝置實現上述方面中所涉及的功能,例如,發(fā)送或處理上述方法中所涉及的數據;或,信息。在一種可能的設計中,所述芯片系統還包括存儲器,所述存儲器,用于保存執(zhí)行設備或訓練設備必要的程序指令和數據。該芯片系統,可以由芯片構成,也可以包括芯片和其他分立器件。