本申請屬于人工智能，尤其涉及一種數(shù)據(jù)收集方法、裝置、電子設備及存儲介質(zhì)。

背景技術(shù)：

1、目前，在自動機器學習平臺中，按照機器學習的主要模塊劃分，自動機器學習算法主要圍繞和解決特征工程、模型訓練與模型評估等模塊的自動化，而對于問題定義、數(shù)據(jù)收集和模型部署等環(huán)節(jié)仍主要依賴于人工介入。

2、因此，如何實現(xiàn)數(shù)據(jù)收集的自動化，以提高自動機器學習平臺的自動化程度，降低用戶使用門檻和便捷性成為當前亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本申請實施例的目的是提供一種數(shù)據(jù)收集方法、裝置、電子設備及存儲介質(zhì)，以實現(xiàn)數(shù)據(jù)收集的自動化，從而提高自動機器學習平臺的自動化程度，降低用戶使用門檻和便捷性。

2、為實現(xiàn)上述目的，本申請實施例采用下述技術(shù)方案：

3、第一方面，本申請實施例提供一種數(shù)據(jù)收集方法，包括：獲取待執(zhí)行機器學習任務的描述信息；根據(jù)所述待執(zhí)行機器學習任務的描述信息，在對應領域的知識庫中確定所述待執(zhí)行機器學習任務對應的候選數(shù)據(jù)表名稱；根據(jù)所述候選數(shù)據(jù)表名稱和數(shù)據(jù)湖中各數(shù)據(jù)表對應的數(shù)據(jù)表元信息，在所述數(shù)據(jù)湖的多個數(shù)據(jù)表中確定所述待執(zhí)行機器學習任務對應的候選數(shù)據(jù)表；根據(jù)所述待執(zhí)行機器學習任務的描述信息，確定所述待執(zhí)行機器學習任務的基本字段名稱；判斷所述候選數(shù)據(jù)表中是否包括所述基本字段名稱；若包括，則將所述候選數(shù)據(jù)表和所述基本字段名稱輸入至下游的特征工程模塊；若不包括，則確定所述候選數(shù)據(jù)表中與所述基本字段名稱關(guān)聯(lián)的關(guān)聯(lián)字段名稱，并將所述候選數(shù)據(jù)表和所述關(guān)聯(lián)字段名稱輸入至所述特征工程模塊。

4、第二方面，本申請實施例提供一種數(shù)據(jù)收集裝置，包括：獲取模塊，用于獲取待執(zhí)行機器學習任務的描述信息；第一確定模塊，用于根據(jù)所述待執(zhí)行機器學習任務的描述信息，在對應領域的知識庫中確定所述待執(zhí)行機器學習任務對應的候選數(shù)據(jù)表名稱；第二確定模塊，用于根據(jù)所述候選數(shù)據(jù)表名稱和數(shù)據(jù)湖中各數(shù)據(jù)表對應的數(shù)據(jù)表元信息，在所述數(shù)據(jù)湖的多個數(shù)據(jù)表中確定所述待執(zhí)行機器學習任務對應的候選數(shù)據(jù)表；第三確定模塊，用于根據(jù)所述待執(zhí)行機器學習任務的描述信息，確定所述待執(zhí)行機器學習任務的基本字段名稱；處理模塊，用于判斷所述候選數(shù)據(jù)表中是否包括所述基本字段名稱；若包括，則將所述候選數(shù)據(jù)表和所述基本字段名稱輸入至下游的特征工程模塊；若不包括，則確定所述候選數(shù)據(jù)表中與所述基本字段名稱關(guān)聯(lián)的關(guān)聯(lián)字段名稱，并將所述候選數(shù)據(jù)表和所述關(guān)聯(lián)字段名稱輸入至所述特征工程模塊。

5、第三方面，本申請實施例提供一種電子設備，包括：處理器，存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執(zhí)行時實現(xiàn)如本申請第一方面實施例所述方法的步驟。

6、第四方面，本申請實施例提供一種可讀存儲介質(zhì)，所述可讀存儲介質(zhì)上存儲程序或指令，所述程序或指令被處理器執(zhí)行時實現(xiàn)如本申請第一方面實施例所述方法的步驟。

7、本申請實施例采用的上述至少一個技術(shù)方案能夠達到以下有益效果：

8、本申請實施例獲取待執(zhí)行機器學習任務的描述信息，根據(jù)待執(zhí)行機器學習任務的描述信息，在對應領域的知識庫中確定待執(zhí)行機器學習任務對應的候選數(shù)據(jù)表名稱，根據(jù)候選數(shù)據(jù)表名稱，在數(shù)據(jù)湖中確定待執(zhí)行機器學習任務對應的候選數(shù)據(jù)表。本申請實施例基于用戶輸入的待執(zhí)行機器學習任務的描述信息，即可自動化地實現(xiàn)數(shù)據(jù)收集，提高了自動機器學習平臺的自動化程度，且整個過程僅需用戶使用自然語言輸入待執(zhí)行機器學習任務的描述信息，降低用戶使用門檻和便捷性。

技術(shù)特征：

1.一種數(shù)據(jù)收集方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述知識庫中包括多個文檔，所述文檔中包括機器學習任務的描述信息和所述機器學習任務對應的數(shù)據(jù)表名稱；

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述文檔中還包括：所述數(shù)據(jù)表名稱對應的字段名稱；

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對所述候選數(shù)據(jù)表進行探索性數(shù)據(jù)分析，得到分析結(jié)果，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述分析結(jié)果，判斷所述候選數(shù)據(jù)表是否滿足質(zhì)量要求，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述待執(zhí)行機器學習任務的描述信息，在對應領域的知識庫中確定所述待執(zhí)行機器學習任務對應的候選數(shù)據(jù)表名稱，包括：

8.一種數(shù)據(jù)收集裝置，其特征在于，包括：

9.一種電子設備，其特征在于，包括處理器，存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的方法的步驟。

10.一種可讀存儲介質(zhì)，其特征在于，所述可讀存儲介質(zhì)上存儲程序或指令，所述程序或指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的方法的步驟。

技術(shù)總結(jié)
本申請公開了一種數(shù)據(jù)收集方法、裝置、電子設備及存儲介質(zhì)，涉及人工智能技術(shù)領域。其中，該方法包括：根據(jù)待執(zhí)行機器學習任務的描述信息，在對應領域的知識庫中確定對應的候選數(shù)據(jù)表名稱；根據(jù)候選數(shù)據(jù)表名稱和數(shù)據(jù)湖中各數(shù)據(jù)表對應的數(shù)據(jù)表元信息，在數(shù)據(jù)湖的多個數(shù)據(jù)表中確定候選數(shù)據(jù)表；根據(jù)描述信息確定待執(zhí)行機器學習任務的基本字段名稱和關(guān)聯(lián)字段名稱，并和候選數(shù)據(jù)表一起輸入至下游的特征工程模塊。本申請基于用戶輸入的待執(zhí)行機器學習任務的描述信息，即可自動化地實現(xiàn)數(shù)據(jù)收集，提高了自動機器學習平臺的自動化程度，且整個過程僅需用戶使用自然語言輸入待執(zhí)行機器學習任務的描述信息，降低用戶使用門檻和便捷性。

技術(shù)研發(fā)人員：欒紅志,張威,邱星,王婷
受保護的技術(shù)使用者：杭州?？低晹?shù)字技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/6/30