本申請總體上涉及人工智能(ai)領(lǐng)域，并且更具體地涉及ai模型的訓(xùn)練測評裝置及方法。
背景技術(shù)：
1、近些年，隨著人工智能技術(shù)的飛速發(fā)展，越來越多的ai模型被應(yīng)用到各個(gè)領(lǐng)域中，而一個(gè)ai模型的產(chǎn)生通常要經(jīng)歷模型訓(xùn)練和模型測評兩個(gè)階段。
2、模型訓(xùn)練是指通過大量的訓(xùn)練數(shù)據(jù)進(jìn)行模型參數(shù)的訓(xùn)練、調(diào)優(yōu)的過程；而模型測評則是指通過部分預(yù)先準(zhǔn)備、設(shè)計(jì)好的測試數(shù)據(jù)對訓(xùn)練過程中產(chǎn)生的ai模型進(jìn)行測試的過程。模型測評過程結(jié)束后通常會產(chǎn)生一些被測評模型在測試數(shù)據(jù)中的測試結(jié)果，例如圖像、指標(biāo)等。這些指標(biāo)能夠反應(yīng)ai模型的效果，從而幫助算法人員挑選效果較好的模型來應(yīng)用于生產(chǎn)中。
3、當(dāng)前ai模型的訓(xùn)練和測評通常都是算法人員全手動完成的。例如，算法人員訓(xùn)練產(chǎn)生一個(gè)模型后會暫時(shí)中斷訓(xùn)練，并手動取出模型運(yùn)行測評流程對模型進(jìn)行測評，在測評完成后根據(jù)模型測評的結(jié)果以決定是否繼續(xù)發(fā)起訓(xùn)練；或者在訓(xùn)練全部完成后同時(shí)取出訓(xùn)練產(chǎn)生的多個(gè)模型，依次對每個(gè)模型運(yùn)行測評流程，待所有測評流程運(yùn)行完成后，再手動選擇最優(yōu)模型。
4、這種全手動方式的訓(xùn)練測評過程由于包含了太多的人工操作帶來了測評效率低、人力成本高等問題。
技術(shù)實(shí)現(xiàn)思路
1、鑒于以上所述的問題，根據(jù)本申請實(shí)施例的一個(gè)方面，提供了一種用于ai模型的訓(xùn)練測評的裝置，包括：存儲器，用于存儲程序指令；以及處理器，該處理器與存儲器耦合，并且被配置為執(zhí)行程序指令來：創(chuàng)建應(yīng)用于容器化應(yīng)用管理平臺的流程任務(wù)模板，該流程任務(wù)模板包括：與ai模型的訓(xùn)練測評任務(wù)相關(guān)聯(lián)的流程配置信息、以及訓(xùn)練測評任務(wù)中的各個(gè)步驟所對應(yīng)的階段標(biāo)志；并且響應(yīng)于接收到持續(xù)訓(xùn)練測評任務(wù)的啟動命令，執(zhí)行以下操作：查詢流程任務(wù)模板，根據(jù)流程任務(wù)模板中的流程配置信息和階段標(biāo)志，對訓(xùn)練測評任務(wù)進(jìn)行階段拆分以構(gòu)建訓(xùn)練階段任務(wù)，根據(jù)訓(xùn)練階段任務(wù)進(jìn)行產(chǎn)物逃逸分析，以生成與訓(xùn)練階段任務(wù)相關(guān)聯(lián)的產(chǎn)物逃逸分析結(jié)果，基于與訓(xùn)練階段任務(wù)相關(guān)聯(lián)的產(chǎn)物逃逸結(jié)果，啟動訓(xùn)練階段任務(wù)，并且當(dāng)訓(xùn)練階段任務(wù)達(dá)到預(yù)定的訓(xùn)練階段性節(jié)點(diǎn)時(shí)，在不中斷訓(xùn)練階段任務(wù)的情況下，啟動一個(gè)或多個(gè)測評階段任務(wù)的并發(fā)運(yùn)行。
2、根據(jù)本申請實(shí)施例的另一方面，提供了用于ai模型的訓(xùn)練測評的方法，包括：創(chuàng)建應(yīng)用于容器化應(yīng)用管理平臺的流程任務(wù)模板，該流程任務(wù)模板包括：與ai模型的訓(xùn)練測評任務(wù)相關(guān)聯(lián)的流程配置信息、以及訓(xùn)練測評任務(wù)中的各個(gè)步驟所對應(yīng)的階段標(biāo)志；并且響應(yīng)于接收到持續(xù)訓(xùn)練測評任務(wù)的啟動命令：查詢流程任務(wù)模板，根據(jù)流程任務(wù)模板中的流程配置信息和階段標(biāo)志，對訓(xùn)練測評任務(wù)進(jìn)行階段拆分以構(gòu)建訓(xùn)練階段任務(wù)，根據(jù)訓(xùn)練階段任務(wù)進(jìn)行產(chǎn)物逃逸分析，以生成與訓(xùn)練階段任務(wù)相關(guān)聯(lián)的產(chǎn)物逃逸分析結(jié)果，基于與訓(xùn)練階段任務(wù)相關(guān)聯(lián)的產(chǎn)物逃逸結(jié)果，啟動訓(xùn)練階段任務(wù)，并且當(dāng)訓(xùn)練階段任務(wù)達(dá)到預(yù)定的訓(xùn)練階段性節(jié)點(diǎn)時(shí)，在不中斷訓(xùn)練階段任務(wù)的情況下，啟動一個(gè)或多個(gè)測評階段任務(wù)的并發(fā)運(yùn)行。
3、根據(jù)本申請實(shí)施例的又一方面，提供了一種機(jī)器可讀介質(zhì)，其上存儲有程序指令，該程序指令在被處理器執(zhí)行時(shí)使得處理器執(zhí)行如上所述的用于ai模型的訓(xùn)練測評的方法。
4、根據(jù)本申請實(shí)施例的又一方面，提供了一種用于ai模型的訓(xùn)練測評的設(shè)備，包括用于執(zhí)行如上所述的用于ai模型的訓(xùn)練測評的方法的裝置。
5、根據(jù)本申請實(shí)施例的用于ai模型的訓(xùn)練測評的裝置、方法、設(shè)備和機(jī)器可讀介質(zhì)，抽象并固化了ai模型的訓(xùn)練測評流程配置，實(shí)現(xiàn)了ai模型的持續(xù)訓(xùn)練測評，在訓(xùn)練測評過程中減少了人工的參與，解決了模型訓(xùn)練和模型測評無法并行進(jìn)行的問題，從而可以提高ai模型開發(fā)的效率。
6、此外，根據(jù)本申請的一些實(shí)施例，還可以實(shí)現(xiàn)統(tǒng)一的ai模型單次/持續(xù)訓(xùn)練測評方法。在這些實(shí)施例中，平臺可以響應(yīng)于用戶輸入的單次訓(xùn)練測評啟動命令或持續(xù)訓(xùn)練測評啟動命令，相應(yīng)地啟動單次訓(xùn)練測評或持續(xù)訓(xùn)練測評程序。即，經(jīng)過統(tǒng)一的訓(xùn)練測評配置后，用戶既可以選擇運(yùn)行單次訓(xùn)練測評任務(wù)，也可以在不修改配置的情況下，選擇運(yùn)行持續(xù)訓(xùn)練測評任務(wù)。
1.一種用于人工智能ai模型的訓(xùn)練測評的裝置，包括：
2.根據(jù)權(quán)利要求1所述的裝置，其中，啟動一個(gè)或多個(gè)測評階段任務(wù)的并發(fā)運(yùn)行包括針對所述一個(gè)或多個(gè)測評階段任務(wù)中的每個(gè)測評階段任務(wù)來執(zhí)行以下操作：
3.根據(jù)權(quán)利要求1所述的裝置，其中，所述預(yù)定的訓(xùn)練階段性節(jié)點(diǎn)包括：所述訓(xùn)練階段任務(wù)達(dá)到階段性模型訓(xùn)練目標(biāo)的節(jié)點(diǎn)、或者所述訓(xùn)練階段任務(wù)達(dá)到預(yù)定義的訓(xùn)練迭代次數(shù)的節(jié)點(diǎn)。
4.根據(jù)權(quán)利要求1所述的裝置，其中，根據(jù)所述訓(xùn)練階段任務(wù)進(jìn)行產(chǎn)物逃逸分析包括：
5.根據(jù)權(quán)利要求2所述的裝置，其中，根據(jù)所述測評階段任務(wù)進(jìn)行產(chǎn)物逃逸分析包括：
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的裝置，其中，所述訓(xùn)練階段任務(wù)被配置有關(guān)聯(lián)的代理容器，并且啟動所述訓(xùn)練測評任務(wù)中的測評階段任務(wù)包括：利用所述代理容器，通過調(diào)用所述容器化應(yīng)用管理平臺的服務(wù)接口來啟動所述一個(gè)或多個(gè)測評階段任務(wù)的并發(fā)運(yùn)行。
7.根據(jù)權(quán)利要求6所述的裝置，其中，所述操作還包括：利用所述代理容器根據(jù)所述產(chǎn)物逃逸分析結(jié)果存儲產(chǎn)物文件，并輔助實(shí)現(xiàn)所述產(chǎn)物文件在所述訓(xùn)練階段任務(wù)與所述一個(gè)或多個(gè)測評階段任務(wù)之間的傳遞。
8.根據(jù)權(quán)利要求6所述的裝置，其中，所述訓(xùn)練階段任務(wù)通過專用的軟件開發(fā)工具包sdk與所述代理容器交互，以通知所述代理容器對與所述訓(xùn)練階段任務(wù)相關(guān)聯(lián)的產(chǎn)物進(jìn)行更新，以及啟動所述一個(gè)或多個(gè)測評階段任務(wù)的并發(fā)運(yùn)行。
9.根據(jù)權(quán)利要求6所述的裝置，其中，所述代理容器是基于用于所述容器化應(yīng)用管理平臺的sidecar架構(gòu)模式的sidecar代理容器。
10.根據(jù)權(quán)利要求1所述的裝置，其中，所述處理器還被配置為執(zhí)行所述程序指令來：
11.根據(jù)權(quán)利要求1所述的裝置，其中，創(chuàng)建應(yīng)用于容器化應(yīng)用管理平臺的流程任務(wù)模板包括：
12.根據(jù)權(quán)利要求11所述的裝置，其中，所述ai模型包括圖像檢測模型，所述任務(wù)步驟組成包括圖像預(yù)處理步驟、模型訓(xùn)練步驟、模型測評步驟和后處理步驟。
13.一種用于人工智能ai模型的訓(xùn)練測評的方法，包括：
14.根據(jù)權(quán)利要求13所述的方法，其中，啟動一個(gè)或多個(gè)測評階段任務(wù)的并發(fā)運(yùn)行包括針對所述一個(gè)或多個(gè)測評階段任務(wù)中的每個(gè)測評階段任務(wù)來執(zhí)行以下操作：
15.根據(jù)權(quán)利要求13所述的方法，其中，所述預(yù)定的訓(xùn)練階段性節(jié)點(diǎn)包括：所述訓(xùn)練階段任務(wù)達(dá)到階段性模型訓(xùn)練目標(biāo)的節(jié)點(diǎn)、或者所述訓(xùn)練階段任務(wù)達(dá)到預(yù)定義的訓(xùn)練迭代次數(shù)的節(jié)點(diǎn)。
16.根據(jù)權(quán)利要求13所述的方法，其中，根據(jù)所述訓(xùn)練階段任務(wù)進(jìn)行產(chǎn)物逃逸分析包括：
17.根據(jù)權(quán)利要求14所述的方法，其中，根據(jù)所述測評階段任務(wù)進(jìn)行產(chǎn)物逃逸分析包括：
18.根據(jù)權(quán)利要求13至17中任一項(xiàng)所述的方法，其中，所述訓(xùn)練階段任務(wù)被配置有關(guān)聯(lián)的代理容器，并且啟動所述訓(xùn)練測評任務(wù)中的測評階段任務(wù)包括：利用所述代理容器，通過調(diào)用所述容器化應(yīng)用管理平臺的服務(wù)接口來啟動所述一個(gè)或多個(gè)測評階段任務(wù)的并發(fā)運(yùn)行。
19.根據(jù)權(quán)利要求18所述的方法，還包括：利用所述代理容器根據(jù)所述產(chǎn)物逃逸分析結(jié)果存儲產(chǎn)物文件，并輔助實(shí)現(xiàn)所述產(chǎn)物文件在所述訓(xùn)練階段任務(wù)與所述一個(gè)或多個(gè)測評階段任務(wù)之間的傳遞。
20.根據(jù)權(quán)利要求18所述的方法，其中，所述訓(xùn)練階段任務(wù)通過專用的軟件開發(fā)工具包sdk與所述代理容器交互，以通知所述代理容器對與所述訓(xùn)練階段任務(wù)相關(guān)聯(lián)的產(chǎn)物進(jìn)行更新，以及啟動所述一個(gè)或多個(gè)測評階段任務(wù)的并發(fā)運(yùn)行。
21.根據(jù)權(quán)利要求18所述的方法，其中，所述代理容器是基于用于所述容器化應(yīng)用管理平臺的sidecar架構(gòu)模式的sidecar代理容器。
22.根據(jù)權(quán)利要求13所述的方法，還包括：
23.根據(jù)權(quán)利要求13所述的方法，其中，創(chuàng)建應(yīng)用于容器化應(yīng)用管理平臺的流程任務(wù)模板包括：
24.根據(jù)權(quán)利要求23所述的方法，其中，所述ai模型包括圖像檢測模型，所述任務(wù)步驟組成包括圖像預(yù)處理步驟、模型訓(xùn)練步驟、模型測評步驟和后處理步驟。
25.一種機(jī)器可讀介質(zhì)，其上存儲有程序指令，所述程序指令在被處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如權(quán)利要求13至24中任一項(xiàng)所述的用于人工智能ai模型的訓(xùn)練測評的方法。
26.一種用于人工智能ai模型的訓(xùn)練測評的設(shè)備，包括用于執(zhí)行如權(quán)利要求13至24中任一項(xiàng)所述的用于ai模型的訓(xùn)練測評的方法的裝置。