本說明書涉及計算機，尤其涉及一種基于k8s的flink集群部署管理方法、設(shè)備及介質(zhì)。
背景技術(shù)：
1、隨著大數(shù)據(jù)技術(shù)的飛速發(fā)展，flink集群強大的分布式計算能力使其能夠高效處理海量數(shù)據(jù)，無論是離線批處理任務(wù)，如企業(yè)級數(shù)據(jù)倉庫的構(gòu)建與數(shù)據(jù)分析，對大規(guī)模歷史數(shù)據(jù)進(jìn)行深度挖掘以獲取有價值的商業(yè)洞察；還是實時流處理場景，如金融領(lǐng)域的實時風(fēng)險監(jiān)測，即時捕捉異常交易信號，以及互聯(lián)網(wǎng)行業(yè)的實時推薦系統(tǒng)，依據(jù)用戶實時行為精準(zhǔn)推送個性化內(nèi)容等，都反映了flink集群對于提升業(yè)務(wù)效率和競爭力的關(guān)鍵作用。
2、然而，在實際應(yīng)用中，現(xiàn)有的flink集群部署方法卻存在諸多弊端。傳統(tǒng)的部署流程往往依賴大量手動步驟，從基礎(chǔ)環(huán)境搭建開始，運維人員就需在每一臺目標(biāo)服務(wù)器上逐一安裝flink運行所需的各類依賴軟件，包括精確配置合適版本的java運行時環(huán)境，以及其他系統(tǒng)級別的庫文件和工具。隨后進(jìn)入復(fù)雜繁瑣的配置階段，對于flink集群中的核心組件job?manager和task?manager，需要手動編輯配置文件來設(shè)定眾多關(guān)鍵參數(shù)，設(shè)置不合理就可能影響整個集群的性能表現(xiàn)。
3、另外，現(xiàn)有的手動部署flink集群方式，無法實現(xiàn)資源的高效動態(tài)分配。在業(yè)務(wù)高峰期，可能因資源分配不足而出現(xiàn)任務(wù)處理延遲甚至失敗的情況，影響業(yè)務(wù)的實時性和準(zhǔn)確性；而在業(yè)務(wù)低谷期，無法自動縮減資源占用，造成資源的閑置浪費，增加不必要的成本支出。此外，手動部署帶來的配置不一致性問題也不容忽視。不同運維人員的操作習(xí)慣和技術(shù)水平存在差異，可能導(dǎo)致各個節(jié)點上的flink集群配置不盡相同，這種差異在大規(guī)模集群環(huán)境下極易引發(fā)穩(wěn)定性隱患和性能瓶頸，使得故障排查和性能優(yōu)化工作變得異常復(fù)雜，制約了flink集群在復(fù)雜業(yè)務(wù)場景下的應(yīng)用和發(fā)展。
4、因此，傳統(tǒng)的部署flink集群的方式中部署參數(shù)的設(shè)置依賴大量手動步驟，并且在配置參數(shù)之后缺少動態(tài)調(diào)整的過程，無法滿足不同業(yè)務(wù)場景下的數(shù)據(jù)處理需求。
技術(shù)實現(xiàn)思路
1、本說明書一個或多個實施例提供了一種基于k8s的flink集群部署管理方法、設(shè)備及介質(zhì)，用于解決如下技術(shù)問題：傳統(tǒng)的部署flink集群的方式中部署參數(shù)的設(shè)置依賴大量手動步驟，并且在配置參數(shù)之后缺少動態(tài)調(diào)整的過程，無法滿足不同業(yè)務(wù)場景下的數(shù)據(jù)處理需求。
2、本說明書一個或多個實施例采用下述技術(shù)方案：
3、本說明書一個或多個實施例提供一種基于k8s的flink集群部署管理方法，所述方法包括：獲取用戶輸入的集群配置需求信息，以基于所述集群配置需求信息，生成flink集群配置模板；將所述flink集群配置模板轉(zhuǎn)換為k8s容器內(nèi)的資源對象定義信息，以利用所述資源對象定義信息，創(chuàng)建flink集群對應(yīng)的多個組件資源；獲取所述flink集群對應(yīng)的部署環(huán)境信息，基于所述部署環(huán)境信息對所述多個組件資源進(jìn)行部署前驗證，驗證通過后，將所述flink集群對應(yīng)的多個組件資源部署至目標(biāo)運行環(huán)境中；監(jiān)測所述flink集群在所述目標(biāo)運行環(huán)境中的實時性能指標(biāo)，以根據(jù)預(yù)先設(shè)置的動態(tài)調(diào)整策略和所述實時性能指標(biāo)，對所述flink集群進(jìn)行調(diào)整，其中，所述調(diào)整包括自適應(yīng)縮放操作和自適應(yīng)配置參數(shù)調(diào)整中的任意一項或多項。
4、本說明書一個或多個實施例提供一種基于k8s的flink集群部署管理設(shè)備，包括：
5、至少一個處理器；以及，
6、與所述至少一個處理器通信連接的存儲器；其中，
7、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述方法。
8、本說明書一個或多個實施例提供的一種非易失性計算機存儲介質(zhì)，存儲有計算機可執(zhí)行指令，所述計算機可執(zhí)行指令設(shè)置為：執(zhí)行上述方法。
9、本說明書實施例采用的上述至少一個技術(shù)方案能夠達(dá)到以下有益效果：通過上述技術(shù)方案，通過獲取用戶輸入的集群配置需求信息來生成flink集群配置模板，避免了傳統(tǒng)方式下從零開始手動編寫復(fù)雜配置文件的繁瑣過程，此外，根據(jù)用戶輸入的集群配置需求生成模板的方式，可以保證配置的規(guī)范性和一致性，減少因人為疏忽或理解差異導(dǎo)致的配置錯誤；將flink集群配置模板轉(zhuǎn)換為kubernetes(k8s)容器內(nèi)的資源對象定義信息，實現(xiàn)了flink集群與kubernetes強大的容器編排能力的深度融合，利用kubernetes的標(biāo)準(zhǔn)化資源管理和部署機制，能夠更加便捷、自動化地創(chuàng)建flink集群對應(yīng)的多個組件資源，避免了手動配置kubernetes資源時可能出現(xiàn)的格式錯誤、資源映射不合理等問題，進(jìn)一步提升了部署的準(zhǔn)確性和效率；獲取flink集群對應(yīng)的部署環(huán)境信息，并基于此對多個組件資源進(jìn)行部署前驗證，提前發(fā)現(xiàn)潛在的配置不兼容、資源沖突等問題；通過監(jiān)測flink集群在目標(biāo)運行環(huán)境中的實時性能指標(biāo)，并依據(jù)預(yù)先設(shè)置的動態(tài)調(diào)整策略進(jìn)行自適應(yīng)縮放操作，能夠使flink集群根據(jù)實際業(yè)務(wù)負(fù)載情況動態(tài)調(diào)整資源規(guī)模；動態(tài)調(diào)整機制能夠自動適應(yīng)業(yè)務(wù)邏輯的變化、數(shù)據(jù)特征的演變等情況，確保flink集群在長期運行過程中持續(xù)保持良好的性能表現(xiàn)，避免因固定配置無法適應(yīng)業(yè)務(wù)發(fā)展而出現(xiàn)的性能瓶頸問題；涵蓋了從配置生成、部署到運行時的動態(tài)調(diào)整等多個環(huán)節(jié)的自動化操作，極大地減少了運維人員在flink集群管理過程中的手動操作工作量。
1.一種基于k8s的flink集群部署管理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的一種基于k8s的flink集群部署管理方法，其特征在于，基于所述集群配置需求信息，生成flink集群配置模板，具體包括：
3.根據(jù)權(quán)利要求2所述的一種基于k8s的flink集群部署管理方法，其特征在于，根據(jù)所述集群配置需求信息和所述性能參數(shù)匹配模型，確定對應(yīng)的flink集群資源量，具體包括：
4.根據(jù)權(quán)利要求1所述的一種基于k8s的flink集群部署管理方法，其特征在于，基于所述部署環(huán)境信息對所述多個組件資源進(jìn)行部署前驗證，具體包括：
5.根據(jù)權(quán)利要求1所述的一種基于k8s的flink集群部署管理方法，其特征在于，根據(jù)預(yù)先設(shè)置的動態(tài)調(diào)整策略和所述實時性能指標(biāo)，對所述flink集群進(jìn)行調(diào)整，具體包括：
6.根據(jù)權(quán)利要求1所述的一種基于k8s的flink集群部署管理方法，其特征在于，根據(jù)預(yù)先設(shè)置的動態(tài)調(diào)整策略和所述實時性能指標(biāo)，對所述flink集群進(jìn)行調(diào)整，具體包括：
7.根據(jù)權(quán)利要求1所述的一種基于k8s的flink集群部署管理方法，其特征在于，根據(jù)預(yù)先設(shè)置的動態(tài)調(diào)整策略和所述實時性能指標(biāo)，對所述flink集群進(jìn)行調(diào)整，具體包括：
8.根據(jù)權(quán)利要求2所述的一種基于k8s的flink集群部署管理方法，其特征在于，通過所述flink集群資源量，生成flink集群配置模板，具體包括：
9.一種基于k8s的flink集群部署管理設(shè)備，其特征在于，所述設(shè)備包括：
10.一種非易失性計算機存儲介質(zhì)，存儲有計算機可執(zhí)行指令，其特征在于，所述計算機可執(zhí)行指令設(shè)置為：執(zhí)行如權(quán)利要求1-8任一所述的方法。