本技術(shù)屬于計(jì)算機(jī)視覺，特別涉及一種多階段彩色字體生成方法、裝置、計(jì)算機(jī)設(shè)備以及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、少樣本字體生成(few-shot?font?generation,縮寫為ffg)是一種利用有限的字體樣本生成新的字體樣式的技術(shù)。其目標(biāo)是通過(guò)使用少量的參考字體圖像生成具有多樣化和細(xì)粒度特征的目標(biāo)字體。這一技術(shù)可以顯著降低人工設(shè)計(jì)字體和整理字體數(shù)據(jù)集所需的時(shí)間和成本。在少樣本字體生成中，通常會(huì)遵循樣式-內(nèi)容解耦的范式，首先將字體的內(nèi)容(字符形狀、輪廓等)與樣式(筆畫、風(fēng)格等)進(jìn)行分離表示。通過(guò)利用生成對(duì)抗網(wǎng)絡(luò)(generative?adversarial?networks，縮寫為gan)或其他生成模型，模型能夠?qū)W習(xí)從源字體到目標(biāo)字體的轉(zhuǎn)換過(guò)程。少樣本字體生成的關(guān)鍵在于能夠從有限的樣本中有效提取特征，并通過(guò)模型的學(xué)習(xí)能力生成新字體。

2、現(xiàn)有技術(shù)中，字體生成方法主要集中于黑白單色字體的生成，在處理彩色字體時(shí)，因其復(fù)雜的色彩特征和高分辨率需求，生成的彩色字體效果不夠自然，難以滿足實(shí)際應(yīng)用需求。

3、具體的，現(xiàn)有模型在彩色字體生成中仍然存在以下不足：

4、1.多階段特征建模能力不足；現(xiàn)有技術(shù)中大部分?jǐn)U散模型采用單一階段的生成框架，即從t＝t到t＝0的直接生成方式，未對(duì)生成過(guò)程中的時(shí)間步進(jìn)行分段處理，無(wú)法有效捕捉和優(yōu)化彩色字體生成過(guò)程中涉及的復(fù)雜多維特征，導(dǎo)致模型無(wú)法針對(duì)不同階段的生成特征進(jìn)行優(yōu)化，從而限制了對(duì)字體結(jié)構(gòu)、風(fēng)格、顏色和細(xì)節(jié)的精細(xì)化控制，影響了最終生成結(jié)果的質(zhì)量。

5、2.生成穩(wěn)定性與風(fēng)格一致性問題；由于現(xiàn)有模型對(duì)復(fù)雜樣式特征的建模能力不足，在生成具有較大風(fēng)格差異的彩色字體時(shí)，難以保持生成結(jié)果與參考風(fēng)格樣本之間的樣式風(fēng)格一致性，生成的字體在色彩漸變和紋理分布上容易偏離參考樣本，導(dǎo)致風(fēng)格一致性較差。

6、3.顏色特征提取的局限性；現(xiàn)有方法在提取彩色字體顏色特征的過(guò)程中未能充分解耦結(jié)構(gòu)、風(fēng)格、顏色特征，缺乏對(duì)復(fù)雜色彩漸變和多層次紋理的有效分解和優(yōu)化能力，尤其是在高分辨率需求下，生成的字體易出現(xiàn)色彩不均勻、紋理細(xì)節(jié)模糊等問題。

7、4.細(xì)節(jié)表現(xiàn)與高分辨率生成能力不足；現(xiàn)有技術(shù)缺乏有效的細(xì)節(jié)優(yōu)化機(jī)制，對(duì)高分辨率字體的細(xì)節(jié)優(yōu)化不夠，導(dǎo)致生成結(jié)果在局部細(xì)節(jié)上表現(xiàn)不足，難以滿足實(shí)際應(yīng)用對(duì)精細(xì)化的需求。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種多階段彩色字體生成方法、裝置、計(jì)算機(jī)設(shè)備以及存儲(chǔ)介質(zhì)，旨在至少在一定程度上解決現(xiàn)有技術(shù)中的上述技術(shù)問題之一。

2、為了解決上述問題，本技術(shù)提供了如下技術(shù)方案：

3、一種多階段彩色字體生成方法，包括：

4、獲取源圖像、字體圖像和目標(biāo)圖像，并將字體生成過(guò)程劃分為至少兩個(gè)階段區(qū)間；其中，所述源圖像為標(biāo)準(zhǔn)字體圖像，所述字體圖像為多風(fēng)格字體圖像，所述目標(biāo)圖像為彩色多風(fēng)格字體圖像；

5、利用特征提取器分別對(duì)源圖像、字體圖像和目標(biāo)圖像進(jìn)行特征提取，得到字符特征、字體特征以及顏色特征；

6、利用vae編碼器分別對(duì)所述源圖像、字體圖像和目標(biāo)圖像進(jìn)行壓縮處理，分別得到源圖像、字體圖像和目標(biāo)圖像對(duì)應(yīng)的隱空間特征；

7、將所述隱空間特征輸入預(yù)訓(xùn)練的擴(kuò)散模型，所述擴(kuò)散模型通過(guò)前向加噪和反向生成得到各階段區(qū)間的生成參數(shù)，并將所述字符特征、字體特征以及顏色特征作為生成條件指導(dǎo)所述擴(kuò)散模型根據(jù)各階段區(qū)間的生成參數(shù)分階段生成字體，得到最終的彩色字體圖像。

8、本技術(shù)實(shí)施例采取的技術(shù)方案還包括：所述將字體生成過(guò)程劃分為至少兩個(gè)階段區(qū)間，具體為：

9、將字體生成過(guò)程t劃分為細(xì)節(jié)優(yōu)化階段(t0,t1]、顏色生成階段(t1,t2]、字體生成階段(t2,t3]和結(jié)構(gòu)重建階段(t3,t4]四個(gè)階段區(qū)間，即整個(gè)字體生成過(guò)程t∈(t0,t1]u(t1,t2]u(t2,t3]u(t3,t4]，其中，(t0,t1]、(t1,t2]、(t2,t3]和(t3,t4]分別表示各階段區(qū)間的起始時(shí)間和結(jié)束時(shí)間，所述字體生成過(guò)程t的總時(shí)間為t。

10、本技術(shù)實(shí)施例采取的技術(shù)方案還包括：所述利用特征提取器分別對(duì)源圖像、字體圖像和目標(biāo)圖像進(jìn)行特征提取，得到字符特征、字體特征以及顏色特征，具體為：

11、利用字符編碼器對(duì)所述源圖像進(jìn)行特征提取，得到字符特征；利用字體編碼器對(duì)所述字體圖像進(jìn)行特征提取，得到字體特征，利用顏色編碼器對(duì)所述目標(biāo)圖像進(jìn)行特征提取，得到顏色特征。

12、本技術(shù)實(shí)施例采取的技術(shù)方案還包括：所述利用vae編碼器分別對(duì)所述源圖像、字體圖像和目標(biāo)圖像進(jìn)行壓縮處理，分別得到源圖像、字體圖像和目標(biāo)圖像對(duì)應(yīng)的隱空間特征，具體為：

13、利用第一vae編碼器對(duì)源圖像進(jìn)行壓縮處理，得到第一隱空間特征利用第二vae編碼器對(duì)字體圖像進(jìn)行壓縮處理，得到第二隱空間特征利用第三vae編碼器對(duì)目標(biāo)圖像進(jìn)行壓縮處理，得到第三隱空間特征

14、本技術(shù)實(shí)施例采取的技術(shù)方案還包括：所述將所述隱空間特征輸入預(yù)訓(xùn)練的擴(kuò)散模型，所述擴(kuò)散模型通過(guò)前向加噪和反向生成得到各階段區(qū)間的生成參數(shù)，并將所述字符特征、字體特征以及顏色特征作為生成條件指導(dǎo)所述擴(kuò)散模型根據(jù)各階段區(qū)間的生成參數(shù)分階段生成字體，具體為：

15、所述擴(kuò)散模型為潛空間擴(kuò)散模型，所述擴(kuò)散模型的字體生成過(guò)程包括前向加噪和反向生成，在前向加噪過(guò)程中，所述擴(kuò)散模型分別對(duì)第一隱空間特征、第二隱空間特征和第三隱空間特征進(jìn)行正向加噪處理，分別得到各階段區(qū)間下的特征信息；在反向生成過(guò)程中，所述擴(kuò)散模型將各階段的對(duì)應(yīng)時(shí)間信息分別與正向加噪得到的特征信息進(jìn)行對(duì)齊，得到各階段區(qū)間的生成參數(shù)，并將所述字符特征、字體特征以及顏色特征作為生成條件指導(dǎo)所述擴(kuò)散模型根據(jù)所述生成參數(shù)進(jìn)行分階段字體生成。

16、本技術(shù)實(shí)施例采取的技術(shù)方案還包括：所述所述擴(kuò)散模型分別對(duì)第一隱空間特征、第二隱空間特征和第三隱空間特征進(jìn)行正向加噪處理，分別得到各階段區(qū)間下的特征信息；在反向生成過(guò)程中，所述擴(kuò)散模型將各階段區(qū)間的對(duì)應(yīng)時(shí)間信息分別與正向加噪得到的特征信息進(jìn)行對(duì)齊，得到各階段的生成參數(shù)，具體為：

17、所述前向加噪在t∈(t0,t1]∪(t2,t3]∪(t4,t]的過(guò)程對(duì)應(yīng)傳統(tǒng)擴(kuò)散模型ddpm的正向過(guò)程，ddpm公式表示為：

18、

19、其中，∈0代表加入的噪聲，αt為與添加噪聲強(qiáng)度有關(guān)的變量，αt∈[0,1]；

20、在t∈(t1,t2],(t3,t4]的加噪過(guò)程中引入新變量ψg,ψs,公式如下：

21、

22、在加噪過(guò)程中，已知t1，t2，t3，t4的特征信息定義則所述新變量ψg,ψs,的計(jì)算公式為：

23、

24、其中，和ψg分別對(duì)應(yīng)顏色生成階段(t1,t2]的生成參數(shù)，和ψc分別對(duì)應(yīng)字體生成階段(t2,t3]的生成參數(shù)；

25、在反向生成過(guò)程中，在t∈(t0,t1]u(t2,t3]u(t4,t]時(shí)，參數(shù)均值函數(shù)采用ddpm公式進(jìn)行計(jì)算，在t∈(t1,t2]u(t3,t4]時(shí)，利用貝葉斯公式推導(dǎo)得到參數(shù)均值函數(shù)：

26、

27、最后，利用計(jì)算得到的參數(shù)均值函數(shù)μθ完成顏色生成階段和字體生成階段的字體生成。

28、本技術(shù)實(shí)施例采取的技術(shù)方案還包括：所述將所述字符特征、字體特征以及顏色特征作為生成條件指導(dǎo)所述擴(kuò)散模型根據(jù)所述生成參數(shù)進(jìn)行分階段字體生成，具體為：

29、在區(qū)間t∈(0,t2]時(shí)涉及源符圖像、字體圖像和彩色字體圖像的參與，將所述字符特征is、字體特征if和顏色特征ic作為生成條件fcond＝{fs,ff,fc}加入網(wǎng)絡(luò)中指導(dǎo)生成；在區(qū)間t∈(t2,t4]時(shí)涉及源圖像和字體圖像的參與，將所述字符特征is和字體特征if作為生成條件加入網(wǎng)絡(luò)中指導(dǎo)生成，實(shí)現(xiàn)分階段的彩色字體生成。

30、本技術(shù)實(shí)施例采取的另一技術(shù)方案為：一種多階段彩色字體生成裝置，包括：

31、圖像獲取模塊：用于獲取源圖像、字體圖像和目標(biāo)圖像，并將字體生成過(guò)程劃分為至少兩個(gè)階段區(qū)間；其中，所述源圖像為標(biāo)準(zhǔn)字體圖像，所述字體圖像為多風(fēng)格字體圖像，所述目標(biāo)圖像為彩色多風(fēng)格字體圖像；

32、特征提取模塊：用于利用特征提取器分別對(duì)源圖像、字體圖像和目標(biāo)圖像進(jìn)行特征提取，得到字符特征、字體特征以及顏色特征；

33、圖像壓縮模塊：用于利用vae編碼器分別對(duì)所述源圖像、字體圖像和目標(biāo)圖像進(jìn)行壓縮處理，分別得到源圖像、字體圖像和目標(biāo)圖像對(duì)應(yīng)的隱空間特征；

34、字體生成模塊：用于將所述隱空間特征輸入預(yù)訓(xùn)練的擴(kuò)散模型，所述擴(kuò)散模型通過(guò)前向加噪和反向生成得到各階段區(qū)間的生成參數(shù)，并將所述字符特征、字體特征以及顏色特征作為生成條件指導(dǎo)所述擴(kuò)散模型根據(jù)各階段區(qū)間的生成參數(shù)分階段生成字體，得到最終的彩色字體圖像。

35、本技術(shù)實(shí)施例采取的又一技術(shù)方案為：一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括處理器、與所述處理器耦接的存儲(chǔ)器，其中，

36、所述存儲(chǔ)器存儲(chǔ)有用于實(shí)現(xiàn)所述多階段彩色字體生成方法的程序指令；

37、所述處理器用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的所述程序指令以控制多階段彩色字體生成方法。

38、本技術(shù)實(shí)施例采取的又一技術(shù)方案為：一種存儲(chǔ)介質(zhì)，存儲(chǔ)有處理器可運(yùn)行的程序指令，所述程序指令用于執(zhí)行所述多階段彩色字體生成方法。

39、相對(duì)于現(xiàn)有技術(shù)，本技術(shù)實(shí)施例產(chǎn)生的有益效果在于：本技術(shù)實(shí)施例的多階段彩色字體生成方法、裝置、計(jì)算機(jī)設(shè)備以及存儲(chǔ)介質(zhì)采用多階段生成框架，通過(guò)將字體生成過(guò)程分解為更加精細(xì)的四個(gè)階段區(qū)間，并結(jié)合隱空間擴(kuò)散模型進(jìn)行分階段字體生成，確保每個(gè)階段區(qū)間都能夠?qū)Ｗ⒂谔囟ǖ纳扇蝿?wù)，能夠生成更具藝術(shù)感且無(wú)明顯瑕疵的字體，極大地提升了字體生成質(zhì)量，尤其是在細(xì)節(jié)精度、字體結(jié)構(gòu)的清晰度和風(fēng)格一致性方面具有顯著的優(yōu)勢(shì)。在字體生成過(guò)程中，本技術(shù)結(jié)合隱空間擴(kuò)散模型進(jìn)行潛空間管理，不僅僅依靠常規(guī)訓(xùn)練數(shù)據(jù)進(jìn)行生成，而在每個(gè)階段區(qū)間分別進(jìn)行精細(xì)化控制，具有更強(qiáng)的靈活性和更高的生成質(zhì)量。另外，本技術(shù)創(chuàng)新地引入了顏色轉(zhuǎn)換階段，使得字體生成不僅局限于傳統(tǒng)的單色設(shè)計(jì)，還能夠根據(jù)目標(biāo)風(fēng)格自由調(diào)整字體顏色，大大提升了字體設(shè)計(jì)的自由度和多樣性。在字體生成過(guò)程中，本發(fā)明采用了潛空間擴(kuò)散模型，通過(guò)分離噪聲和數(shù)據(jù)分布，有效提高了計(jì)算效率，以更低的成本實(shí)現(xiàn)高質(zhì)量的字體生成，有利于節(jié)約計(jì)算資源，為大規(guī)模商用和實(shí)時(shí)應(yīng)用提供了可行的解決方案。