本技術屬于數(shù)據(jù)同步，特別涉及一種數(shù)據(jù)同步數(shù)據(jù)比對的方法、裝置、計算機可讀存儲介質以及電子設備。

背景技術：

1、在當今信息化社會，數(shù)據(jù)同步后的數(shù)據(jù)比對是確保數(shù)據(jù)一致性和完整性的重要環(huán)節(jié)，目前常用的數(shù)據(jù)比對方法如下：

2、（1）全量比對法：將源端數(shù)據(jù)與目標端數(shù)據(jù)進行全量比對，適用于數(shù)據(jù)量較小的場景，當數(shù)據(jù)量龐大時，全量比對會消耗大量時間和計算資源，效率低下。

3、（2）增量比對法：僅比對發(fā)生變化的數(shù)據(jù)部分，從而減少比對的數(shù)據(jù)量，但需要精確識別數(shù)據(jù)變化，且在處理復雜數(shù)據(jù)結構時容易出錯。

4、（3）時間戳比對法：通過記錄數(shù)據(jù)的時間戳來判斷數(shù)據(jù)是否發(fā)生變化，但依賴于時間戳的準確性，且無法處理時間戳相同但內容不同的情況。

5、綜上可見，現(xiàn)有的數(shù)據(jù)比對方法仍存在諸多缺陷和不足，包括：

6、（1）效率低：全量比對法在處理大數(shù)據(jù)量時效率低下。

7、（2）準確性差：增量比對法和時間戳比對法在處理復雜數(shù)據(jù)結構時容易出錯。

8、（3）依賴性強：時間戳比對法依賴于時間戳的準確性，存在一定的局限性。

9、因此，開發(fā)一種更高效、準確且適用性強的數(shù)據(jù)比對方法已成為本行業(yè)的迫切需求。

技術實現(xiàn)思路

1、為了應對上述問題，本技術提出了一種新的數(shù)據(jù)同步數(shù)據(jù)比對的方法及裝置，旨在解決現(xiàn)有數(shù)據(jù)比對方法效率低、準確性差和依賴性強的問題。

2、本技術主要采用了以下技術策略：

3、（1）數(shù)據(jù)分塊與動態(tài)調整機制

4、采用數(shù)據(jù)分塊策略，將源端數(shù)據(jù)和目標端數(shù)據(jù)按照預設規(guī)則（如主鍵范圍、哈希值、時間區(qū)間等）劃分為多個數(shù)據(jù)塊，并引入動態(tài)調整分塊大小的機制。

5、優(yōu)勢：通過分塊減少比對的數(shù)據(jù)量，提升比對效率；根據(jù)數(shù)據(jù)量和服務器資源動態(tài)調整分塊大小，優(yōu)化資源利用，減少存儲空間占用和計算量，降低存儲成本；采用異步多線程并行分塊和比對，顯著提升整體效率。

6、（2）哈希比對與記錄比對相結合

7、提出了哈希比對與記錄比對相結合的兩階段比對方法（雙重比對機制）。

8、哈希比對：對每個數(shù)據(jù)塊進行哈希計算（如md5算法），比對哈希值快速確定不一致的數(shù)據(jù)塊。

9、記錄比對：對不一致的數(shù)據(jù)塊進行逐條比對和逐字段比對，精準定位不一致的記錄和字段。

10、優(yōu)勢：哈希比對快速篩選不一致的數(shù)據(jù)塊，縮小比對范圍；逐條比對和逐字段比對確保比對的精確性，避免誤判；不依賴時間戳等外部因素，適用于各種復雜數(shù)據(jù)結構。

11、（3）多數(shù)據(jù)庫支持的哈希計算與比對

12、針對不同數(shù)據(jù)庫（如mysql、oracle等），提供統(tǒng)一的哈希計算和比對方法，支持跨數(shù)據(jù)庫的數(shù)據(jù)同步比對。

13、優(yōu)勢：適用于多種數(shù)據(jù)庫系統(tǒng)，擴展性強；通過sql語句和內置函數(shù)實現(xiàn)哈希計算，操作簡單。

14、（4）數(shù)據(jù)修復的靈活機制

15、提供手動修復和自動修復兩種數(shù)據(jù)修復方式。

16、手動修復：支持用戶通過自定義sql語句更新或刪除不一致數(shù)據(jù)。

17、自動修復：自動刪除目標端不一致數(shù)據(jù)，并重新插入源端數(shù)據(jù)。

18、優(yōu)勢：可滿足不同場景的修復需求；自動修復減少人工干預，提升了修復效率。

19、（5）異步多線程并行處理

20、采用異步多線程技術并行處理數(shù)據(jù)分塊和數(shù)據(jù)比對，避免單線程性能瓶頸。

21、優(yōu)勢：顯著提升了數(shù)據(jù)分塊和比對的效率；充分利用服務器資源，提高了整體性能。

22、概括而言，本技術提供了一種數(shù)據(jù)同步數(shù)據(jù)比對方法，包括以下步驟：

23、（一）數(shù)據(jù)分塊

24、數(shù)據(jù)同步的起點是將源端數(shù)據(jù)和目標端數(shù)據(jù)按照預設規(guī)則進行分塊處理。這一過程是基于數(shù)據(jù)的結構特征和業(yè)務需求來設計分塊策略的。例如，可以根據(jù)數(shù)據(jù)記錄的唯一標識符（如主鍵）來劃分數(shù)據(jù)塊，確保每個數(shù)據(jù)塊包含若干具有連續(xù)標識符的數(shù)據(jù)記錄，從而在邏輯上保持數(shù)據(jù)的完整性。同時，分塊的大小也需要根據(jù)實際應用場景進行靈活調整，以達到最佳的比對效率。例如，在處理大規(guī)模數(shù)據(jù)時，可以適當增大分塊大小以減少分塊數(shù)量，降低比對過程中的計算開銷；而對于實時性要求較高的數(shù)據(jù)同步場景，則可以采用較小的分塊，以便更快地發(fā)現(xiàn)并處理數(shù)據(jù)差異。

25、（二）哈希計算

26、在完成數(shù)據(jù)分塊之后，接下來的關鍵步驟是對每個數(shù)據(jù)塊進行哈希計算。哈希算法是一種將任意長度的數(shù)據(jù)輸入映射為固定長度輸出的算法，具有快速計算和難以逆向的特點。本方案中選用的哈希算法能夠確保在數(shù)據(jù)塊內容發(fā)生變化時，其對應的哈希值也會隨之改變，從而為后續(xù)的比對提供可靠的依據(jù)。具體而言，對于源端和目標端的每個數(shù)據(jù)塊，分別計算其哈希值，并將這些哈希值存儲起來以便后續(xù)的比對操作。通過哈希計算，可以將復雜的數(shù)據(jù)塊比對問題轉化為簡單的哈希值比對問題，大大提高了比對效率，同時也降低了存儲和計算資源的消耗。

27、（三）哈希比對

28、哈希比對是本方案的核心環(huán)節(jié)之一。在這一階段，將源端數(shù)據(jù)塊和目標端數(shù)據(jù)塊的哈希值進行逐一比對。如果源端和目標端的某個數(shù)據(jù)塊的哈希值相同，那么可以初步判斷該數(shù)據(jù)塊在兩端是一致的，無需進一步比對；而如果哈希值不同，則表明該數(shù)據(jù)塊在兩端存在差異，需要進入下一步的詳細比對。這種基于哈希值的初步篩選機制能夠快速定位出可能存在數(shù)據(jù)不一致的數(shù)據(jù)塊，避免了對所有數(shù)據(jù)塊進行逐條記錄和逐字段的全面比對，顯著提高了比對的效率和針對性。此外，為了進一步提高比對的準確性，還可以在哈希比對過程中引入一些優(yōu)化策略，例如采用多級哈希算法，對初步篩選出的不一致數(shù)據(jù)塊進行更細致的哈希值比對，以減少誤判的可能性。

29、（四）記錄比對

30、對于通過哈希比對確定為不一致的數(shù)據(jù)塊，需要進行更詳細的記錄比對。記錄比對的目的是精確地找出數(shù)據(jù)塊中具體哪些記錄存在差異，以及差異的具體內容。這一過程包括兩個層面的比對：逐條記錄比對和逐字段比對。在逐條記錄比對階段，將源端數(shù)據(jù)塊中的每條記錄與目標端數(shù)據(jù)塊中對應位置的記錄進行比對，判斷記錄是否存在整體上的差異，例如記錄的缺失、重復或順序不一致等情況。對于存在差異的記錄，進一步進行逐字段比對，逐字段比對是將記錄中的每個字段值進行逐一比對，確定具體哪些字段的值在源端和目標端不一致，從而精準地定位到數(shù)據(jù)差異的源頭。通過這種逐條記錄和逐字段的細致比對，能夠清晰地呈現(xiàn)出數(shù)據(jù)塊中不一致記錄的詳細情況，為后續(xù)的數(shù)據(jù)修復提供準確的依據(jù)。

31、（五）數(shù)據(jù)修復

32、數(shù)據(jù)修復是數(shù)據(jù)同步數(shù)據(jù)比對方法的最終目標，也是確保數(shù)據(jù)一致性的關鍵環(huán)節(jié)。根據(jù)前面記錄比對所確定的不一致記錄的具體情況，本技術提供了靈活的數(shù)據(jù)修復手段。數(shù)據(jù)修復模塊可以根據(jù)比對結果，提供手動修復和自動修復兩種方式來對目標端數(shù)據(jù)進行更正。手動修復是指由用戶根據(jù)比對結果直接對目標端數(shù)據(jù)進行修改，這種方式適用于一些復雜的數(shù)據(jù)差異情況，或者在自動修復可能存在風險的情況下，用戶可以根據(jù)自身的業(yè)務知識和經(jīng)驗，對數(shù)據(jù)進行精準的修復操作。而自動修復則是根據(jù)預設的修復規(guī)則，由系統(tǒng)自動對目標端數(shù)據(jù)進行更正。例如，對于簡單的字段值差異，系統(tǒng)可以根據(jù)源端數(shù)據(jù)的值自動更新目標端對應字段的值；對于記錄的缺失或重復問題，系統(tǒng)可以自動添加或刪除相應的記錄。自動修復方式能夠大大提高數(shù)據(jù)修復的效率，減少人工干預，尤其適用于大規(guī)模數(shù)據(jù)同步場景。通過手動修復和自動修復兩種方式的結合，能夠靈活應對各種數(shù)據(jù)差異情況，從而保證數(shù)據(jù)的最終一致性，確保數(shù)據(jù)在源端和目標端之間始終保持準確、完整且同步的狀態(tài)。

33、為了實現(xiàn)上述數(shù)據(jù)同步數(shù)據(jù)比對方法，本技術還提供了一種數(shù)據(jù)同步數(shù)據(jù)比對裝置，該裝置由多個功能模塊組成，各模塊協(xié)同工作，共同完成數(shù)據(jù)同步數(shù)據(jù)比對的全過程。

34、（一）數(shù)據(jù)分塊模塊

35、數(shù)據(jù)分塊模塊是裝置的基礎模塊之一，其主要功能是按照預設規(guī)則將源端數(shù)據(jù)和目標端數(shù)據(jù)進行分塊處理。該模塊能夠根據(jù)數(shù)據(jù)的結構特征和業(yè)務需求，靈活地設計分塊策略，將數(shù)據(jù)劃分為大小合適、邏輯完整的數(shù)據(jù)塊。它支持多種分塊方式，例如基于數(shù)據(jù)記錄的主鍵分塊、基于時間戳分塊等，以滿足不同應用場景下的數(shù)據(jù)同步需求。

36、（二）哈希比對模塊

37、哈希比對模塊是裝置的核心模塊之一，承擔著對數(shù)據(jù)塊進行哈希計算和比對的重要任務。該模塊集成了高效的哈希算法，能夠快速地對每個數(shù)據(jù)塊進行哈希值計算，并準確地生成對應的哈希值。在哈希比對過程中，該模塊能夠將源端和目標端的數(shù)據(jù)塊哈希值進行逐一比對，快速定位出存在差異的數(shù)據(jù)塊，并將比對結果反饋給后續(xù)的記錄比對模塊。為了提高比對的準確性和效率，哈希比對模塊還具備一些優(yōu)化功能，例如支持多級哈希算法、自動調整哈希計算參數(shù)等，以適應不同數(shù)據(jù)特征和比對需求。此外，該模塊還能夠對哈希比對過程中的異常情況進行監(jiān)測和處理，例如哈希值計算錯誤、數(shù)據(jù)塊丟失等情況，確保比對過程的穩(wěn)定性和可靠性。

38、（三）記錄比對模塊

39、記錄比對模塊是裝置中用于處理不一致數(shù)據(jù)塊的關鍵模塊。當哈希比對模塊確定某個數(shù)據(jù)塊存在差異后，記錄比對模塊將對該數(shù)據(jù)塊中的記錄進行詳細的逐條比對和逐字段比對。該模塊能夠精確地找出數(shù)據(jù)塊中具體哪些記錄存在差異，以及差異的具體內容，包括記錄的缺失、重復、字段值不一致等情況。記錄比對模塊采用了高效的比對算法，能夠在短時間內完成大量記錄的比對操作，并將比對結果以清晰、直觀的方式呈現(xiàn)出來，為數(shù)據(jù)修復模塊提供準確的依據(jù)。此外，該模塊還具備一定的容錯能力和靈活性，能夠處理一些特殊情況，例如數(shù)據(jù)格式不一致、字段缺失等問題，確保比對結果的準確性和完整性。

40、（四）數(shù)據(jù)修復模塊

41、數(shù)據(jù)修復模塊是裝置的最終執(zhí)行模塊，其目的是根據(jù)記錄比對模塊的比對結果，對目標端數(shù)據(jù)進行修復，以保證數(shù)據(jù)的最終一致性。該模塊提供了手動修復和自動修復兩種方式，用戶可以根據(jù)實際情況選擇合適的修復方式。手動修復方式允許用戶直接對目標端數(shù)據(jù)進行修改，用戶可以通過裝置提供的操作界面，直觀地查看比對結果，并根據(jù)自己的業(yè)務知識和經(jīng)驗，對數(shù)據(jù)進行精準的修復操作。自動修復方式則根據(jù)預設的修復規(guī)則，由系統(tǒng)自動對目標端數(shù)據(jù)進行更正。數(shù)據(jù)修復模塊能夠智能地識別不同的數(shù)據(jù)差異情況，并根據(jù)相應的修復規(guī)則，自動執(zhí)行修復操作，例如更新字段值、添加或刪除記錄等。該模塊還具備數(shù)據(jù)備份和恢復功能，在進行自動修復操作之前，會自動備份目標端數(shù)據(jù)，以防止修復過程中可能出現(xiàn)的意外情況導致數(shù)據(jù)丟失。同時，在修復完成后，還能夠對修復結果進行驗證，確保修復操作的正確性和數(shù)據(jù)的一致性。

42、具體而言，為了實現(xiàn)上述目的，本技術提供了以下技術方案：

43、本技術的第一方面提供一種數(shù)據(jù)同步數(shù)據(jù)比對的方法，所述方法包括：

44、數(shù)據(jù)分塊：將源端數(shù)據(jù)和目標端數(shù)據(jù)按照預設規(guī)則進行分塊處理，每個數(shù)據(jù)塊包含若干數(shù)據(jù)記錄；

45、哈希計算：對每個數(shù)據(jù)塊進行哈希計算，生成對應的哈希值；

46、哈希比對：將源端數(shù)據(jù)塊和目標端數(shù)據(jù)塊的哈希值進行比對，確定不一致的數(shù)據(jù)塊；

47、記錄比對：對不一致的數(shù)據(jù)塊中的記錄進行逐條比對和逐字段比對，確定具體的不一致記錄；

48、數(shù)據(jù)修復：根據(jù)記錄比對結果，對目標端數(shù)據(jù)進行修復，以保證數(shù)據(jù)的最終一致性。

49、可選地，本技術方法中，所述數(shù)據(jù)分塊步驟中，預設規(guī)則包括以下至少一種：

50、（1）按主鍵范圍分塊；

51、（2）按哈希值分塊；

52、（3）按時間分塊。

53、可選地，本技術方法中，所述數(shù)據(jù)分塊步驟中還包括：

54、采用動態(tài)調整分塊大小的方式，根據(jù)數(shù)據(jù)量和服務器資源情況實時調整分塊大小，以平衡處理速度和服務器資源的消耗；

55、采用異步多線程的方式并行進行數(shù)據(jù)分塊的劃分，當一個數(shù)據(jù)分塊被確定后，立即進行后續(xù)的數(shù)據(jù)比對操作，以提高比對效率。

56、可選地，本技術方法中，所述哈希計算步驟中，采用md5算法計算每個數(shù)據(jù)塊的哈希值。

57、可選地，本技術方法中，所述哈希比對步驟中還包括：對初步篩選出的不一致的數(shù)據(jù)塊采用多級哈希算法進行進一步的哈希值比對，以減少誤判的可能性。

58、可選地，本技術方法中，所述記錄比對步驟中，逐條比對包括以下步驟：

59、將單條記錄的字段拼接成字符串；

60、使用哈希算法計算拼接字符串的哈希值；

61、比對源端和目標端記錄的哈希值，確定記錄是否一致；

62、所述記錄比對步驟中，逐字段比對包括：針對逐條比對發(fā)現(xiàn)的哈希值不一致的數(shù)據(jù)記錄，按照字段順序依次比對每個字段的字符串值，確定不一致的字段。

63、可選地，本技術方法中，所述數(shù)據(jù)修復步驟中，提供手動修復和自動修復兩種方式，其中，手動修復支持用戶通過自定義sql語句更新或刪除目標端不一致的數(shù)據(jù)，自動修復則由系統(tǒng)根據(jù)預設規(guī)則自動對目標端數(shù)據(jù)進行更正。

64、本技術的第二方面提供一種數(shù)據(jù)同步數(shù)據(jù)比對的裝置，所述裝置包括：

65、數(shù)據(jù)分塊模塊：用于將源端數(shù)據(jù)和目標端數(shù)據(jù)按照預設規(guī)則進行分塊處理，使每個數(shù)據(jù)塊包含若干數(shù)據(jù)記錄；

66、哈希比對模塊：用于對每個數(shù)據(jù)塊進行哈希計算，生成對應的哈希值，然后將源端數(shù)據(jù)塊和目標端數(shù)據(jù)塊的哈希值進行比對，確定不一致的數(shù)據(jù)塊；

67、記錄比對模塊：用于對不一致的數(shù)據(jù)塊中的記錄進行逐條比對和逐字段比對，確定具體的不一致記錄；

68、數(shù)據(jù)修復模塊：用于根據(jù)記錄比對結果，對目標端數(shù)據(jù)進行修復，以保證數(shù)據(jù)的最終一致性。

69、所述裝置在運行時實現(xiàn)前述的數(shù)據(jù)同步數(shù)據(jù)比對的方法的步驟。

70、本技術的第三方面提供一種電子設備，包括：存儲器和處理器；

71、存儲器：用于存儲計算機程序；

72、處理器：用于執(zhí)行所述計算機程序，以實現(xiàn)前述的數(shù)據(jù)同步數(shù)據(jù)比對的方法的步驟。

73、本技術的第四方面提供一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時，實現(xiàn)前述的數(shù)據(jù)同步數(shù)據(jù)比對的方法的步驟。

74、綜上所述，本技術提出的數(shù)據(jù)同步數(shù)據(jù)比對的方法，通過高效的數(shù)據(jù)分塊與哈希計算策略、雙重比對機制以及獨立于外部因素的設計理念，顯著提升了數(shù)據(jù)同步與數(shù)據(jù)比對的效率、準確性和適用性，為數(shù)據(jù)一致性維護提供了可靠的技術支持。本方法具有以下優(yōu)勢：

75、（1）高效性

76、本方案通過數(shù)據(jù)分塊和哈希計算的優(yōu)化策略，有效減少了數(shù)據(jù)比對過程中的數(shù)據(jù)量，降低了比對的計算復雜度，提高了比對效率，尤其適用于大規(guī)模數(shù)據(jù)同步場景。

77、（二）準確性

78、本方案采用哈希比對與記錄比對相結合的雙重比對機制，提高了比對結果的準確性，減少了出錯率，確保數(shù)據(jù)同步過程中能夠準確識別并修復數(shù)據(jù)不一致的問題。

79、（三）獨立性

80、本技術數(shù)據(jù)同步數(shù)據(jù)比對方法不依賴于時間戳、數(shù)據(jù)更新順序等外部因素，而是基于數(shù)據(jù)內容本身進行比對，適用于各種復雜的數(shù)據(jù)結構和數(shù)據(jù)存儲方式，具有廣泛的適用性，能夠滿足不同系統(tǒng)、不同應用場景下的數(shù)據(jù)同步需求，尤其在數(shù)據(jù)結構復雜、數(shù)據(jù)更新頻繁且難以依賴時間戳等外部標記的場景中，展現(xiàn)出強大的優(yōu)勢。

81、本技術的其他特征和優(yōu)點將在隨后的說明書中予以詳細闡述，或者通過實施本技術的相關技術方案而得以了解。本技術的目的以及其他優(yōu)點可以通過說明書、權利要求書以及附圖中所明確指出的技術特征和技術手段來實現(xiàn)，并通過這些技術內容的實施過程而獲得。