當我們瀏覽有關互聯網上最佳雲備份服務提供商的評論集時，我們經常會聽到有關重複數據刪除的信息。但是重複數據刪除到底是什麼呢？在各種文章中都反复提及該術語，但似乎沒人能完整地解釋重複數據刪除。
這就是為什麼我們決定創建一篇文章來更好地解釋什麼是重複數據刪除並就其可能帶來的好處向人們提供答案的原因。我們還將討論實際上可能存在的不同類型和形式的重複數據刪除。
Contents
重複數據刪除概述
首先，我們應該了解重複數據刪除和數據壓縮之間的區別。雖然這兩個過程的主要目的都是減少特定文件，文檔或任何其他數據類型可以佔用的空間，但是在處理數據存儲空間方面，這兩種方法之間存在很大差異。
在數據壓縮中，系統嘗試通過刪除文件上引起重複問題的重複數據來減小特定文件的大小。我知道這聽起來很混亂。我們都被告知每個文件或每個文檔都是一組唯一的數據。但是，如果我們查看構成特定文件一部分的單個數據位，則該特定假設將不再成立。
如果您瀏覽組成特定文件的所有數據，您會發現此類文件具有重複模式，例如單詞之間的空格。我們都知道這樣一個事實，即為了使文本文件在被人眼看到之後對人腦來說是可理解的，單詞之間的空格是不可避免的。字之間的這些額外空格是在數據壓縮過程中要刪除的數據位。
通過數據壓縮顯著減小文件大小後，算法實際上可以在數據檢索和數據恢復期間將壓縮後的數據轉換回其原始格式。從技術上講，我們最終可以將數據壓縮視為重複數據刪除的另一種形式。但是，在當今的標準中，數據壓縮已被視為獨立於重複數據刪除的獨立過程。
另一方面，在重複數據刪除過程中，正在仔細檢查數據塊或數據塊以排除冗餘問題。重複數據刪除系統嘗試查看特定的數據塊是否已更改。如果已更改，則具有關聯更改的數據塊將再次存儲在計算機數據存儲系統中。這樣，由於更改後的數據塊將被再次存儲，因此它將佔用額外的存儲空間。
如果特定的數據塊沒有更改，則文件的該部分將不會再次存儲，也不會佔用更多的存儲空間。因此，不管特定文本文件中單詞之間存在多少空格，在重複數據刪除過程中，只要對文檔沒有更改，都將無關緊要。重複數據刪除的目的是消除存儲在計算機數據存儲系統（如雲存儲系統或基於雲的在線備份系統）中的特定文件副本上的冗餘。借助重複數據刪除技術，盡可能在雲備份系統以及與之關聯的所有數據中心中僅存在一個特定文件的副本。
重複數據刪除的4大好處
在了解了數據壓縮和重複數據刪除之間的區別之後，最好探索與所討論的過程相關的好處。
重複數據刪除對於人們通常使用的最佳雲存儲系統和最佳雲備份系統非常有幫助的四個最令人信服的原因。
重複數據消除的好處1：它可以大大減少計算機數據存儲的消耗。
由於重複數據刪除，我們實際上可以最小化我們在雲存儲系統甚至在線備份系統中消耗的存儲空間。對於基於單詞的文檔，例如文本文件，PDF文件，Microsoft Word，Microsoft，Excel和Microsoft PowerPoint，尤其如此。每次編輯或更改文檔時，我們都不需要存儲文件的額外副本。如果系統未配備重複數據刪除功能，則將浪費云備份空間或云存儲空間。
特定文件始終只有一個完整的備份副本。其餘將是由於支持重複數據刪除過程的特定文件中的數據塊或數據塊的更改而導致的增量備份。因此，如果文檔或文件未經編輯，則不會有其他增量備份，這些增量備份會佔用少量的額外計算機數據存儲空間。
通過重複數據刪除，可以輕鬆實現存儲效率。實際上，在2008年由存儲網絡行業協會進行的一項案例研究中，該組織透露，如果應用重複數據刪除過程，則將減少大約80％的存儲空間。這主要是因為大多數文件會在很長一段時間內保持未編輯和不變的事實。
重複數據刪除的好處2：重複數據刪除可以比壓縮數據節省更多的空間。
儘管這聽起來可能不合常規，但這個特定的斷言仍然成立，尤其是如果我們從更廣闊的角度來看的話。這是因為重複數據刪除過程的設計不同，因此實際上並未將其應用於預壓縮的數據。因此，從長遠來看，如果對特定文件或文檔進行了許多更改，那麼對於尚未進行數據壓縮的文件，存儲效率比率將更大。
但是，在某些情況下，允許經過數據重複數據刪除處理的普通文件或文檔隨後進行數據壓縮。數據重複數據刪除過程應首先進行，然後再進行數據壓縮。在最佳的雲備份服務提供商中可以找到這種特殊情況，該提供商可以允許將文件和數據備份下載並還原為ZIP文件（一種壓縮數據的形式）。
重複數據刪除的好處3：體驗更快的數據傳輸。
在距離最佳在線備份服務提供商所建立的現有數據中心較遠的地理區域中，重複數據刪除非常重要。如果您已經測試了大約30個雲存儲系統和大約20個雲備份系統，那麼您肯定會在數據傳輸方面看到一種模式。
您將能夠觀察到，數據中心距離上傳和下載文件的地理位置越遠，數據傳輸的速度就越慢。無論您擁有的互聯網速度是否比全球平均互聯網速度都快，數據傳輸速度仍然可能會慢於應有的速度。除此之外，還有一些國家的平均互聯網速度非常低。在這些國家中，每當人們想要提高他們獲得的互聯網速度時，也存在負擔能力的問題。
這些特殊情況使人們能夠真正欣賞重複數據刪除過程。由於在進行重複數據刪除後每次創建備份時都會上傳到雲的數據量較小，因此數據傳輸過程將更快。這意味著與特定文件關聯的所有後續數據傳輸（增量備份）將在最初備份（完全備份）後更快。
重複數據消除的好處4：提高雲備份訂閱計劃的承受能力。
由於重複數據刪除過程需要存儲的數據量較少，因此您將需要較少的雲備份空間。如果是這種情況，則可以選擇具有較少雲備份空間的訂閱計劃。從長遠來看，這反過來又給人們帶來了更大的靈活性，並提高了人們的承受能力。
4種類型的重複數據刪除
下面列出了4種類型的重複數據刪除過程。
重複數據刪除類型1：源重複數據刪除/客戶端備份重複數據刪除
源重複數據刪除是一種數據重複數據刪除方法，其中特定的過程發生在本地計算機的桌面客戶端級別。這樣可以確保重複數據刪除過程已經通過實際起源文件的文件系統消除了冗餘。
重複數據刪除類型2：目標重複數據刪除
目標重複數據刪除是一種數據重複數據刪除方法，其中，特定過程在一種特殊的硬件中發生，該硬件實際上充當橋接器，以便將本地計算機（數據源）連接到備份服務器。如果對特定文件的更改是在另一台計算機上進行的，則這是使用的重複數據刪除類型。雲存儲系統就是這種情況，它具有跨多台計算機和多個用戶同步文件的能力。
數據重複數據刪除類型3：分塊（塊級重複數據刪除）
這種類型的重複數據刪除通過比較數據塊或數據塊中的更改來工作。僅更改的塊將再次存儲在雲備份系統中。使用這種類型的重複數據刪除可以進行文件版本控制。
數據重複數據刪除類型4：文件級重複數據刪除/單實例存儲
這種類型的重複數據刪除通過僅存儲一次特定文件的精確副本來工作。如果文檔的一部分被更改，則將其視為另一個文檔。這種類型的重複數據刪除用於永遠不會被編輯且被多個用戶使用的文件。
