上訊敏捷數據管理平臺(ADM)支持重復數據刪除技術,在典型的重復數據刪除技術中,根據不同的數據備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據輸入側不同粒度(卷級、文件級、塊級)的數據采取不同的數據切分策略,并依據任務級與全局指紋庫提供自適應源端的全局重刪算法與策略,當前支持源端塊級、文件級重刪和并行重刪技術。源端重刪是采用基于內容的可變長數據切分算法,通過對數據塊進行哈希算法的標記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數據塊,ADM則不再保存此數據塊,而是引用已存在的數據塊,從而節省更多的備份空間。該算法還可以...
數據副本管理是ADM功能模塊之一,可單獨作為企業級副本數據管理(CDM)產品。為應對當前復雜的IT環境,ADM提出集云、物理、虛擬為一體的,面向結構化數據庫、非結構化數據、虛擬化和云平臺的***數據副本分發與交付管理解決方案。主要通過數據副本管理的核心專利技術——數據庫虛擬化技術對源數據進行CDM原格式獲取生成黃金副本、存儲黃金副本作為基準數據、虛擬化為多個副本掛載恢復,**終達到快速交付副本數據、靈活管理副本數據版本、集中管理副本數據存儲與流轉的目標,是主要面向企業數據運維、軟件開發測試部門解決自動化閉環取數供數、測試數據快速交付等典型應用場景的問題。敏捷數據管理平臺內置豐富的仿真敏感數據處...
數據副本管理是上訊敏捷數據管理平臺ADM功能模塊之一,可單獨作為企業級副本數據管理(CDM)產品。為應對當前復雜的IT環境,ADM提出集云、物理、虛擬為一體的,面向結構化數據庫、非結構化數據、虛擬化和云平臺的數據副本分發與交付管理解決方案。主要通過數據副本管理的核心專利技術——數據庫虛擬化技術對源數據進行CDM原格式獲取生成黃金副本、存儲黃金副本作為基準數據、虛擬化為多個副本掛載恢復,達到快速交付副本數據、靈活管理副本數據版本、集中管理副本數據存儲與流轉的目標,是主要面向企業數據運維、軟件開發測試部門解決自動化閉環取數供數、測試數據快速交付等典型應用場景的問題。上訊ADM產品的可管理性體現在數...
敏捷數據管理平臺(Agile Data Management)簡稱ADM,是采用基于CDM(副本數據管理)的數據庫虛擬化技術,為企業上中下游數據的備份恢復、數據驗證、敏感數據處理、分發交付提供的面向數據全生命周期的安全管理解決方案,在保證數據安全使用的同時,提高了數據使用效率并降低了數據存儲成本。ADM由數據備份管理、備份校驗管理、數據副本管理、敏感數據處理管理組成,實現了數據復制容災、數據存儲管理和數據流程管理,通過自動化流程任務編排的方式實現了數據使用的成本控制、版本管理與開發利用,充分發揮了數據資產的潛在價值。國內排名靠前的CDM廠商是哪家?管理存儲資源備份需要從業務系統中獲取數據,統計...
ADM貫穿數據收集、數據存儲、數據加工、數據傳輸、數據使用、數據提供、數據回收的各個環節,集中管理存儲資源、服務器資源,實現閉環式自動化管理流程,統一授權和全程監控,節省大量人力資源開銷,減少了數據恢復的重復性工作,自動化流程任務編排降低了人為因素導致的數據泄露風險。基于數據庫虛擬化技術,ADM實現了對數據庫、文件、虛擬機等副本的分鐘級創建,通過存儲級快照快速保留數據副本的狀態,實現數據版本的保留,跟蹤數據流向。同時,數據副本支持時效性設置,當數據副本超出使用期限,ADM平臺會自動停止使用或回收資源,實現對數據資產的全生命周期統一管理。哪個平臺能解決軟件開發測試部門的供數需求?動態快照數據孤島...
驗證數據備份的有效性是確保數據安全的關鍵環節。有效的方式之一是運用專業的數據備份驗證工具,這些工具通過計算備份文件和原始數據的校驗結果,并進行對比,來確保備份數據的完整無誤。上訊敏捷數據管理平臺ADM,是一個專為確保備份數據可恢復性和完整性而設計的自動化解決方案。它通過與第三方備份系統的無縫對接,實現了對存儲資源、恢復服務器資源和恢復任務的集中管理。這一功能的關鍵在于自動調度存儲空間、恢復服務器和恢復任務,從而實現了備份數據有效性驗證的全自動化。數據管理領域的CDM是指拷貝數據管理。中信銀行對CDM的應用場景數據備份管理是上訊敏捷數據管理平臺ADM功能模塊之一,主要用于實現云環境、物理環境、虛...
數據孤島的形成主要是由于組織內部各部門在收集、存儲和使用數據時缺乏統一的標準和流程,導致數據被局限在特定的技術系統或業務部門內,無法在組織內部自由流通和共享。這種情況往往源于技術架構的碎片化、組織結構的分散以及部門間溝通不暢等因素,進而影響了組織的透明度、協作效率和信任度。上訊敏捷數據管理平臺(ADM)通過集成以CDM技術為主要技術的全生命周期數據管理功能,打破企業內數據孤島現象,促進數據資源的共享和高效利用。上訊敏捷數據管理平臺包括生產數據備份、備份恢復校驗、敏感數據處理、數據副本管理四大功能模塊。提交記錄數l應用數據一致性保障ADM主要應用原生備份接口獲取具有應用一致性保障的數據,如針對O...
上訊敏捷數據管理平臺(ADM)既可以封裝在敏捷數據管理流程的中間環節,也可以單獨作為敏感數據處理的抽取平臺,兩種模式滿足了當前用戶對數據處理的全部需求。 提供系統用戶角色權限的配置管理,負責系統角色用戶功能的劃分,操作權限的分配,負責處理任務向上級的申請,上級用戶負責審批、轉發、會簽或駁回以及復核工作的需求。當前系統內置豐富的算法,具備廣義的通用型規則,包括字符替換、隨機生成、截短、加權生成、加密等;支持保留原有數據含義的仿真型規則,支持中文字典庫與編碼字典庫,保證姓名、身份證號、證件號、地址、組織機構代碼等數據的有效性、可用性,算法經優化已處理超長字符截斷和重復數據的問題。上訊敏捷數據管理平...
數據孤島導致企業面臨數據碎片化、冗余、不一致等問題,阻礙有效決策和戰略規劃。它降低團隊效率,增加數據安全和合規風險,違反數據保護法規。因此,企業需重視數據孤島問題,通過整合數據、建立統一標準和管理流程,提升數據質量和組織效率,從而增強競爭力。上訊敏捷數據管理平臺(ADM)是采用數據庫虛擬化等自主研發技術面向數據全生命周期的數據安全管理產品,主要由數據備份管理、備份校驗管理、數據副本管理、敏感數據管理四大功能模塊組成,用于解決金融、運營商、能源、醫療、事業單位等行業的數據備份與恢復、備份數據自動化恢復與有效性驗證、敏感數據處理、測試數據多副本快速交付以及多場景融合下的實際問題,確保在數據安全使用...
副本數據管理CDM本質是針對數據拷貝管理的技術,通過縮減拷貝數據對存儲空間造成的資源浪費,為用戶節省高額的存儲成本。通過數據虛擬化技術,用戶可以即時創建出生產數據的副本,并即時掛載到開發或測試環境中,而不用再搭建新的環境,從生產環境拷貝數據,這節省了大量的時間,提高了數據的使用效率。上訊敏捷數據管理平臺作為企業級副本數據管理(CDM)產品,為應對當前復雜的IT環境,提出了集云、物理、虛擬為一體的,面向結構化數據庫、非結構化數據、虛擬化和云平臺的綜合數據副本分發與交付管理方案,為企業上中下游數據的備份恢復、數據驗證、敏感數據替換、分發交付提供一種面向數據全生命周期的安全管理解決方案。上訊ADM產...
備份校驗管理是上訊敏捷數據管理平臺ADM功能模塊之一,主要用于對接第三方備份系統進行備份數據的自動化恢復校驗,保證備份數據的可恢復性、完整性。通過對接備份系統(如NetBackup、Commvault、NetWorker等)集中管理存儲資源、恢復服務器資源和恢復任務,實現存儲空間、恢復服務器和恢復任務的自動調度,從而完成備份數據有效性驗證的全自動化。備份校驗管理可以滿足用戶對當前備份數據的可恢復性驗證、恢復后的完整性驗證兩方面的需求,能夠覆蓋用戶全部業務系統的備份數據恢復驗證需求,自動化實現跨操作系統平臺Unix到Linux的數據恢復,實現驗證工作的高覆蓋率,提高備份數據有效性驗證的頻率。能提...
ADM貫穿數據收集、數據存儲、數據加工、數據傳輸、數據使用、數據提供、數據回收的各個環節,集中管理存儲資源、服務器資源,實現閉環式自動化管理流程,統一授權和全程監控,節省大量人力資源開銷,減少了數據恢復的重復性工作,自動化流程任務編排降低了人為因素導致的數據泄露風險。基于數據庫虛擬化技術,ADM實現了對數據庫、文件、虛擬機等副本的分鐘級創建,通過存儲級快照快速保留數據副本的狀態,實現數據版本的保留,跟蹤數據流向。同時,數據副本支持時效性設置,當數據副本超出使用期限,ADM平臺會自動停止使用或回收資源,實現對數據資產的全生命周期統一管理。國內較早發布CDM領域的平臺型產品是上訊敏捷數據管理平臺A...
ADM通過對管理人員、測試需求等內容的不同進行分組劃分,將已經數據進行分組管理,從測試數據管理的源頭管控數據資源的類別,做到從源頭劃分類別,使測試數據管理形成數據源----數據中轉----數據目標的閉環式數據使用流程,規范化的數據流程使數據管理者成為數據的負責人,自動化的資源管理也更有效地為用戶提供安全的測試數據管理方案。敏捷數據管理平臺ADM提供對虛擬數據庫的樹狀拓撲結構圖,可詳細了解測試數據的來源、所屬存儲池、掛載的測試服務器,以及虛擬數據庫快照的上下級關系,方便對系統全局的數據使用結構進行預覽,幫助用戶了解測試網中測試數據的使用關系,完善測試數據的組織結構,優化測試數據的資源分配。上訊敏...
l虛擬化平臺數據保護ADM為用戶提供***且有針對性的虛擬化平臺保護方案,包括VMware/SmartX/浪潮/華為FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack虛擬化平臺,幫助用戶解決商業和國產虛擬化的備份和恢復業務。例如:VMware是通過調用管理虛擬機和讀寫數據的API備份接口VADP(VstorageAPISforDataProtection)進行備份。VMware備份實現了無代理備份,即無需在虛擬化平臺或者各個虛擬機上安裝客戶端代理,只需通過代理客戶端連接虛擬化平臺即可,因此幾乎不占用主機資源,不影響生產性能。支持虛擬機自動發現功能,當虛擬機發...
通過敏捷數據管理平臺ADM產品的部署實施,采用數據庫虛擬化技術,快速將數據交付到開發、測試網,有效減少開發、測試場景中測試數據的準備時間,提高了開發、測試環境搭建的效率。ADM內置獨有的高效壓縮存儲池,平均壓縮比3:1,存儲即壓縮,降低了基礎數據源獲取的存儲成本,只需一份基礎數據源,即可快速拉起多份虛擬數據庫,節約了存儲成本10倍以上。ADM通過虛擬數據庫快照功能,可以靈活地對虛擬數據庫的狀態進行管理和維護。使用人員可以隨時保存當前的數據庫使用狀態,用于開發、測試的數據版本迭代。上訊敏捷數據管理平臺榮獲網信自主創新“尖鋒榜”產品獎。審批上訊敏捷數據管理平臺(ADM)的主要技術是(1)ADM內置...
數據備份管理是ADM功能模塊之一,主要用于實現云環境、物理環境、虛擬化平臺下的***數據保護。包括支持各種主流平臺下的系統、數據庫及文件數據的保護,支持主流的虛擬化平臺、國產化云服務器以及容器的保護,并可對物理服務器及虛擬化平臺下的備份數據進行即時掛載恢復,提供業務應急的能力和數據快速恢復能力;針對數據備份的存儲資源類型,ADM***支持DAS(包括SSD/HDD)、SAN(包括IP-SAN/FC-SAN)、對象存儲等存儲資源。支持接入第三方云存儲、對象存儲等作為大容量數據存儲池,具備較強的擴展能力。海量數據供數于眾多場景的數據使用需求是上訊ADM的應用場景。仿真型上訊敏捷數據管理平臺(ADM...
測試數據版本迭代管理,提升開發測試業務的變更效率企業開發需求更新頻繁,對測試環境和測試數據提出了同步變更的要求,ADM的虛擬數據庫快照功能解決了測試數據版本迭代的問題,通過對數據庫狀態進行定時或即時的記錄,保留當前虛擬數據庫的狀態作為測試數據版本,一旦需要調用某個版本時,只需切換到不同時間點的虛擬庫快照即可,靈活實現測試數據版本的任意切換,ADM還支持創建和維護虛擬庫級聯快照,滿足回歸測試等具體應用場景,通過這一功能明顯提升了開發測試效率、升級迭代效率。上訊敏捷數據管理平臺產品采用數據庫虛擬化技術面向數據全生命周期進行數據安全管理。國產化CDM備份數據孤島導致企業面臨數據碎片化、冗余、不一致等...
數據孤島指的是數據被分散、隔離和存儲在不同的系統、應用程序或部門中,使得數據之間無法有效地交流、共享或整合的情況。這些數據島嶼形成了一個個孤立的實體,難以互相連接或進行有效的數據分析。上訊敏捷數據管理平臺(ADM)通過有效整合企業內各業務系統的數據,實現數據采集、存儲、交付和管理的無縫對接,同時利用多項自主研發技術如數據庫虛擬化、數據備份恢復、敏感數據脫敏等,打破了企業內數據孤島現象,促進了數據資源的共享和高效利用。上訊ADM產品的成本控制體現在節約存儲資源降低存儲成本,自動化流程節約了人力成本。旁路式部署上訊敏捷數據管理平臺ADM功能支持自適應源端的全局重刪算法與策略,支持任務級與全局指紋庫...
備份是一個長期的過程,恢復往往只在事故發生后進行,且備份數據的可恢復性、可用性在很大程度上依賴于備份數據的完整性。為了保證備份數據的可用性,很多企事業單位會定期進行數據庫備份的恢復演練,也就是從備份數據中恢復出一套完整的數據庫。執行備份數據的恢復操作,需要備份系統管理人員或者數據庫管理人員(DBA)對數據的備份恢復實現原理有深入的了解,并周期性地對備份數據進行恢復操作,以保證備份數據的可恢復性與可用性。這種長期機械性、重復性的備份、恢復及驗證工作,無疑會占用DBA大量的時間和精力。在DBA界還流傳著這么一句話:“故障一定會發生,只是早晚的問題!”。作為一名DBA,只有時刻記得進行備份和恢復...
l異地數據容災(遠程復制)數字化時代,企業進行數據保護,不僅希望能夠實現本地數據保護,也要有災備中心進行異地數據保護。如此,即便本地數據中心遭遇地震、火災等重大自然災害或人為操作失誤等事故,導致本地備份數據或生產數據發生損壞或丟失時,能夠通過異地數據災備,確保數據可恢復。ADM支持通過遠程復制技術,將本地數據同步到異地災備中心,實現異地數據容災。基于備份任務,將生產數據備份到本地的存儲池,基于遠程復制任務,將本地存儲池中的備份數據同步到異地存儲池中,從而為生產數據提供雙重保護,當本地生產數據、或備份數據丟失、損壞時,通過預先設置的容災策略,在容災端進行應急接管。海量數據供數于眾多場景的數據使用...
上訊敏捷數據管理平臺(ADM)的主要技術是(1)ADM內置獨有的高效壓縮存儲池,壓縮比高達3:1,存儲即壓縮,降低了基礎數據源獲取的存儲成本與持續增長的副本數據存儲成本。(2)ADM的數據庫虛擬化技術,是通過獲取一份基礎數據源,快速拉起多份虛擬數據庫掛載給目標業務使用,虛擬數據庫拉起時幾乎不占用物理存儲空間,在實驗室測試環境下拉起一個10TB數據量的虛擬數據庫,只占用1GB左右的存儲空間,明顯節約了存儲成本和時間周期,因此針對開發測試場景,需要對同一份數據創建N份副本數據時,存儲成本節約近乎N倍。對敏感數據進行管理的產品有哪些?devops測試ADM貫穿數據收集、數據存儲、數據加工、數據傳輸、...
通過部署敏捷數據管理平臺ADM產品的數據副本管理模塊,實現了測試數據版本迭代管理,提升了數據使用過程中的應用效率。隨著移動互聯網技術的不斷革新,移動應用業務不斷擴張,企業面臨著前臺業務頻繁更新升級的現狀,為保證既有業務穩定,需要對新提出的升級需求開展仿真測試與回歸測試,因此亟需一套能夠對測試環境的測試數據進行版本靈活切換的解決方案,便于測試數據版本的即時調用,迅速適應不同業務程序提供不同版本的測試數據。ADM的虛擬數據庫快照功能解決了這一問題,通過對數據庫狀態進行定時或即時的記錄,管理和維護當前虛擬數據庫的數據,使用人員可以隨時通過記錄的虛擬數據庫快照提供一個版本的測試數據,經過測試后保存當前...
近年來,證券業務快速發展,信息系統變更日益頻繁,敏捷開發、快速迭代已經成為支持業務創新的必要條件。數據庫作為信息系統運行的重要支撐,數據準備和交付的自動化程度對系統開發、測試效率有大的影響。Gartner對CDM的定義是,它從生產環境通過快照技術獲取有應用一致性保證的數據,在非生產存儲上生成“黃金副本”(GoldenImage),這個“黃金副本”數據格式是原始的磁盤格式,可再虛擬化成多個副本直接掛載給服務器,分別用于備份恢復、容災或開發測試等.敏捷數據管理平臺ADM產品數據信創產品,實現了國產數據庫的備份與國產操作系統的兼容。敏感數據和變形規則綁定通過敏捷數據管理平臺ADM產品的部署實施,采用...
ADM產品數據安全***ADM平臺支持靜態數據脫敏(涉及數據庫、格式化文件、數據庫對象、消息隊列等),內置104條***算法、47條敏感信息類型匹配庫,覆蓋個人身份信息、組織機構信息、資質資格證信息、金融數據信息、醫療數據信息、車輛數據信息等眾多類別的敏感數據類型識別與仿真***。具備廣義的通用型***規則,包括字符替換、隨機生成、截短、加權生成、加密等;支持保留原有數據含義的仿真型***規則,支持中文字典庫與編碼字典庫,保證姓名、身份證號、證件號、地址、組織機構代碼等***后數據的有效性、可用性。提供基于數據庫的庫內***和基于ETL的抽取***,提供文件***添加水印功能,提供國產化操作系...
通過敏捷數據管理平臺ADM產品的部署實施,采用數據庫虛擬化技術,快速將數據交付到開發、測試網,有效減少開發、測試場景中測試數據的準備時間,提高了開發、測試環境搭建的效率。ADM內置獨有的高效壓縮存儲池,平均壓縮比3:1,存儲即壓縮,降低了基礎數據源獲取的存儲成本,只需一份基礎數據源,即可快速拉起多份虛擬數據庫,節約了存儲成本10倍以上。ADM通過虛擬數據庫快照功能,可以靈活地對虛擬數據庫的狀態進行管理和維護。使用人員可以隨時保存當前的數據庫使用狀態,用于開發、測試的數據版本迭代。上訊敏捷數據管理平臺ADM產品能對接NBU直接恢復。高可用上訊敏捷數據管理平臺(ADM)的主要技術是(1)ADM內置...
數據分鐘級提供,提升數據交付效率縮短開發周期通過部署ADM幾分鐘內即可創建一個數據量TB級別的虛擬數據庫,進而,快速將測試數據傳輸到下游的開發測試環境,無需繁瑣冗長的審核和等待,這一過程有效減少了下游開發測試場景中測試數據的準備時間,通常從以天計算縮短到以小時計算,時間效率提升明顯,**縮短了開發測試時間,進而縮短產品的發布周期。(5)敏感數據定義識別與仿真***,保障數據流轉環節的安全性通過智能定義敏感數據類型,自動發現和識別敏感數據,包括數據類型、內容、約束關系,靈活排序減少人為篩選,***精細定位敏感數據源。豐富的***算法與仿真的字典庫相結合,保證***后數據仍具有業務屬性,數據表間關...
數據分鐘級提供,提升數據交付效率縮短開發周期通過部署ADM幾分鐘內即可創建一個數據量TB級別的虛擬數據庫,進而,快速將測試數據傳輸到下游的開發測試環境,無需繁瑣冗長的審核和等待,這一過程有效減少了下游開發測試場景中測試數據的準備時間,通常從以天計算縮短到以小時計算,時間效率提升明顯,**縮短了開發測試時間,進而縮短產品的發布周期。(5)敏感數據定義識別與仿真***,保障數據流轉環節的安全性通過智能定義敏感數據類型,自動發現和識別敏感數據,包括數據類型、內容、約束關系,靈活排序減少人為篩選,***精細定位敏感數據源。豐富的***算法與仿真的字典庫相結合,保證***后數據仍具有業務屬性,數據表間關...
通過網絡遠程掛載的方式,ADM將TB量級數據拉起時間控制在分鐘級,數據恢復的響應速度極快,有效滿足開發測試、查詢分析、合規審計、應急恢復等場景對數據交付效率的要求。數據庫虛擬化技術可延伸應用到文件、虛擬機的副本創建,其優勢在于多份虛擬數據副本之間的讀寫操作單獨,完全滿足測試環境多場景同步測試的需求,ADM內置的智能讀寫緩存機制,能夠滿足壓力測試的性能要求;高效的數據副本管理功能,通過可視化的虛擬數據副本拓撲結構圖可對系統全局數據使用關系進行預覽,有助于完善測試數據的組織關系,優化測試數據的資源分配,同時,通過對拓撲結構的定位點擊可自動跳轉到相關數據副本的管理頁面并檢索出對應條目。上訊信息的自主...
上訊敏捷數據管理平臺(ADM)支持增量備份與全量快照合成技術,傳統的備份方案大多采用周期性的“全量備份+增量備份”策略,其增量備份大多不可持續,經過一段時間就必須執行一次全量備份。因而傳統的備份方案經常面臨備份窗口過大的問題,而且其增量備份數據的恢復效率相對低下,因為每個時間點的恢復都依賴于上一次全備副本和上一次全備副本后的所有增量數據,恢復操作需要進行逐個迭代恢復。此外,過期增量數據的清理操作也受限于備份副本之間的依賴關系,不一定能及時被清理。而增量備份與全量快照合成技術,即首先執行全量備份,之后只對新增或改動過的數據進行增量備份,此增量備份數據是持續的,而且每個增量備份的數據副本將自動合成...
l虛擬化平臺數據保護ADM為用戶提供***且有針對性的虛擬化平臺保護方案,包括VMware/SmartX/浪潮/華為FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack虛擬化平臺,幫助用戶解決商業和國產虛擬化的備份和恢復業務。例如:VMware是通過調用管理虛擬機和讀寫數據的API備份接口VADP(VstorageAPISforDataProtection)進行備份。VMware備份實現了無代理備份,即無需在虛擬化平臺或者各個虛擬機上安裝客戶端代理,只需通過代理客戶端連接虛擬化平臺即可,因此幾乎不占用主機資源,不影響生產性能。支持虛擬機自動發現功能,當虛擬機發...