敏捷數據管理平臺是國內較早發布的副本數據管理(CDM)產品,純國產化技術自主研發,**國內CDM廠商率先應用在大型頭部金融機構和運營商企業,在金融、能源、運營商、交通、物流等行業擁有***的實踐。與眾多銀行用戶建立全方位、多層次的深度合作,結合不同國產數據庫的特性采用自動化的數據獲取方式,為銀行在國產化替換進程中解決配套的信息安全產品問題,在實現金融服務質效提升的同時,幫助銀行實現數字化、智能化發展,實現國產信創的快速推進,促進以數據為關鍵要素的數字經濟發展.上訊信息敏捷數據管理平臺ADM產品支持全域重刪技術,從而減少需要備份的數據量、縮短備份窗口。下游測試數據快速交付ADM支持Oracle/...
ADM產品數據安全***ADM平臺支持靜態數據脫敏(涉及數據庫、格式化文件、數據庫對象、消息隊列等),內置104條***算法、47條敏感信息類型匹配庫,覆蓋個人身份信息、組織機構信息、資質資格證信息、金融數據信息、醫療數據信息、車輛數據信息等眾多類別的敏感數據類型識別與仿真***。具備廣義的通用型***規則,包括字符替換、隨機生成、截短、加權生成、加密等;支持保留原有數據含義的仿真型***規則,支持中文字典庫與編碼字典庫,保證姓名、身份證號、證件號、地址、組織機構代碼等***后數據的有效性、可用性。提供基于數據庫的庫內***和基于ETL的抽取***,提供文件***添加水印功能,提供國產化操作系...
數據孤島指的是數據被分散、隔離和存儲在不同的系統、應用程序或部門中,使得數據之間無法有效地交流、共享或整合的情況。這些數據島嶼形成了一個個孤立的實體,難以互相連接或進行有效的數據分析。上訊敏捷數據管理平臺(ADM)通過有效整合企業內各業務系統的數據,實現數據采集、存儲、交付和管理的無縫對接,同時利用多項自有技術如數據庫虛擬化、數據備份恢復、敏感數據脫敏等,打破了企業內數據孤島現象,促進了數據資源的共享和高效利用.ADM支持多線程文件備份,支持海量小文件場景下的聚合策略進行文件備份。敏捷數據備份恢復驗證數據副本管理是ADM功能模塊之一,可單獨作為企業級副本數據管理(CDM)產品。為應對當前復雜的...
ADM平臺具備根據管理人員、測試需求等內容的不同進行分組劃分的功能,將處理過的數據進行分組管理,從下游測試數據管理的源頭管控數據資源的類別,做到從源頭劃分類別,使下游測試數據管理形成上游數據源-中游數據中轉-下游數據目標的閉環式數據使用流程,規范化的數據流程使數據管理者成為數據的負責人,自動化的資源管理也更有效地為金融行業用戶提供安全的數據管理方案。同時,ADM提供對數據流轉的樹狀拓撲結構圖,可詳細了解數據的來源、所屬存儲池、掛載的測試服務器,以及數據快照的層級關系,方便對系統全局的數據使用結構進行預覽,通過可視化的結構拓撲圖,幫助用戶了解下游測試網中測試數據的歸屬關系,完善數據流轉路徑,優化...
l數據壓縮存儲ADM支持同步數據壓縮,自動化地將同步數據按照3:1的比例壓縮,系統存儲空間顯示已壓縮的容量大小,存儲即壓縮。l自助式數據服務ADM不僅可以靈活地提供任意時間點的數據,還可以對虛擬數據庫進行圖形化、自助式的管理。l虛擬數據庫集中管控虛擬數據庫集中管控是對虛擬數據庫在使用過程中的狀態進行管理,包括如下功能:①虛擬數據庫版本管理②虛擬數據庫共享管理③虛擬數據庫記錄查詢l敏感信息智能掃描ADM內置敏感信息匹配庫,對數據庫的敏感信息進行智能定義掃描,成功發現后自動匹配成敏感類型,以匹配度和敏感信息類型進行靈活排序,避免漏掃。l關聯關系保持一致支持對數據庫中表間和表內的約束信息和索引信息進...
l分鐘級掛載恢復技術ADM壓縮保存源端數據庫的數據,并保留時間線,方便恢復任意時間點數據。ADM備份的全量快照為原格式,無需格式轉換和IO拷貝,可直接掛載到目標主機上快速拉起應用恢復,**技術采用自研的數據庫虛擬化技術通過一份數據快照作為基礎數據生成黃金副本,快速掛載恢復多個虛擬副本。掛載恢復的方式**縮短了數據恢復的時間,通常業務RTO時間由小時級甚至天級,縮短到分鐘級;掛載恢復降低了數據恢復所占用的存儲空間,*對新寫入的數據計入資源占用;由于掛載恢復速度快增加了數據恢復演練的頻率,提高了備份數據有效性驗證的工作效率。上訊信息敏捷數據管理平臺ADM產品的數據備份模塊通過數據重刪可節省傳輸占用...
上訊敏捷數據管理平臺ADM產品是一款企業級CDM產品,通過以數據為中心,以安全為前提,以使用為導向,以敏捷為目的的產品理念,為企業提供一套面向上中下游數據高效使用與安全管控的數據安全治理解決方案,在保證數據安全使用的同時,提高數據使用效率、降低數據存儲成本。ADM產品的應用解決了數據開發利用需求下,數據使用流轉環節遇到的安全性和效率問題,為企業在開發測試場景中快速供應測試數據提供了一種新的解決方案,主要應用于開發測試部門中對開發測試團隊的功能測試、回歸測試等具體的測試場景提供靈活的測試數據版本,通過一鍵切換立即調取適用于當前業務版本的數據版本,明顯縮短了業務開發的測試周期.數據管理領域的CDM...
l數據庫數據保護ADM采用圖形化向導式操作,無需用戶手動執行備份和恢復腳本,簡化了備份恢復的難度。既支持傳統的無掛載備份,也支持***全量備份、后續長久增量備份與全量快照合成、事務日志同步相結合的方式。數據庫備份的基本流程如下:通過管理控制中心(Master)的Web管理頁面推送客戶端(Client)軟件到需要保護的生產服務器上,自動完成客戶端軟件的安裝和注冊,與Server服務器端保持通訊。客戶端將識別生產服務器中的數據庫數據,并通過備份API讀取數據庫數據,然后將其傳輸至數據服務節點完成備份。管理控制中心(Master)負責向客戶端軟件和服務節點發送控制信息,管理整個備份任務的運行。例如:...
備份需要從業務系統中獲取數據,統計、分析需要從業務系統中獲取數據,研發、測試需要從業務系統中獲取數據。這些數據從業務系統中拷貝出來后,如果得不到有效的管控,將會給企業帶來安全隱患,這也是用戶需要考慮解決的又一現實問題。基于上述問題的考慮,I T負責人迫切需要一種既可以解放業務系統,又可以對測試環境數據的采集、傳輸、存儲、使用及流轉等關鍵環節進行效率和安全雙重保障的平臺化產品,由此上訊敏捷數據管理平臺ADM應運而生。備份數據的開發利用是喚醒大量淪為暗數據的備份數據,讓數據備份即可用。預估任務時間ADM平臺具備根據管理人員、測試需求等內容的不同進行分組劃分的功能,將處理過的數據進行分組管理,從下游...
l虛擬化平臺數據保護ADM為用戶提供***且有針對性的虛擬化平臺保護方案,包括VMware/SmartX/浪潮/華為FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack虛擬化平臺,幫助用戶解決商業和國產虛擬化的備份和恢復業務。例如:VMware是通過調用管理虛擬機和讀寫數據的API備份接口VADP(VstorageAPISforDataProtection)進行備份。VMware備份實現了無代理備份,即無需在虛擬化平臺或者各個虛擬機上安裝客戶端代理,只需通過代理客戶端連接虛擬化平臺即可,因此幾乎不占用主機資源,不影響生產性能。支持虛擬機自動發現功能,當虛擬機發...
敏捷數據管理平臺ADM能夠將上游的數據收集、存儲,中游的數據處理、傳輸,下游的數據分發和交付全流程貫通,形成一套自動化、智能化的副本數據全生命周期管理解決方案,為銀行業實現測試業務多場景的數據覆蓋,實現業務版本的高質量交付和快速迭代提供了行之有效的工具。ADM的數據庫虛擬化功能與GoldenDB高可用、高可靠的數據庫服務相結合,為該行提供了敏捷的副本數據交付能力與靈活的副本數據管理能力,對銀行測試數據管理體系的構建起到了強有力的助推作用,助力打造數字化業務增長新模式.數據備份產品關注數據備份,上訊敏捷數據管理平臺ADM產品能用于數據的備份與快速恢復驗證。刪除過期數據基于CDM(CopyData...
傳統的備份方案大多采用周期性的“全量備份+增量備份”策略,其增量備份大多不可持續,經過一段時間就必須執行一次全量備份。因而傳統的備份方案經常面臨備份窗口過大的問題,而且其增量備份數據的恢復效率相對低下,因為每個時間點的恢復都依賴于上一次全備副本和上一次全備副本后的所有增量數據,恢復操作需要進行逐個迭代恢復。此外,過期增量數據的清理操作也受限于備份副本之間的依賴關系,不一定能及時被***。而長久增量備份與全量快照合成技術,即***執行全量備份,之后只對新增或改動過的數據進行增量備份,此增量備份數據是持續的,而且每個增量備份的數據副本將自動合成為全量快照副本,便于恢復。因此,長久增量備份與全量快照...
管理控制中心(Master)是ADM的集中管理和調度控制中心,是進行可視化管理的Web操作平臺。它負責集中管理ADM中的所有模塊組件,系統管理員、安全管理員、操作員通過管理控制中心的Web管理頁面協調并執行各個角色對應的操作;數據服務節點(CDMServer)是提供數據備份與恢復、備份數據恢復驗證、副本數據創建和交付、數據復制容災功能的服務節點。用于記錄數據服務任務的配置信息、存儲情況、歷史記錄等,數據服務節點統一通過MasterIP訪問;***服務節點(SDMServer)是提供數據脫敏的服務節點,用于記錄接入平臺的敏感數據源、數據脫敏策略、***任務記錄等信息,***服務節點統一通過Mas...
數據流程管理是ADM功能模塊之一,主要通過靈活配置數據流轉環節實現數據管理流程的自動化作業編排,ADM采用基于畫布的方式默認作業流程的起止節點,根據實際需求將數據的獲取、恢復、***、傳輸、共享、交付、銷毀等各個環節對應的任務組件靈活拖動到作業畫布,組成一個完整的任務流程,各任務之間支持依賴關系、延時機制以及斷點處理機制,**終實現數據管理流程任務的串聯組建和并行執行,達到數據管理流程的自動化執行,協助用戶將數據交付流程的各個工作環節靈活地組合起來,實現數據交付的自動化,從而擺脫人工值守,達到縮減時間成本和人力成本的目標。ADM可實現備份數據任意時間點掛載恢復快速對恢復數據進行驗證。節點hos...
數據流程管理是ADM功能模塊之一,主要通過靈活配置數據流轉環節實現數據管理流程的自動化作業編排,ADM采用基于畫布的方式默認作業流程的起止節點,根據實際需求將數據的獲取、恢復、***、傳輸、共享、交付、銷毀等各個環節對應的任務組件靈活拖動到作業畫布,組成一個完整的任務流程,各任務之間支持依賴關系、延時機制以及斷點處理機制,**終實現數據管理流程任務的串聯組建和并行執行,達到數據管理流程的自動化執行,協助用戶將數據交付流程的各個工作環節靈活地組合起來,實現數據交付的自動化,從而擺脫人工值守,達到縮減時間成本和人力成本的目標。副本數據管理CDM產品能解決軟件開發測試部門的供數需求。變形規則模板上訊...
上訊敏捷數據管理平臺(ADM)的主要技術是(1)ADM內置獨有的高效壓縮存儲池,壓縮比高達3:1,存儲即壓縮,降低了基礎數據源獲取的存儲成本與持續增長的副本數據存儲成本。(2)ADM的數據庫虛擬化技術,是通過獲取一份基礎數據源,快速拉起多份虛擬數據庫掛載給目標業務使用,虛擬數據庫拉起時幾乎不占用物理存儲空間,在實驗室測試環境下拉起一個10TB數據量的虛擬數據庫,只占用1GB左右的存儲空間,明顯節約了存儲成本和時間周期,因此針對開發測試場景,需要對同一份數據創建N份副本數據時,存儲成本節約近乎N倍。ADM支持多線程文件備份,支持海量小文件場景下的聚合策略進行文件備份。前后數據對比備份校驗管理是A...
上訊敏捷數據管理平臺(ADM)數據復制容災模塊主要包括數據遠程復制、數據異地容災兩大功能點,是基于ADM系統底層的數據塊增量復制功能,全量復制傳輸,后續增量復制與全量快照合成傳輸,實現本地和異地均可以同時提供虛擬庫對外訪問。主要解決數據全生命周期管理中數據傳輸流轉的安全問題,基于數據備份任務和虛擬副本任務,將源數據和副本數據存儲到本地ADM的存儲池中,在本地ADM和遠端ADM之間創建遠程復制鏈路,根據遠程復制策略,將本地存儲池中的數據同步到遠端ADM存儲池中,從而為副本數據提供從上游到下游的安全傳輸路徑。上訊敏捷數據管理平臺ADM產品能對接NBU自動恢復。面向數據使用的應用場景上訊敏捷數據管理...
在典型的重復數據刪除技術中,根據不同的數據備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據輸入側不同粒度(卷級、文件級、塊級)的數據采取不同的數據切分策略,并依據任務級與全局指紋庫提供自適應源端的全局重刪算法與策略,當前支持源端塊級、文件級重刪和并行重刪技術。源端重刪是采用基于內容的可變長數據切分算法,通過對數據塊進行哈希算法的***標記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數據塊,ADM則不再保存此數據塊,而是引用已存在的數據塊,從而節省更多的備份空間。該算法還可以智能識別已修改的數據和未修改的數據,從而避免因...
信息化時代,“數據”的應用較為頻繁,海量數據的組成中,備份數據占有很大比例,而這些備份數據在沒有發生故障時往往是被擱置不用的,被稱為“暗數據”。而對業務數據的分析、統計、運維等操作都會直接作用在業務服務器,如此將會對業務性能產生影響,不利于業務系統的高效使用。如何做到解放業務系統,使其專注于業務處理上,也是IT管理者需要考慮的另一個現實問題。備份需要從業務系統中獲取數據,統計、分析需要從業務系統中獲取數據,研發、測試需要從業務系統中獲取數據。這些數據從業務系統中拷貝出來后,如果得不到有效的管控,將會給企業帶來安全隱患,這也是用戶需要考慮解決的又一現實問題。ADM支持多線程文件備份,支持海量小文...
數據備份管理是ADM功能模塊之一,主要用于實現云環境、物理環境、虛擬化平臺下的***數據保護。包括支持各種主流平臺下的系統、數據庫及文件數據的保護,支持主流的虛擬化平臺、國產化云服務器以及容器的保護,并可對物理服務器及虛擬化平臺下的備份數據進行即時掛載恢復,提供業務應急的能力和數據快速恢復能力;針對數據備份的存儲資源類型,ADM***支持DAS(包括SSD/HDD)、SAN(包括IP-SAN/FC-SAN)、對象存儲等存儲資源。支持接入第三方云存儲、對象存儲等作為大容量數據存儲池,具備較強的擴展能力。數據備份產品構建了數據保護的基礎防線。建表近年來,證券業務快速發展,信息系統變更日益頻繁,敏捷...
管理控制中心(Master)是ADM的集中管理和調度控制中心,是進行可視化管理的Web操作平臺。它負責集中管理ADM中的所有模塊組件,系統管理員、安全管理員、操作員通過管理控制中心的Web管理頁面協調并執行各個角色對應的操作;數據服務節點(CDMServer)是提供數據備份與恢復、備份數據恢復驗證、副本數據創建和交付、數據復制容災功能的服務節點。用于記錄數據服務任務的配置信息、存儲情況、歷史記錄等,數據服務節點統一通過MasterIP訪問;***服務節點(SDMServer)是提供數據脫敏的服務節點,用于記錄接入平臺的敏感數據源、數據脫敏策略、***任務記錄等信息,***服務節點統一通過Mas...
l應用數據一致性保障ADM主要應用原生備份接口獲取具有應用一致性保障的數據,如針對Oracle,利用OracleRMAN和歸檔日志來保障備份數據庫數據的一致性;針對VMware虛擬化,利用VMwareSnapshot技術來保障備份虛擬機數據的一致性。l事務日志同步技術支持數據庫的事務日志備份,事務日志是數據庫中已發生的所有修改和執行每次修改的事務的一連串記錄,事務日志備份可將數據恢復到精確的故障點。例如:Oracle支持歸檔日志備份和刪除,MySQL數據庫支持redo日志備份和刪除等。l文件系統數據保護ADM支持備份非結構化的文件系統。支持全量備份和長久增量備份與全量快照合成,備份策略采用定時...
功能節點統一管理,支持彈性擴展ADM采用多節點高可用部署架構,保障數據服務高可用,并消除單節點故障導致的業務不可用問題,確保數據服務連續性。采用Scale-out架構,根據業務發展規模,按需擴展集群節點,無需停止服務,靈活滿足業務需求。同時,ADM支持存儲池容量的彈性擴充,滿足不斷增長的數據存儲需求。(2)數據存儲成本倍數級節約,提升數據存儲環節的效能首先,數據備份面臨存儲成本高的問題,ADM采用內置高效的壓縮存儲池存放數據,壓縮比約為3:1,存儲即壓縮,***降低了備份數據的存儲成本;其次,通過ADM的數據庫虛擬化技術,一份基礎數據即可快速拉起多份虛擬數據庫,由于虛擬數據庫90%的數據均與原...
當前,有效的保障數據安全的方式仍然是數據備份,即企業針對生產業務的數據、文件制定備份策略生成備份數據,一旦業務數據發生丟失或損壞,則恢復備份數據提供業務訪問,傳統的數據備份方案并未提供數據的恢復驗證手段,因此企業在發生數據丟失時,啟用備份數據恢復失敗的案例屢見不鮮,這也給各行業客戶造成了巨大的經濟損失和不良的社會影響,為滿足法律的合規性要求,備份數據的恢復驗證成為備份恢復解決方案的必要需求,但由于備份數據量巨大、涉及業務系統繁多、專業人員數量有限,定期的備份數據恢復驗證仍然是一道難題,上訊敏捷數據備份恢復驗證解決方案為備份數據的恢復驗證提供了創新的技術手段,包括備份數據的分鐘級快速恢復、秒級可...
上訊敏捷數據管理平臺(Agile Data Management)簡稱ADM,是采用基于CDM架構的數據庫虛擬化等**技術,為企業上中下游數據的備份恢復、數據驗證、安全***、分發交付提供的面向數據全生命周期的安全管理解決方案。該產品通過自動化流程任務編排的方式實現了數據使用的成本控制、版本管理與開發利用,充分發揮了備份數據的潛在價值。實現生產數據備份恢復與異地容災、備份數據自動化恢復與有效性驗證、測試數據多副本快速交付、數據安全***。 通過網絡遠程掛載的方式,ADM將TB量級數據拉起時間控制在分鐘級,數據恢復的響應速度極快。自動生成表名備份校驗管理是ADM功能模塊之一,...
備份是一個長期的過程,恢復往往只在事故發生后進行,且備份數據的可恢復性、可用性在很大程度上依賴于備份數據的完整性。為了保證備份數據的可用性,很多企事業單位會定期進行數據庫備份的恢復演練,也就是從備份數據中恢復出一套完整的數據庫。執行備份數據的恢復操作,需要備份系統管理人員或者數據庫管理人員(DBA)對數據的備份恢復實現原理有深入的了解,并周期性地對備份數據進行恢復操作,以保證備份數據的可恢復性與可用性。這種長期機械性、重復性的備份、恢復及驗證工作,無疑會占用DBA大量的時間和精力。在DBA界還流傳著這么一句話:“故障一定會發生,只是早晚的問題!”。作為一名DBA,只有時刻記得進行備份和恢復...
在國家大力發展信創的背景下,實現國產化軟硬件部署已成為企業的**訴求,其中逐步建立覆蓋國產化數據庫、操作系統、虛擬化平臺的國產化數據保護體系,實現備份數據自動化恢復驗證成為當前數據保護系統的迫切需求。同時,以金融和運營商行業為例,其開發測試部門需要頻發測試驗證,對數據使用頻率較高,因此形成了大量不同版本的測試數據,這部分數據體量龐大,動輒幾百GB甚至幾十TB,管理難度較大。國家日趨重視對數據隱私的安全管控,數據脫敏成為企業數據安全治理的重要方向。ADM在處理數據上中下游流轉的過程是集中統一的,通過全閉環式的傳輸保證了數據的安全。如何過濾不需要變形的數據傳統的備份方案大多采用周期性的“全量備份+...
組織內部應建立一套完善的數據備份恢復體系,部署相應的數據備份恢復平臺,實現對生產數據的定期備份和恢復驗證。該平臺應包括對備份數據進行定期的恢復驗證,周期間隔跨越日、月、季度、半年、年等,恢復驗證策略設置完畢可自動執行,確保數據的可恢復性和可用性;該平臺應能對長期存儲的備份數據進行時效性管理,針對數據的分享、存儲、使用和刪除設定有效期,過期存儲數據可進行刪除或再次授權使用;該平臺應能對備份數據進行壓縮或加密存儲,保證存儲空間的有效利用.敏捷數據管理平臺ADM為企業上、中、下游數據的高效使用提供了一套綜合數據安全治理解決方案。文件到庫ADM支持Oracle/MySQL/DB2/SQLServer/...
在數據收集和使用上,通過獲取一份具有應用一致性保證的“黃金副本”,分鐘級虛擬化為多個副本直接掛載使用,數據使用效率明顯得到提升;在數據存儲和傳輸上,這些虛擬數據副本相對原始存儲幾乎不占用存儲空間(約為0),且ADM產品將全部數據集中存放在統一的存儲池中,既保證了數據傳輸流轉的閉環管控,又降低了數據的存儲成本;在數據加工上,數據脫離生產環境之前增設了敏感數據處理環節,保障數據公開后的隱私安全,防止核心數據泄露;在數據的提供和公開上,虛擬數據副本可用于準生產、測試環境等場景的數據交付,每一份虛擬數據都是互不影響的,并且可讀可寫,數據在經過變更后可標記快照,多個快照之間可以任意切換實現數據版本的管理...
管理控制中心(Master)是ADM的集中管理和調度控制中心,是進行可視化管理的Web操作平臺。它負責集中管理ADM中的所有模塊組件,系統管理員、安全管理員、操作員通過管理控制中心的Web管理頁面協調并執行各個角色對應的操作;數據服務節點(CDMServer)是提供數據備份與恢復、備份數據恢復驗證、副本數據創建和交付、數據復制容災功能的服務節點。用于記錄數據服務任務的配置信息、存儲情況、歷史記錄等,數據服務節點統一通過MasterIP訪問;***服務節點(SDMServer)是提供數據脫敏的服務節點,用于記錄接入平臺的敏感數據源、數據脫敏策略、***任務記錄等信息,***服務節點統一通過Mas...