R7-DIP 數據集成交互産品

數據集成交互産品是一款能夠對來自不同數據源和不同結構形成的海量數據進行實時采集,傳輸,處理加工與交互整合的高效工具。

翺旗在線
導航

01

什麼是R7-DIP數據集成交互産品
WHAT IS R7-DIP
R7-DIP

數據交互産品示意圖

R7-DIP 數據集成交互産品是一款能夠對來自于不同數據源和不同結構形式的海量數據進行實時采集、傳輸、處理加工與交互整合的高效工具。主要應用在數據采集抽取、數據容災、數據集中與分發、實時數據共享交換等工作場景。能夠對結構化和非結構化數據,特别是對數據庫中數據的變化進行實時感知,進行自動化的傳輸和加工轉換。對收集的數據進行溯源、清洗、富集、提取、解析,真正有效為用戶解決現有信息化系統中的多源異構數據融合問題。

R7-DIP 具有業界最強的多源異構數據實時集成交互能力,架構上采用非侵入式、集中管控,對業務系統無幹擾,大幅度降低運維難度和成本,是目前業内領先的數據傳輸和集成産品。同時R7-DIP具有無代碼、可視化的統一管理運維界面,所見即所得,提供高易用與低成本的管理運維體驗。


02

數據集成交互産品特點
R7-DIP FEATURES

1.實時、高速、海量數據交互

實時感知數據源數據變化,秒級數據同步,在用戶真實業務環境下可達200G/小時高速實時交互,有效提高數據流通的實效性。既可運行于物聯網的小型數據源,也可運行于當前企業數據中心的大型集群,能夠有效支持DT時代下的數據整合與數據預處理。

2.全源、異構數據支撐

全面支持結構化、非結構化及半結構化數據類型。數據源不僅可以支持絕大多數關系型數據庫,還支持來自不同格式、架構、協議、速度和大小的動态、異類和分布式數據源,例如機器/傳感器、地理位置設備、點擊流、文件、社交訂閱源、日志文件、圖片和視頻等。

3.無插件、非侵入、安全無幹擾

R7-DIP采取中間部署架構,所有相關組件均運行在獨立的服務器中,不在數據源端和目标端安裝任何插件。隻要網絡可達,即可實現數據捕獲與裝載,對網絡帶寬需求低。無需進行定制化二次接口開發,對生産環境改造少,對業務系統幾乎沒有影響和幹擾。

4.全程可視化實現“眼神運維”

R7-DIP提供統一的數據管理配置平台,在web界面中對所有數據流轉流程進行拖拽式的配置與管理,所見即所得。提供多維度可視化監控界面,自動錯誤告警及處理機制讓用戶做到“眼神運維”。從源端到目标端的安全型路由,提供離散型用戶授權和詳細的實時可視化監管鍊與元數據,實現數據溯源,同時可以擴展到多個節點來應對數據量的變化。


03


案例分享
CASE SHARE

雙活數據中心—國家電網

協同辦公系統是國家電網公司 SG186 八大業務應用中涉及面最廣、使用率最高的系統,其成功實施對于 SG186 的應用推廣具有十分重要的意義。系統實現了公司各級單位間綜合辦公業務的網絡化管理、信息的互聯互通、企業知識資産的統一規範和集成管理。

面臨挑戰
1)要求将協同辦公系統建設為異地雙活數據中心模式,兩個數據中心均要對外提供服務,實現數據的實時雙向備份,保證應用的持續性和數據的安全性。
2)協同辦公系統需要将應用級災備目标調整為異地遠距雙活,RPO(Recovery Point Objective,複原點目标)由1小時縮短為5分鐘,RTO(Recovery Time Objective,複原時間目标)由4小時縮短為20分鐘,以提高服務水平。
3)在協同辦公系統中,當本地生産系統發生局部故障時,可通過本地故障應急平台快速恢複系統運行。
4)可通過異地遠距雙活系統快速接管本地應用,保障業務在中斷可控時間内,轉移到對端繼續工作。

R7-DIP

國家電網協同辦公系統應用雙活數據複制項目

客戶價值
1)實現國家電網協同辦公系統真正意義的業務雙活。
2)數據複制軟件實時的雙向業務複制,實現數據容災的功能,滿足協同系統對RTO/RPO時間的要求。
3)當協同辦公系統任一端出現系統故障時,可以通過對端快速的接管系統,保障業務的正常運行。
4)R7-DIP數據庫複制軟件自身具備HA高可用性,中間部署架構,全程可視化配置和管理,降低運維壓力的同時提高了系統的穩定性。


數據集中與分發—四川國稅

四川省國稅局自2006年以來,逐步實現了主要應用系統的省級集中,省局的各項管理決策系統從不同的生産系統分别調用數據,省局采用物化視圖的方式将綜合征管軟件的數據向各市(州)局分發。随着稅收征管改革的不斷深入,特别是四川省風險管理工作的不斷推進,省局需要實時将分散在各應用系統中的稅收業務類生産數據進行統一收集、整理、加工和分發。

面臨挑戰
1)采用實時模式将彙聚的稅務生産類數據,向電子征管檔案系統等4個省級集中管理類應用系統推送。
2)采用非實時模式按數據管轄權限分别向21個市(州)局單位分發,滿足省局和各市(州)局數據分析應用的需求。

R7-DIP

四川省國稅核心業務系統數據分發方式

客戶價值
1)數據分發到各市(州)局單位中,各單位自主進行數據查詢,完全避免省國稅的I/O、帶寬等資源占用,降低對生産業務的影響。
2)數據實時集中分發,管理類系統和各單位所得稅務生産數據均為實時數據,在滿足管理需求的同時掌握稅務數據最新動态。
3)R7-DIP提供的全程可視化管理配置界面,讓集中分發平台可及時響應各種自定義查詢需求 。
4)數據複制采用日志解析原理,一次解析,全局分發,大大減少資源消耗。
5)提高集中分發數據的時效性、準确性,支持大規模數據分發處理條件。


内外網數據交互—蘇州交巡警

蘇州交巡警于2012年已初步建立《智能交通設備維護管理系統》,通過該系統,交巡警支隊能及時、準确掌握設備運行情況,對設備故障作出智能診斷,上報通知維保單位,并監督其維修進度,進而對設備維保單位進行科學考核,以保障設備的高效運行,提高智能交通設備的使用效率,進一步推進蘇州交巡警支隊“科技強警”建設,并打到服務科學化、權利陽光化的社會效應。

面臨挑戰
1)縮短設備檢修周期。設備廠商通過外網進行查詢檢修,内網用戶負責審核,大大縮短了設備檢修周期。
2)項目搭建了一個互為災備的系統。在拆分成了内部、外部兩個系統以後,兩個系統的數據是相互實時複制的,每個系統都可以作為另一個系統的備份系統,當任何一個出現問題時都能夠接管業務。
3)降低應用系統的調整難度。由于R7-DIP是通用軟件,隻需要通過簡單的參數設置即可達成目标,讓技術人員更關注于生産系統運行。

R7-DIP

蘇州交巡警内外數據交互

客戶價值
1)縮短設備件檢修周期。設備廠商通過外網進行查詢檢修,内網用戶負者審核,大大縮短了設備檢修周期。
2)項目搭建了一個互為災備系統。在拆分成了内部、外部兩個系統以後,兩個系統的數據是相互實時複制的,每個系統都可以作為另一個系統備份系統,當任何一個出現問題時都能夠接管業務。
3)降低應用系統的調整進度。由于R7-DIP是通用軟件,隻需要通過簡單的參數設置即可達成目标,讓技術人員更關注于生産系統運行。


數據容災—北京銀行

北京銀行在2011年推出手機銀行“京彩生活”服務,“京彩生活”是北京銀行為手機用戶量身打造的便捷金融服務平台,集産品、資訊和服務為一體,以“360度”的服務理念整合平台,力争成為新一代的“掌上銀行櫃台”。“移動銀行”業務不僅可以使人們在任何時間、任何地點處理多種金融業務,而且使銀行以更便利、高效而又較為安全的方式為客戶提供傳統和創新的服務。

面臨挑戰
1)為保證手機銀行業務系統服務連續性和自身數據安全,需要建設對RTO\RPO要求較高的容災系統。
2)容災系統需要能夠滿足業務系統自身賬戶信息等結構化數據和文檔等非結構化數據的實時備份。
3)容災系統需要能夠滿足其他業務系統(如分析系統)的數據查詢需求。

R7-DIP

北京銀行數據容災

客戶價值
1)DIP為客戶提供了完整的結構化和非結構化數據的容災解決方案 ,并且滿足客戶對于RPO/RTO提出的高要求。
2)為手機銀行業務提供了服務連續性和數據安全性的可靠保證,自動化的運維和統一的管理界面解放用戶生産力,提高服務質量和生産效率。


數據分發—中國人民财産保險

中國人保财險基于統一客戶視圖的營銷管理系統(簡稱:營銷管理系統)于2015年6月實現了全系統上線,随着應用的不斷深入,各應用單位相繼提出了訪問營銷管理系統數據(簡稱:營銷數據)的需求,以便能夠根據自身的管理要求實施延伸開發,更好地為本地的銷售活動和銷售管理提供更全面、更實時的支持。

面臨挑戰
1)由于營銷管理系統是由總公司集中部署的系統,硬件設備、應用軟件以及數據庫都集中部署在南中心,各分公司本地并不存儲營銷數據。而且營銷數據量大(截至2015年6月30日,核心數據量為8T),要滿足面向全國38家分公司分發數據的要求,采用集中部署模式的數據分發系統是實施成本最低且見效最快的方案。将數據從營銷管理系統同步到DATAGUARD分發數據庫,增加生産系統數據安全系數。
2)分析DG分發庫,實時分發到38個異地的目标端數據庫中,滿足夜間大批量新增數據在早上8:30前分發到各分公司目标數據庫。
3)滿足各自數據庫的同步操作按需分配,互不影響。某一節點在複制過程中出現錯誤時可以通過增量方式恢複。
4)确保源端數據庫和38個目标端數據庫的數據安全。

R7-DIP

中國人民财産保險數據分發

客戶價值
1)目前DG分發庫存量數據為8T。平均每天日志量為600G左右。工作時間平均每天日志變化為130G左右。高峰平均日志變化值80G/小時,最高200G/小時,R7-DIP輕松應對,充分滿足客戶的數據分發需求。
2)數據實時分發到各省分公司數據庫中,各單位可通過訪問自己的數據庫進行數據查詢,完全避免全國集中訪問集團營銷數據庫。
3)TB級新增數據實時清洗,分發,确保各營銷單位能夠在晨會拿到第一手的即時數據。
4)集中管理數據分發工作,解決了集團運維人數緊張,需管理全國38個分發節點的困境。
5)純圖形化管理,可以很直觀的管理複雜的鍊路配置、數據清洗、運維監控。極大降低了學習成本和對運維人員的要求。


04

R7-DIP 實現原理
CORE Technology

·針對事務型數據庫增量數據集成交互

R7-DIP通過對數據庫的事務日志進行實時跟蹤,分析日志包含的數據内容,能夠支持捕捉業界主流數據庫的變化數據,可以進行清洗、過濾、加工轉換和數據的實時整合等功能。

·針對全源數據的集成交互

R7-DIP提供了一個可獨立部署的分布式數據流通模塊,在該流通模塊中,提供百種标準化的數據流通組件,這些組件全面支持結構化、非結構化及半結構化數據類型,數據源不僅可以支持絕大多數關系型數據庫,還支持來自不同格式、架構、協議、速度和大小的動态、異類和分布式數據源,例如機器/傳感器、地理位置設備、點擊流、文件、社交訂閱源、日志文件、圖片和視頻等。

R7-DIP

R7DIP 實現原理示意圖

核心技術
1. IOAT-RC - 實時全源數據交互技術:百種标準化數據流通處理組件支持全源數據的交互。
2. CDC - 持續數據複制技術:采用解析數據庫在線日志的方式完成增量數據的實時捕獲和裝載。
2. ETL - 批量處理技術:支持批量數據的複雜處理,如:字段映射、類型轉換、字段運算、字符串處理、字符集處理、空值處理、日期轉換、聚集運算、字段拆分、字段合并、表達式計算、大字段讀寫等。


05

R7-DIP 主要指标
R7-DIP MAIN INDICATORS

數據時延:<10秒

傳輸介質:TCP/IP網絡

數據壓縮傳輸:支持

集群部署:支持

最大處理日志量:>200GB/小時

對生産系統的影響:<5%

距離:無限制


06

支持的操作系統
SUPPORTED BY THE OPERATING SYSTEM
R7-DIP

07

R7-DIP 支持的數據源和目标
SUPPORTED BY THE DATA SOURCE AND GOAL

·端源

日志解析模式

Oracle 9i及以上版本

Microsoft SQL Server2005及以上版本

MySQL 5.1及以上版本

DB2 v9.5及以上版本

非日志解析模式支持多種數據源對接

·目标端

所有源端支持的數據庫

國産數據庫:達夢、南大通用Gbase、人大金倉、神州通用、KDB等

Sybase

Vertica

PostgreSQL

Altibase

ODBC兼容數據庫

數據倉庫

大數據系統HDFS、Hbase

消息隊列(MQ、Kafka)

非日志解析模式的多種目标數據源(ftp、file、http、log、mongo等)

电话直呼
在线留言
企业地标
翺旗科技直撥熱線
400-168-2700
還可輸入字符200(限制字符200)
Top