瀚高數(shù)據(jù)倉(cāng)庫(kù)是我公司研發(fā)的一款基于大規(guī)模并行技術(shù)的數(shù)據(jù)倉(cāng)庫(kù)軟件,具備無共享、高性能、高可用、擴(kuò)展容易、海量數(shù)據(jù)處理等特性??梢詾槌笠?guī)模數(shù)據(jù)管理提供高性價(jià)比的通用計(jì)算平臺(tái),并廣泛地用于支撐各類數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)。
完全并行的MPP(Massive Parallel Processing,大規(guī)模并行處理)分布式架構(gòu),具有多機(jī)、多計(jì)算實(shí)例、多進(jìn)程并行能力,所有節(jié)點(diǎn)之間無共享,具有對(duì)等計(jì)算能力。
支持海量數(shù)據(jù)存儲(chǔ)、查詢,可處理PB級(jí)別以上的結(jié)構(gòu)化數(shù)據(jù);數(shù)據(jù)庫(kù)表的行數(shù)無大小限制,數(shù)據(jù)行可以存儲(chǔ)GB級(jí)別數(shù)據(jù);采用hash、random存儲(chǔ)策略,數(shù)據(jù)分布均勻。
瀚高數(shù)據(jù)倉(cāng)庫(kù)在原有本地存儲(chǔ)基礎(chǔ)上,研發(fā)外部存儲(chǔ)連接組件,提供對(duì)HDFS、S3、Hive、NFS、CephFS等外部文件系統(tǒng)的支持。
采用先進(jìn)的lz4、zstd高性能壓縮算法,在讀寫IO與磁盤存儲(chǔ)之間達(dá)到最好的平衡。
提供行列混合存儲(chǔ)方案,從而提高了列存數(shù)據(jù)庫(kù)特殊查詢場(chǎng)景的查詢響應(yīng)耗時(shí)。
完全兼容支持x86架構(gòu)的PC服務(wù)器,不需要昂貴的Unix服務(wù)器和磁盤陣列。
瀚高數(shù)據(jù)倉(cāng)庫(kù)采用高性能CSV解析器,一次可以解析8個(gè)字節(jié),在CSV外部表數(shù)據(jù)裝載時(shí),性能優(yōu)越。
瀚高數(shù)據(jù)倉(cāng)庫(kù)采用目前最先進(jìn)的LLVM框架提高查詢性能,發(fā)揮Just-In-Time編譯器的優(yōu)勢(shì),將整個(gè)查詢計(jì)劃轉(zhuǎn)換成一個(gè)匯編語言程序,有效去除x86執(zhí)行器與內(nèi)存的摩擦,使查詢性能更優(yōu)。
支持集群節(jié)點(diǎn)的擴(kuò)容和縮容,能夠通過增加服務(wù)器節(jié)點(diǎn)對(duì)系統(tǒng)的計(jì)算和存儲(chǔ)能力擴(kuò)容;擴(kuò)容過程動(dòng)態(tài)擴(kuò)展,不停機(jī),不影響業(yè)務(wù)正常運(yùn)行。
通過鏡像冗余機(jī)制來保證集群的高可用,數(shù)據(jù)通過鏡像提供冗余保護(hù),自動(dòng)故障探測(cè)和管理,自動(dòng)同步元數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù);具有數(shù)據(jù)備份恢復(fù)能力,支持全量、增量的備份/恢復(fù)。
提供完善用戶賬號(hào)控制和權(quán)限管理策略,保證數(shù)據(jù)庫(kù)系統(tǒng)的安全性;同時(shí)提供詳盡的審計(jì)日志輸出功能,記錄數(shù)據(jù)庫(kù)中與數(shù)據(jù)庫(kù)操作相關(guān)的所有日志。
可以通過資源隊(duì)列統(tǒng)一控制控制用戶、會(huì)話和查詢語句對(duì)集群資源的使用,可靈活配置資源隊(duì)列優(yōu)先級(jí),使維護(hù)更加自動(dòng)化;支持多種三方圖形化工具,簡(jiǎn)化管理員對(duì)數(shù)據(jù)庫(kù)的管理工作,以讓管理員以最小的代價(jià)進(jìn)行數(shù)據(jù)庫(kù)維護(hù)。