HTAP產品Hubble

Hubble是一款大規模高并發支持靈活查詢的實時查詢引擎,具有高可用、可橫向擴展、健壯性的特點,支持數據自動均勻分布、支持索引及事務控制、支持REST、SQL、SDK等接口,支持上千個用戶并發的進行實時查詢。

類別:

Hubble:大規模高并發支持靈活查詢的國產HTAP產品

人工智能和大數據一直作為孿生兄弟相互支撐,生產與離線分析各自獨立的傳統信息化結構已經無法支撐AI的發展,每個異構數據庫產品之間的同步和數據冗余;業務的實時性需要流數據框架;ML越來越多作為核心業務部件被部署在流程中自動化完成……這些都會帶來很多問題,因此限制了大數據企業應用的發展。新一代數據驅動業務提出了數據湖等全新架構,而數據湖不僅僅是低成本的存儲,更應是面向生產交易等數據科學處理的核心計算框架。
憑借7年來在分布式計算集群的沉淀,及三家大型銀行核心交易系統的實踐驗證,天云大數據推出了百萬原生代碼規模的HTAP產品:Hubble,可以實現混合交易分析處理,一款既能支持OLTP,又能支持OLAP的產品

Hubble查詢引擎具有下列特性:

  • 與hadoop生態圈緊密結合,可與其他hadoop組件進行無縫集成。
  • 支持數據和用戶的高擴展,水平擴展非常容易。支持高效穩定的海量數據存儲,可有效支持上億行、上百萬列、上萬個版本,支持對數據自動分片。
  • 具有容錯性的數據分發和備份,對索引分片,并對每個分片創建多個副本。每個副本都可以對外提供服務。一個副本的異常不會對整個集群提供索引服務造成影響。
  • 支持高可用性和熱備份。
  • 支持對數據進行各種高級查詢,包括交集、聯集、排除、通配符、范圍、分頁、排序、Group等。
  • 讀寫嚴格一致,支持ACID(ACID指數據庫正確執行的四個基本要素,包括:原子性,一致性,隔離性,持久性)和最終一致性。支持事務的提交和回滾,有效保障了數據的完整性。
  • 數據查詢的秒級毫秒級響應,從而支持OLTP。

Hubble具有包括Java、Python、Scala SDK,RESTFul API,SQL等多種讀寫接口,可同時滿足FTP、MQ、Sqoop、Flume、Kafka等多種數據接入方式,同時支持天云自有交換平臺的數據接入。同時利用多種多樣的接口可向各類業務應用推送需要的數據。支持全量導入、增量導入數據、讀取數據支持分頁等細節功能。

保持數據事務一致性,對ACID的有效支撐。事務控制層可以支持安全的使用并發的多線程。可以支持對一個數據對象或方法在讀寫上的提交與回滾。在事務完成時,無論成功或者回滾,數據在多個節點都會處于一致的狀態。

為了更好的查詢效率和對各種數據類型有更好的支持,Hubble索引包含了多種數據類型的索引,這些數據類型包括:Byte、Short、Integer、Long、Float、Double、Decimal、Precision、String、Date、Instant等,有了這些數據類型,索引就可以根據業務實際需要來進行選擇,緊密的和業務結合在一起。

通過持久化接口將數據在Hubble中持久化。Hubble原生支持了多種數據類型,這些類型包括:String、Character、Boolean、Byte、Short、Integer、Long、Float、Double、Decimal(擁有三位小數的數字)、Precision(擁有6位小數的數字)、Date、UUID。

  • 采用分布式架構解決數據的安全性、穩定性,相對于傳統關系型數據庫,大大提高了數據的存儲容量。
  • 支持數據和用戶的高擴展,水平擴展非常容易。支持高效穩定的海量數據存儲,可有效支持上億行、上百萬列、上萬個版本,支持對數據自動分片。
  • 具有容錯性的數據分發和備份,對索引分片,并對每個分片創建多個副本。每個副本都可以對外提供服務。一個副本的異常不會對整個集群提供索引服務造成影響。
  • 支持對數據進行各種高級查詢,包括交集、聯集、排除、通配符、范圍、分頁、排序、Group等。
  • 讀寫嚴格一致,支持ACID。支持事務的提交和回滾,有效保障了數據的完整性。
  • 數據查詢的秒級毫秒級響應,從而支持OLTP。
  • 可與其他組件可以做到輕松集成,既可以與業務系統結合,將讀數據放到Hubble端,來做讀寫分離,為業務系統減負,也可通過大數據平臺hadoop和spark進行ETL處理,從而支持OLAP。
  • 良好的開發規范和完善的文檔支持,降低了開發人員的使用門檻,無需關心Hubble的底層。
  • 利用Hubble低延時、高性能、海量存儲等特性,滿足需要從海量的歷史和實時數據中秒級獲取有效信息的場景。
  • 在分布式背景下,數據量不斷的增長,需要高速的讀寫,并有復雜的ETL需要的場景。
  • 用戶使用頻率非常高,重要程度僅次于核心應用,對數據的丟失以及服務的中斷零容忍的場景。
  • 對數據的一致性有要求的場景。
七星彩规律视频17132期