痛點

傳統(tǒng)數(shù)據(jù)庫Oracle/DB2等

 

痛點：

1、適合處理1TB以內(nèi)數(shù)據(jù)量，性能隨著數(shù)據(jù)量增長衰減很快；

2、縱向擴容（提升單機性能）成本高，上限低；

3、橫向擴容難以設置和管理，成本高，集群性能不能線性擴展，且擴容規(guī)模有限；

4、主要為結構化數(shù)據(jù)，半結構化、非結構化數(shù)據(jù)支持度較差。

 

Teradata

 

痛點：  

1、擴容成本問題：TD存儲、擴容的費用成本高；

2、設備型號不兼容問題：新舊型號無法共存，一再演繹生產(chǎn)設備下線了需要再開發(fā)，測試，UAT之間流轉的故事；

3、支撐場景有限：TD屬于傳統(tǒng)的數(shù)據(jù)倉庫，對半結構化、非結構化數(shù)據(jù)支持不好；對實時數(shù)據(jù)場景也無法支持；

4、處理性能不足：TD采用MPP架構，架構存在的木桶效應，空間問題、設計問題，優(yōu)化問題，造成性能越來越差。

 

CDH開源大數(shù)據(jù)解決方案

 

 

痛點：

1、為滿足不同的業(yè)務需求，需要不同的組件支撐，搭建與維護成本較高，需要有更多的節(jié)點支撐不同組件的部署

2、需要開發(fā)人員熟悉多個組件，且不同組件提供的訪問入口不同，增加了開發(fā)對接成本

2、Impala

穩(wěn)定性較差，無法支撐復雜任務，數(shù)據(jù)量>500GB或者中間結果比內(nèi)存容量大時，容易崩潰

業(yè)務加工能力有限，只支持SQL92，不支持存儲過程；TPCDS 99個Query只支持其中77個Query

3、Hive

性能較差

對分布式事務性支持度較差，無法處理復雜的跑批加工作業(yè)，如拉鏈數(shù)據(jù)更新等

4、軟件許可問題：Cloudera從2020年的產(chǎn)品開始，都不再推開源版本，6.x的CDH是最后一代開源產(chǎn)品。

 

MPP（PostgreSQL/Greenplum/GuassDB)

 

痛點：

穩(wěn)定性  

1、故障恢復會引起集群性能下降：最小恢復粒度一般為1/4節(jié)點；在故障恢復時，承載故障節(jié)點業(yè)務的節(jié)點會負載加大，由于木桶效應的存在，會導致集群性能下降；

2、 容錯機制不完善，失敗任務需要從頭執(zhí)行，無法從中斷處重試。

3、 因穩(wěn)定性原因，導致晚上跑批作業(yè)無法在第二天開業(yè)前完成，影響第二天營業(yè)。

集群規(guī)模與擴展

1、建議停機擴展：集群擴縮容時會引起數(shù)據(jù)重分布，索引重建，對集群性能影響很大，基本無法對外提供服務，建議停機擴展。

2、單物理集群規(guī)模受限，256節(jié)點（部分MPP數(shù)據(jù)庫近期已擴展至2048節(jié)點，但尚無穩(wěn)定生產(chǎn)落地），針對大型集群支撐的業(yè)務場景，會出現(xiàn)跨集群查詢的情況，嚴重影響查詢性能。

混合負載

混合負載場景支持較弱：大負載作業(yè)可能占滿整個集群，導致即席查詢業(yè)務無法運行。

服務開放能力

由于穩(wěn)定性，集群規(guī)模與擴展能力有限，混合負載能力的缺失，導致MPP集群無法對大規(guī)模業(yè)務人員開放其查詢分析服務能力。

 

ArgoDB 數(shù)倉數(shù)集方案優(yōu)勢

核心優(yōu)勢：

• 極致性能：星環(huán)自研的行列混合存儲結構和向量化執(zhí)行引擎，提供極致的性能體驗；復雜分析、大表關聯(lián)等大數(shù)據(jù)量復雜業(yè)務場景性能較好
• 完整分布式事務支持：支持完整4種事務隔離級別
• SQL兼容度高：提供多種方言（Oracle/DB2/TD），盡可能減少遷移工程中的腳本改造量
• 支持超大規(guī)模集群：天然分布式架構，集群節(jié)點規(guī)模無上限，數(shù)據(jù)存儲容量隨節(jié)點規(guī)模線性擴容，可支持2000+節(jié)點集群；
• 在線擴縮容：支持在線擴縮容，對業(yè)務無感知、無性能影響
• 多模數(shù)據(jù)庫：統(tǒng)一SQL入口，支持結構化、全文索引等多種類型數(shù)據(jù)
• 容錯機制完善：細粒度任務級重試容錯機制
• 數(shù)據(jù)安全：提供完善分布式一致性機制，保障數(shù)據(jù)安全不遺失；提供配套數(shù)據(jù)備份工具，提供更多數(shù)據(jù)保障；支持多版本備份、恢復
• 提供多種遷移工具：數(shù)據(jù)遷移工具，模型遷移工具，腳本遷移工具
• 提供專業(yè)的數(shù)倉實施與咨詢服務