萬里開源大數(shù)據(jù)處理軟件——DBscale簡介
為什么去IOE
當(dāng)今業(yè)務(wù)規(guī)模爆炸性增長,傳統(tǒng)的單一系統(tǒng)升級(即縱向擴展Scale-up)無法滿足快速增長的性能需求。多系統(tǒng)的橫向擴展(Scale-out)成為大勢所趨。而x86架構(gòu)以其廉價和開放的特性越來越受青睞。這就好比虎大于狼,一對一穩(wěn)操勝算,但肯定敵不過群狼戰(zhàn)術(shù)
2009年阿里巴巴在國內(nèi)領(lǐng)導(dǎo)發(fā)起“去IOE”運動。軟件用開源的MySQL替代Oracle數(shù)據(jù)庫,用Hadoop集群替代Oracle RAC ,硬件上以工業(yè)標(biāo)準(zhǔn)的x86服務(wù)器替代IBM小型機和EMC存儲設(shè)備,既解決性能擴展需求,又大大降低了軟硬件投資的壓力。
DBScale 技術(shù)優(yōu)勢
無共享存儲,利用本地存儲,真正的分布式存儲
SQL性能提高: Sharding 分片技術(shù),一個表可以分成多個shard并行處理,整體吞吐量提高
DBScale控制實現(xiàn)負(fù)載均衡
減少鎖資源的競爭
單個 數(shù)據(jù)庫實例數(shù)據(jù)量小,提高內(nèi)存緩存利用率,充分發(fā)揮MySQL性能
可以設(shè)置多份冗余備份,高可用,無單點故障
拓展方便,增刪節(jié)點即可
不要求節(jié)點性能一致,舊設(shè)備能充分利用
性能:
X86服務(wù)器單機性能較弱,但價格有巨大優(yōu)勢,同等價位下x86集群總體性能強于小型機
可拓展性:
x86集群拓展方便,增加節(jié)點即可(Scale-out)。IOE架構(gòu)拓展性能只能靠單機升級(Scale-up),技術(shù)復(fù)雜、代價高昂。通過RAC集群增加節(jié)點拓展,也很復(fù)雜、昂貴
設(shè)備兼容性:
拓展節(jié)點與現(xiàn)有節(jié)點不要求性能相當(dāng),既有設(shè)備可以繼續(xù)利用;IOE架構(gòu)要求主備兩機配置要匹配,否則容易出現(xiàn)性能問題
影響業(yè)務(wù):
DBScale集群拓展不需要停止業(yè)務(wù);IOE雙機架構(gòu)可能需要停止業(yè)務(wù)。
為什么基于MySQL------擁抱開源
開源特性
免費:區(qū)別于商業(yè)數(shù)據(jù)庫,非盈利目的
安全:開源代碼,一覽無余,不用擔(dān)心后門
社區(qū)力量:來自全球數(shù)以萬計的開源技術(shù)愛好者不斷豐富MySQL的功能,提升代碼性能
萬里屬性
研發(fā)中心:萬里開源與MySQL AB合作建立MySQL中國研發(fā)中心,為MySQL貢獻了大量核心代碼
本地化服務(wù):萬里開源有全國頂尖的MySQL研發(fā)專家和維護工程師
展望未來
未來還會支持PostgreSQL, MariaDB等開源數(shù)據(jù)庫
可能會支持Oracle,Sybase等商業(yè)數(shù)據(jù)庫
DBScale/MySQL 比Oracle更適合的場景:
大數(shù)據(jù)量OLTP,如互聯(lián)網(wǎng)應(yīng)用,企業(yè)系統(tǒng),電信系統(tǒng)
大數(shù)據(jù)量OLAP,如數(shù)據(jù)倉庫,BI
應(yīng)用復(fù)雜度較低,即 SQL 語句較為簡單,尤其是沒有大量表關(guān)聯(lián)、大量子查詢的場景 |
 |
|