NoSQL(NoSQL = Not Only SQL ),意即"不僅僅是SQL"。
在現(xiàn)代的計(jì)算系統(tǒng)上每天網(wǎng)絡(luò)上都會(huì)產(chǎn)生龐大的數(shù)據(jù)量。
這些數(shù)據(jù)有很大一部分是由關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDMBSs)來(lái)處理。 1970年 E.F.Codd's提出的關(guān)系模型的論文 "A relational model of data for large shared data banks",這使得數(shù)據(jù)建模和應(yīng)用程序編程更加簡(jiǎn)單。
通過(guò)應(yīng)用實(shí)踐證明,關(guān)系模型是非常適合于客戶(hù)服務(wù)器編程,遠(yuǎn)遠(yuǎn)超出預(yù)期的利益,今天它是結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在網(wǎng)絡(luò)和商務(wù)應(yīng)用的主導(dǎo)技術(shù)。
NoSQL 是一項(xiàng)全新的數(shù)據(jù)庫(kù)革命性運(yùn)動(dòng),早期就有人提出,發(fā)展至2009年趨勢(shì)越發(fā)高漲。NoSQL的擁護(hù)者們提倡運(yùn)用非關(guān)系型的數(shù)據(jù)存儲(chǔ),相對(duì)于鋪天蓋地的關(guān)系型數(shù)據(jù)庫(kù)運(yùn)用,這一概念無(wú)疑是一種全新的思維的注入。
事務(wù)在英文中是transaction,和現(xiàn)實(shí)世界中的交易很類(lèi)似,它有如下四個(gè)特性:
1、A (Atomicity) 原子性
原子性很容易理解,也就是說(shuō)事務(wù)里的所有操作要么全部做完,要么都不做,事務(wù)成功的條件是事務(wù)里的所有操作都成功,只要有一個(gè)操作失敗,整個(gè)事務(wù)就失敗,需要回滾。
比如銀行轉(zhuǎn)賬,從A賬戶(hù)轉(zhuǎn)100元至B賬戶(hù),分為兩個(gè)步驟:1)從A賬戶(hù)取100元;2)存入100元至B賬戶(hù)。這兩步要么一起完成,要么一起不完成,如果只完成第一步,第二步失敗,錢(qián)會(huì)莫名其妙少了100元。
2、C (Consistency) 一致性
一致性也比較容易理解,也就是說(shuō)數(shù)據(jù)庫(kù)要一直處于一致的狀態(tài),事務(wù)的運(yùn)行不會(huì)改變數(shù)據(jù)庫(kù)原本的一致性約束。
例如現(xiàn)有完整性約束a+b=10,如果一個(gè)事務(wù)改變了a,那么必須得改變b,使得事務(wù)結(jié)束后依然滿(mǎn)足a+b=10,否則事務(wù)失敗。
3、I (Isolation) 獨(dú)立性
所謂的獨(dú)立性是指并發(fā)的事務(wù)之間不會(huì)互相影響,如果一個(gè)事務(wù)要訪問(wèn)的數(shù)據(jù)正在被另外一個(gè)事務(wù)修改,只要另外一個(gè)事務(wù)未提交,它所訪問(wèn)的數(shù)據(jù)就不受未提交事務(wù)的影響。
比如現(xiàn)有有個(gè)交易是從A賬戶(hù)轉(zhuǎn)100元至B賬戶(hù),在這個(gè)交易還未完成的情況下,如果此時(shí)B查詢(xún)自己的賬戶(hù),是看不到新增加的100元的。
4、D (Durability) 持久性
持久性是指一旦事務(wù)提交后,它所做的修改將會(huì)永久的保存在數(shù)據(jù)庫(kù)上,即使出現(xiàn)宕機(jī)也不會(huì)丟失。
分布式系統(tǒng)(distributed system)由多臺(tái)計(jì)算機(jī)和通信的軟件組件通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)連接(本地網(wǎng)絡(luò)或廣域網(wǎng))組成。
分布式系統(tǒng)是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)。正是因?yàn)檐浖奶匦?,所以分布式系統(tǒng)具有高度的內(nèi)聚性和透明性。
因此,網(wǎng)絡(luò)和分布式系統(tǒng)之間的區(qū)別更多的在于高層軟件(特別是操作系統(tǒng)),而不是硬件。
分布式系統(tǒng)可以應(yīng)用在在不同的平臺(tái)上如:Pc、工作站、局域網(wǎng)和廣域網(wǎng)上等。
可靠性(容錯(cuò)) :
分布式計(jì)算系統(tǒng)中的一個(gè)重要的優(yōu)點(diǎn)是可靠性。一臺(tái)服務(wù)器的系統(tǒng)崩潰并不影響到其余的服務(wù)器。
可擴(kuò)展性:
在分布式計(jì)算系統(tǒng)可以根據(jù)需要增加更多的機(jī)器。
資源共享:
共享數(shù)據(jù)是必不可少的應(yīng)用,如銀行,預(yù)訂系統(tǒng)。
靈活性:
由于該系統(tǒng)是非常靈活的,它很容易安裝,實(shí)施和調(diào)試新的服務(wù)。
更快的速度:
分布式計(jì)算系統(tǒng)可以有多臺(tái)計(jì)算機(jī)的計(jì)算能力,使得它比其他系統(tǒng)有更快的處理速度。
開(kāi)放系統(tǒng):
由于它是開(kāi)放的系統(tǒng),本地或者遠(yuǎn)程都可以訪問(wèn)到該服務(wù)。
更高的性能:
相較于集中式計(jì)算機(jī)網(wǎng)絡(luò)集群可以提供更高的性能(及更好的性?xún)r(jià)比)。
故障排除:
故障排除和診斷問(wèn)題。
軟件:
更少的軟件支持是分布式計(jì)算系統(tǒng)的主要缺點(diǎn)。
網(wǎng)絡(luò):
網(wǎng)絡(luò)基礎(chǔ)設(shè)施的問(wèn)題,包括:傳輸問(wèn)題,高負(fù)載,信息丟失等。
安全性:
開(kāi)發(fā)系統(tǒng)的特性讓分布式計(jì)算系統(tǒng)存在著數(shù)據(jù)的安全性和共享的風(fēng)險(xiǎn)等問(wèn)題。
NoSQL,指的是非關(guān)系型的數(shù)據(jù)庫(kù)。NoSQL有時(shí)也稱(chēng)作Not Only SQL的縮寫(xiě),是對(duì)不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)管理系統(tǒng)的統(tǒng)稱(chēng)。
NoSQL用于超大規(guī)模數(shù)據(jù)的存儲(chǔ)。(例如谷歌或Facebook每天為他們的用戶(hù)收集萬(wàn)億比特的數(shù)據(jù))。這些類(lèi)型的數(shù)據(jù)存儲(chǔ)不需要固定的模式,無(wú)需多余操作就可以橫向擴(kuò)展。
今天我們可以通過(guò)第三方平臺(tái)(如:Google,Facebook等)可以很容易的訪問(wèn)和抓取數(shù)據(jù)。用戶(hù)的個(gè)人信息,社交網(wǎng)絡(luò),地理位置,用戶(hù)生成的數(shù)據(jù)和用戶(hù)操作日志已經(jīng)成倍的增加。我們?nèi)绻獙?duì)這些用戶(hù)數(shù)據(jù)進(jìn)行挖掘,那SQL數(shù)據(jù)庫(kù)已經(jīng)不適合這些應(yīng)用了, NoSQL數(shù)據(jù)庫(kù)的發(fā)展也卻能很好的處理這些大的數(shù)據(jù)。
社會(huì)化關(guān)系網(wǎng):
Each record: UserID1, UserID2
Separate records: UserID, first_name,last_name, age, gender,...
Task: Find all friends of friends of friends of ... friends of a given user.
Wikipedia 頁(yè)面 :
Large collection of documents
Combination of structured and unstructured data
Task: Retrieve all pages regarding athletics of Summer Olympic before 1950.
RDBMS
- 高度組織化結(jié)構(gòu)化數(shù)據(jù)
- 結(jié)構(gòu)化查詢(xún)語(yǔ)言(SQL) (SQL)
- 數(shù)據(jù)和關(guān)系都存儲(chǔ)在單獨(dú)的表中。
- 數(shù)據(jù)操縱語(yǔ)言,數(shù)據(jù)定義語(yǔ)言
- 嚴(yán)格的一致性
- 基礎(chǔ)事務(wù)
NoSQL
- 代表著不僅僅是SQL
- 沒(méi)有聲明性查詢(xún)語(yǔ)言
- 沒(méi)有預(yù)定義的模式
-鍵 - 值對(duì)存儲(chǔ),列存儲(chǔ),文檔存儲(chǔ),圖形數(shù)據(jù)庫(kù)
- 最終一致性,而非ACID屬性
- 非結(jié)構(gòu)化和不可預(yù)知的數(shù)據(jù)
- CAP定理
- 高性能,高可用性和可伸縮性
NoSQL一詞最早出現(xiàn)于1998年,是Carlo Strozzi開(kāi)發(fā)的一個(gè)輕量、開(kāi)源、不提供SQL功能的關(guān)系數(shù)據(jù)庫(kù)。
2009年,Last.fm的Johan Oskarsson發(fā)起了一次關(guān)于分布式開(kāi)源數(shù)據(jù)庫(kù)的討論[2],來(lái)自Rackspace的Eric Evans再次提出了NoSQL的概念,這時(shí)的NoSQL主要指非關(guān)系型、分布式、不提供ACID的數(shù)據(jù)庫(kù)設(shè)計(jì)模式。
2009年在亞特蘭大舉行的"no:sql(east)"討論會(huì)是一個(gè)里程碑,其口號(hào)是"select fun, profit from real_world where relational=false;"。因此,對(duì)NoSQL最普遍的解釋是"非關(guān)聯(lián)型的",強(qiáng)調(diào)Key-Value Stores和文檔數(shù)據(jù)庫(kù)的優(yōu)點(diǎn),而不是單純的反對(duì)RDBMS。
在計(jì)算機(jī)科學(xué)中, CAP定理(CAP theorem), 又被稱(chēng)作 布魯爾定理(Brewer's theorem), 它指出對(duì)于一個(gè)分布式計(jì)算系統(tǒng)來(lái)說(shuō),不可能同時(shí)滿(mǎn)足以下三點(diǎn):
CAP理論的核心是:一個(gè)分布式系統(tǒng)不可能同時(shí)很好的滿(mǎn)足一致性、可用性和分區(qū)容錯(cuò)性這三個(gè)需求,最多只能同時(shí)較好的滿(mǎn)足兩個(gè)。
因此,根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫(kù)分成了滿(mǎn)足 CA 原則、滿(mǎn)足 CP 原則和滿(mǎn)足 AP 原則三 大類(lèi):
優(yōu)點(diǎn):
缺點(diǎn):
BASE:Basically Available, Soft-state, Eventually Consistent。 由 Eric Brewer 定義。
CAP理論的核心是:一個(gè)分布式系統(tǒng)不可能同時(shí)很好的滿(mǎn)足一致性,可用性和分區(qū)容錯(cuò)性這三個(gè)需求,最多只能同時(shí)較好的滿(mǎn)足兩個(gè)。
BASE是NoSQL數(shù)據(jù)庫(kù)通常對(duì)可用性及一致性的弱要求原則:
ACID | BASE |
---|---|
原子性(Atomicity) | 基本可用(Basically Available) |
一致性(Consistency) | 軟狀態(tài)/柔性事務(wù)(Soft state) |
隔離性(Isolation) | 最終一致性 (Eventual consistency) |
持久性 (Durable) |
類(lèi)型 | 部分代表 | 特點(diǎn) |
列存儲(chǔ) |
Hbase Cassandra Hypertable |
顧名思義,是按列存儲(chǔ)數(shù)據(jù)的。最大的特點(diǎn)是方便存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),方便做數(shù)據(jù)壓縮,對(duì)針對(duì)某一列或者某幾列的查詢(xún)有非常大的IO優(yōu)勢(shì)。 |
文檔存儲(chǔ) |
CouchDB |
文檔存儲(chǔ)一般用類(lèi)似json的格式存儲(chǔ),存儲(chǔ)的內(nèi)容是文檔型的。這樣也就有有機(jī)會(huì)對(duì)某些字段建立索引,實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)的某些功能。 |
key-value存儲(chǔ) |
Tokyo Cabinet / Tyrant Berkeley DB MemcacheDB Redis |
可以通過(guò)key快速查詢(xún)到其value。一般來(lái)說(shuō),存儲(chǔ)不管value的格式,照單全收。(Redis包含了其他功能) |
圖存儲(chǔ) |
Neo4J FlockDB |
圖形關(guān)系的最佳存儲(chǔ)。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)來(lái)解決的話性能低下,而且設(shè)計(jì)使用不方便。 |
對(duì)象存儲(chǔ) |
db4o Versant |
通過(guò)類(lèi)似面向?qū)ο笳Z(yǔ)言的語(yǔ)法操作數(shù)據(jù)庫(kù),通過(guò)對(duì)象的方式存取數(shù)據(jù)。 |
xml數(shù)據(jù)庫(kù) |
Berkeley DB XML BaseX |
高效的存儲(chǔ)XML數(shù)據(jù),并支持XML的內(nèi)部查詢(xún)語(yǔ)法,比如XQuery,Xpath。 |
現(xiàn)在已經(jīng)有很多公司使用了NoSQL:
更多建議: