- 8樓
Re: 數據倉庫: 數據庫驅動智能決策 洞察力的最新趨勢!
- 數據倉庫是一個概念.是數據庫一個應用方向,從現有一個或者多個生產系統中抽取數據.經過所謂的"抽取,轉換,清洗"的過程.把數據整合在一起,同時利用多個生產系統的數據,來經營應用.
特點是對數據進行大量長時間的累積.從而滿足分析應用.
- 作者：葉子綠了 2009-8-28 10:34:00
- 7樓
Re: 數據倉庫: 數據庫驅動智能決策 洞察力的最新趨勢!
- 數據庫是面向事務的設計，數據倉庫是面向主題設計的。數據庫一般存儲在線交易數據，數據倉庫存儲的一般是歷史數據。
數據庫設計是盡量避免冗余，一般采用符合范式的規則來設計，數據倉庫在設計是有意引入冗余，采用反范式的方式來設計。
數據庫是為捕獲數據而設計，數據倉庫是為分析數據而設計，它的兩個基本的元素是維表和事實表。（維是看問題的角度，比如時間，部門，維表放的就是這些東西的定義，事實表里放著要查詢的數據，同時有維的ID）
數據倉庫，是在數據庫已經大量存在的情況下，為了進一步挖掘數據資源、為了決策需要而產生的，它決不是所謂的“大型數據庫”。那么，數據倉庫與傳統數據庫比較，有哪些不同呢？讓我們先看看W.H.Inmon關于數據倉庫的定義：面向主題的、集成的、與時間相關且不可修改的數據集合。
“面向主題的”：傳統數據庫主要是為應用程序進行數據處理，未必按照同一主題存儲數據；數據倉庫側重于數據分析工作，是按照主題存儲的。這一點，類似于傳統農貿市場與超市的區別—市場里面，白菜、蘿卜、香菜會在一個攤位上，如果它們是一個小販賣的；而超市里，白菜、蘿卜、香菜則各自一塊。也就是說，市場里的菜（數據）是按照小販（應用程序）歸堆（存儲）的，超市里面則是按照菜的類型（同主題）歸堆的。
“與時間相關”：數據庫保存信息的時候，并不強調一定有時間信息。數據倉庫則不同，出于決策的需要，數據倉庫中的數據都要標明時間屬性。決策中，時間屬性很重要。同樣都是累計購買過九車產品的顧客，一位是最近三個月購買九車，一位是最近一年從未買過，這對于決策者意義是不同的。
“不可修改”：數據倉庫中的數據并不是最新的，而是來源于其它數據源。數據倉庫反映的是歷史信息，并不是很多數據庫處理的那種日常事務數據（有的數據庫例如電信計費數據庫甚至處理實時信息）。因此，數據倉庫中的數據是極少或根本不修改的；當然，向數據倉庫添加數據是允許的。
數據倉庫的出現，并不是要取代數據庫。目前，大部分數據倉庫還是用關系數據庫管理系統來管理的。可以說，數據庫、數據倉庫相輔相成、各有千秋
補充一下，數據倉庫的方案建設的目的，是為前端查詢和分析作為基礎，由于有較大的冗余，所以需要的存儲也較大。為了更好地為前端應用服務，數據倉庫必須有如下幾點優點，否則是失敗的數據倉庫方案。
1.效率足夠高。客戶要求的分析數據一般分為日、周、月、季、年等，可以看出，日為周期的數據要求的效率最高，要求24小時甚至12小時內，客戶能看到昨天的數據分析。由于有的企業每日的數據量很大，設計不好的數據倉庫經常會出問題，延遲1-3日才能給出數據，顯然不行的。
2.數據質量。客戶要看各種信息，肯定要準確的數據，但由于數據倉庫流程至少分為3步，2次ETL，復雜的架構會更多層次，那么由于數據源有臟數據或者代碼不嚴謹，都可以導致數據失真，客戶看到錯誤的信息就可能導致分析出錯誤的決策，造成損失，而不是效益。
3.擴展性。之所以有的大型數據倉庫系統架構設計復雜，是因為考慮到了未來3-5年的擴展性，這樣的話，客戶不用太快花錢去重建數據倉庫系統，就能很穩定運行。主要體現在數據建模的合理性，數據倉庫方案中多出一些中間層，使海量數據流有足夠的緩沖，不至于數據量大很多，就運行不起來了。
- 作者：耳聾/耳聾治 2009-8-28 10:19:00
- 5樓
Re: 數據倉庫: 數據庫驅動智能決策 洞察力的最新趨勢!
- 就是數據倉庫，用來做大量數據存儲用的！
初期都是用文件方式存儲數據，隨著數據量的增大，文件存儲帶來了很大的不便，后來就有人發明了數據庫。
- 作者：規范化工會 2009-8-28 10:18:00
- 4樓
Re: 數據倉庫: 數據庫驅動智能決策 洞察力的最新趨勢!
- 個人理解最簡單的回答，對歷史數據的分析和整理就是數據倉庫。
數據倉庫說到根上是因為各種各樣應用系統無法高效處理大量的歷史數據才出現的。以銀行為例我們國家地大物博，一般全國性銀行網點至少4000多個吧，財務系統中一個總帳，每個支行每月至少要有1000多個科目和項目的數據要上報，還不算各種外幣、不算海外機構，如此積累10年后集中庫中總帳的數據量就是這么大：4000*1000*12*10。在上億條記錄的數據庫中做任何統計計算幾乎都是要命的事。我們能做的只有把應用系統中保存數據的時間調小，只有最近2年或更短時間的紀錄可查。對于歷史數據的統計分析留給別的系統吧，這個樣一個叫數據倉庫的系統出現了。
如此倉庫中最主要的問題就是歷史數據的統計，如何把歷史數據高效存儲、如何處理緯度漸變、如何設計更加貼近業務的主題等等。
- 作者：xi 2009-8-28 10:17:00
- 3樓
Re: 數據倉庫: 數據庫驅動智能決策 洞察力的最新趨勢!
- 目前，數據倉庫一詞尚沒有一個統一的定義，著名的數據倉庫專家W.H.Inmon在其著作《Building the Data Warehouse》一書中給予如下描述：數據倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用于支持管理決策。對于數據倉庫的概念我們可以從兩個層次予以理解，首先，數據倉庫用于支持決策，面向分析型數據處理，它不同于企業現有的操作型數據庫；其次，數據倉庫是對多個異構的數據源有效集成，集成后按照主題進行了重組，并包含歷史數據，而且存放在數據倉庫中的數據一般不再修改。
根據數據倉庫概念的含義，數據倉庫擁有以下四個特點：
1、面向主題。操作型數據庫的數據組織面向事務處理任務，各個業務系統之間各自分離，而數據倉庫中的數據是按照一定的主題域進行組織。主題是一個抽象的概念，是指用戶使用數據倉庫進行決策時所關心的重點方面，一個主題通常與多個操作型信息系統相關。
2、集成的。面向事務處理的操作型數據庫通常與某些特定的應用相關，數據庫之間相互獨立，并且往往是異構的。而數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關于整個企業的一致的全局信息。
3、相對穩定的。操作型數據庫中的數據通常實時更新，數據根據需要及時發生變化。數據倉庫的數據主要供企業決策分析之用，所涉及的數據操作主要是數據查詢，一旦某個數據進入數據倉庫以后，一般情況下將被長期保留，也就是數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。
4、反映歷史變化。操作型數據庫主要關心當前某一個時間段內的數據，而數據倉庫中的數據通常包含歷史信息，系統記錄了企業從過去某一時點(如開始應用數據倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業的發展歷程和未來趨勢做出定量分析和預測。
企業數據倉庫的建設，是以現有企業業務系統和大量業務數據的積累為基礎。數據倉庫不是靜態的概念，只有把信息及時交給需要這些信息的使用者，供他們做出改善其業務經營的決策，信息才能發揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時提供給相應的管理決策人員，是數據倉庫的根本任務。因此，從產業界的角度看，數據倉庫建設是一個工程，是一個過程。
整個數據倉庫系統是一個包含四個層次的體系結構，具體由下圖表示。
數據倉庫系統體系結構
·數據源：是數據倉庫系統的基礎，是整個系統的數據源泉。通常包括企業內部信息和外部信息。內部信息包括存放于RDBMS中的各種業務處理數據和各類文檔數據。外部信息包括各類法律法規、市場信息和競爭對手的信息等等；
·數據的存儲與管理：是整個數據倉庫系統的核心。數據倉庫的真正關鍵是數據的存儲和管理。數據倉庫的組織管理方式決定了它有別于傳統數據庫，同時也決定了其對外部數據的表現形式。要決定采用什么產品和技術來建立數據倉庫的核心，則需要從數據倉庫的技術特點著手分析。針對現有各業務系統的數據，進行抽取、清理，并有效集成，按照主題進行組織。數據倉庫按照數據的覆蓋范圍可以分為企業級數據倉庫和部門級數據倉庫（通常稱為數據集市）。
·OLAP服務器：對分析需要的數據進行有效集成，按多維模型予以組織，以便進行多角度、多層次的分析，并發現趨勢。其具體實現可以分為：ROLAP、MOLAP和HOLAP。ROLAP基本數據和聚合數據均存放在RDBMS之中；MOLAP基本數據和聚合數據均存放于多維數據庫中；HOLAP基本數據存放于RDBMS之中，聚合數據存放于多維數據庫中。
·前端工具：主要包括各種報表工具、查詢工具、數據分析工具、數據挖掘工具以及各種基于數據倉庫或數據集市的應用開發工具。其中數據分析工具主要針對OLAP服務器，報表工具、數據挖掘工具主要針對數據倉庫。
- 作者：shoesebuy 2009-8-28 10:17:00
| 首頁 | 前頁 | 后頁 | 尾頁 | 分頁 1/1 [1] |
-
·尊重網上道德，遵守中華人民共和國的各項有關法律法規
·承擔一切因您的行為而直接或間接導致的民事或刑事法律責任
·本站管理人員有權保留或刪除其管轄留言中的任意內容
·本站有權在網站內轉載或引用您的評論
·參與本評論即表明您已經閱讀并接受上述條款
Re: 數據倉庫: 數據庫驅動智能決策 洞察力的最新趨勢!