面向平臺(tái)級(jí)別有數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、調(diào)度、資管配置、數(shù)據(jù)同步分發(fā)等等。約2010-2012年的平臺(tái)結(jié)構(gòu)約2012-2013年的平臺(tái)結(jié)構(gòu)階段三：用數(shù)據(jù)的一些角色（分析師、運(yùn)營(yíng)或產(chǎn)品）會(huì)自己參與到從數(shù)據(jù)整理、加工、分析階段。當(dāng)數(shù)據(jù)平臺(tái)變?yōu)樽杂扇_(kāi)放，使用數(shù)據(jù)的人也參與到數(shù)據(jù)的體系建設(shè)時(shí)，基本會(huì)因?yàn)椴粚I(yè)型，導(dǎo)致數(shù)據(jù)質(zhì)量問(wèn)題、重復(fù)對(duì)分?jǐn)?shù)據(jù)浪費(fèi)存儲(chǔ)與資源、口徑多樣化等等原因。此時(shí)原有建設(shè)數(shù)據(jù)平臺(tái)的多個(gè)角色可能轉(zhuǎn)為對(duì)其它非專業(yè)做數(shù)據(jù)人員的培訓(xùn)、咨詢與落地寫(xiě)更加適合當(dāng)前企業(yè)數(shù)據(jù)應(yīng)用的一些方案等。給用戶提供的各類豐富的分析、取數(shù)的產(chǎn)品，簡(jiǎn)單上手的可以使用。原有ETL、數(shù)據(jù)模型角色轉(zhuǎn)為給用戶提供平臺(tái)、產(chǎn)品、數(shù)據(jù)培訓(xùn)與使用咨詢。數(shù)據(jù)分析師直接參與到數(shù)據(jù)平臺(tái)過(guò)程、數(shù)據(jù)產(chǎn)品的建設(shè)中去。用戶面對(duì)是數(shù)據(jù)源多樣化，比如日志、生產(chǎn)數(shù)據(jù)庫(kù)的數(shù)據(jù)、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)。在互聯(lián)網(wǎng)這個(gè)大數(shù)據(jù)浪潮下，2016年以后數(shù)據(jù)平臺(tái)是如何去建設(shè)？如何服務(wù)業(yè)務(wù)？企業(yè)的不同發(fā)展階段數(shù)據(jù)平臺(tái)該如何去建設(shè)的？這個(gè)大家是可以思考的。但是我相信互聯(lián)網(wǎng)企業(yè)是非常務(wù)實(shí)的，基本不會(huì)采用傳統(tǒng)企業(yè)的自上而下的建設(shè)方式，互聯(lián)網(wǎng)企業(yè)的業(yè)務(wù)快速變與迭代要求快速分析到數(shù)據(jù)。數(shù)據(jù)它是可識(shí)別的、抽象的符號(hào)。新都區(qū)商業(yè)街?jǐn)?shù)據(jù)洞察
如果通過(guò)技術(shù)將人無(wú)法通過(guò)肉眼找到的價(jià)值信息呈現(xiàn)出來(lái)，這是重要的！大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)。隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Bigdata）也吸引了越來(lái)越多的關(guān)注?！吨婆_(tái)》的分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)（Bigdata）通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)技術(shù)，包括大規(guī)模并行處理。新津區(qū)大數(shù)據(jù)調(diào)研分析數(shù)據(jù)是用于輸入電子計(jì)算機(jī)進(jìn)行處理，具有一定意義的數(shù)字、字母、符號(hào)和模擬量等的統(tǒng)稱。
采集數(shù)據(jù)主要有兩個(gè)方向，一是自己編爬蟲(chóng)程序去采集，二是使用別人或者企業(yè)公司等公開(kāi)的數(shù)據(jù)。1.編爬蟲(chóng)程序去采集數(shù)據(jù)(比較有針對(duì)性，比較適合我們的需求就是我想要什么數(shù)據(jù)就采集什么數(shù)據(jù)，可以使用Python爬蟲(chóng)去采集，不是很難。但有一點(diǎn)就像樓主說(shuō)的一樣，有點(diǎn)麻煩。)2.使用公開(kāi)的數(shù)據(jù)，可以使用第三方的數(shù)據(jù)產(chǎn)品工具，新媒體公眾號(hào)方向可以考慮新榜有數(shù)的(針對(duì)性不強(qiáng)，可能公開(kāi)的數(shù)據(jù)樣本不符合我們的需求，這樣就不利于工作的開(kāi)展了，但特點(diǎn)就是方便)
數(shù)據(jù)庫(kù)是一個(gè)按數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)和管理數(shù)據(jù)的計(jì)算機(jī)軟件系統(tǒng)。數(shù)據(jù)庫(kù)的概念實(shí)際包括兩層意思：數(shù)據(jù)庫(kù)是一個(gè)實(shí)體，它是能夠合理保管數(shù)據(jù)的“倉(cāng)庫(kù)”，用戶在該“倉(cāng)庫(kù)”中存放要管理的事務(wù)數(shù)據(jù)，“數(shù)據(jù)”和“庫(kù)”兩個(gè)概念結(jié)合成為數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)是數(shù)據(jù)管理的新方法和技術(shù)，它能更合適的組織數(shù)據(jù)、更方便的維護(hù)數(shù)據(jù)、更嚴(yán)密的控制數(shù)據(jù)和更有效的利用數(shù)據(jù)。數(shù)據(jù)庫(kù)發(fā)展現(xiàn)狀在數(shù)據(jù)庫(kù)的發(fā)展歷史上，數(shù)據(jù)庫(kù)先后經(jīng)歷了層次數(shù)據(jù)庫(kù)、網(wǎng)狀數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)等各個(gè)階段的發(fā)展，數(shù)據(jù)庫(kù)技術(shù)在各個(gè)方面的快速的發(fā)展。特別是關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)成為目前數(shù)據(jù)庫(kù)產(chǎn)品中重要的一員，0年代以來(lái)，幾乎所有的數(shù)據(jù)庫(kù)廠商新出的數(shù)據(jù)庫(kù)產(chǎn)品都支持關(guān)系型數(shù)據(jù)庫(kù)，即使一些非關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品也幾乎都有支持關(guān)系數(shù)據(jù)庫(kù)的接口。這主要是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)可以比較好的解決管理和存儲(chǔ)關(guān)系型數(shù)據(jù)的問(wèn)題。隨著云計(jì)算的發(fā)展和大數(shù)據(jù)時(shí)代的到來(lái)，關(guān)系型數(shù)據(jù)庫(kù)越來(lái)越無(wú)法滿足需要，這主要是由于越來(lái)越多的半關(guān)系型和非關(guān)系型數(shù)據(jù)需要用數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)管理，以此同時(shí)。分布式技術(shù)等新技術(shù)的出現(xiàn)也對(duì)數(shù)據(jù)庫(kù)的技術(shù)提出了新的要求，于是越來(lái)越多的非關(guān)系型數(shù)據(jù)庫(kù)就開(kāi)始出現(xiàn)。數(shù)據(jù)是所有能輸入計(jì)算機(jī)并被計(jì)算機(jī)程序處理的符號(hào)的介質(zhì)的總稱。
還得考慮可操作性、約束性（備注約束性是完成數(shù)據(jù)質(zhì)量提升的一個(gè)關(guān)鍵要素，未來(lái)新話題主題會(huì)討論這些），這個(gè)既要顧業(yè)務(wù)、數(shù)據(jù)源、合理的整合的角色是數(shù)據(jù)模型設(shè)計(jì)師，又叫數(shù)據(jù)模型師。平臺(tái)中模型設(shè)計(jì)所關(guān)注的是企業(yè)分散在各角落數(shù)據(jù)、未知的商業(yè)模式與未知的分析報(bào)表，通過(guò)模型的步驟，理解業(yè)務(wù)并結(jié)合數(shù)據(jù)整合分析，建立數(shù)據(jù)模型為Datacleaning指定清洗規(guī)則、為源數(shù)據(jù)與目標(biāo)提供ETLmapping（備注：ETL代指數(shù)據(jù)從不同源到數(shù)據(jù)平臺(tái)的整個(gè)過(guò)程，ETLMapping可理解為數(shù)據(jù)加工算法，給數(shù)碼看的，互聯(lián)網(wǎng)與非互聯(lián)網(wǎng)此處差異性也較為明顯，非互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)對(duì)ETL定義與架構(gòu)較為復(fù)雜）支持、理清數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系。（備注：Datacleaning是指的數(shù)據(jù)清洗數(shù)據(jù)質(zhì)量相關(guān)不管是在哪個(gè)行業(yè)，是令人的問(wèn)題，分業(yè)務(wù)域、技術(shù)域的數(shù)據(jù)質(zhì)量問(wèn)題，需要通過(guò)事前盤(pán)點(diǎn)、事中監(jiān)控、事后調(diào)養(yǎng)，有機(jī)會(huì)在闡述）。大家來(lái)看一張較為嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)模型關(guān)系圖：數(shù)據(jù)模型是整個(gè)數(shù)據(jù)平臺(tái)的數(shù)據(jù)建設(shè)過(guò)程的導(dǎo)航圖。有利于數(shù)據(jù)的整合。數(shù)據(jù)模型是整合各種數(shù)據(jù)源指導(dǎo)圖，對(duì)現(xiàn)有業(yè)務(wù)與數(shù)據(jù)從邏輯層角度進(jìn)行了描述，通過(guò)數(shù)據(jù)模型，可以建立業(yè)務(wù)系統(tǒng)與數(shù)據(jù)之間的映射與轉(zhuǎn)換關(guān)系。排除數(shù)據(jù)描述的不一致性。大數(shù)據(jù)是互聯(lián)網(wǎng)開(kāi)展到如今階段的一種表象或特征。新津區(qū)大數(shù)據(jù)調(diào)研分析
數(shù)據(jù)分析是為了提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。新都區(qū)商業(yè)街?jǐn)?shù)據(jù)洞察
對(duì)于大數(shù)據(jù)而言，數(shù)據(jù)倉(cāng)庫(kù)承載著整個(gè)企業(yè)的全業(yè)務(wù)的數(shù)據(jù)。早期數(shù)倉(cāng)在關(guān)系型數(shù)據(jù)如Oracle，MySql上。到大數(shù)據(jù)時(shí)代，基于hadoop生態(tài)的大數(shù)據(jù)架構(gòu)，數(shù)倉(cāng)基本上都是基于hive的數(shù)倉(cāng)。對(duì)于很多大數(shù)據(jù)開(kāi)發(fā)者而言，特別是早期，很多開(kāi)發(fā)者認(rèn)為hive數(shù)倉(cāng)就是和業(yè)務(wù)相關(guān)，隱射Hdfs數(shù)據(jù)文件的一張張表。針對(duì)于hive數(shù)倉(cāng)而言，終看到的確實(shí)是一張紙表，但這些表是如何根據(jù)業(yè)務(wù)抽象出來(lái)的、表之間的關(guān)系、表如何更好的服務(wù)應(yīng)用這些問(wèn)題是數(shù)倉(cāng)建模、數(shù)倉(cāng)技術(shù)架構(gòu)的。一個(gè)好的數(shù)倉(cāng)技術(shù)架構(gòu)和數(shù)倉(cāng)建模?？梢詼p少開(kāi)發(fā)的難度，提高數(shù)據(jù)服務(wù)性能，同時(shí)能夠在很大層面上對(duì)業(yè)務(wù)形成數(shù)據(jù)中心，降低存儲(chǔ)，計(jì)算資源的消耗等等.數(shù)倉(cāng)架構(gòu)的演變傳統(tǒng)經(jīng)典數(shù)倉(cāng)架構(gòu)->離線數(shù)倉(cāng)架構(gòu)->實(shí)時(shí)數(shù)倉(cāng)架構(gòu)->Lambda數(shù)倉(cāng)架構(gòu)->Kappa數(shù)倉(cāng)架構(gòu)->混合數(shù)倉(cāng)架構(gòu)a.傳統(tǒng)數(shù)倉(cāng)架構(gòu)在大數(shù)據(jù)領(lǐng)域應(yīng)用不多了，這類架構(gòu)在早期數(shù)據(jù)量不大，對(duì)性能的要求不高，業(yè)務(wù)較單一的場(chǎng)景中應(yīng)用比較多，這類數(shù)倉(cāng)主要以oracle，mysql這種關(guān)系型數(shù)據(jù)庫(kù)的范式設(shè)計(jì)原則設(shè)計(jì)b.離線數(shù)倉(cāng)架構(gòu)是在大數(shù)據(jù)領(lǐng)域應(yīng)運(yùn)而生的。主要是基于hadoop生態(tài)組件的大數(shù)據(jù)技術(shù)架構(gòu)方案中以hive為主的，在設(shè)計(jì)層面遵循和借鑒傳統(tǒng)數(shù)倉(cāng)的設(shè)計(jì)思路和規(guī)范。新都區(qū)商業(yè)街?jǐn)?shù)據(jù)洞察
成都達(dá)智咨詢股份有限公司在數(shù)據(jù)調(diào)研分析，數(shù)據(jù)采集，數(shù)據(jù)策略咨詢，數(shù)據(jù)智慧科技系統(tǒng)一直在同行業(yè)中處于較強(qiáng)地位，無(wú)論是產(chǎn)品還是服務(wù)，其高水平的能力始終貫穿于其中。公司位于成都市人民東路61號(hào)，成立于1999-01-07，迄今已經(jīng)成長(zhǎng)為商務(wù)服務(wù)行業(yè)內(nèi)同類型企業(yè)的佼佼者。達(dá)智咨詢以數(shù)據(jù)調(diào)研分析，數(shù)據(jù)采集，數(shù)據(jù)策略咨詢，數(shù)據(jù)智慧科技系統(tǒng)為主業(yè)，服務(wù)于商務(wù)服務(wù)等領(lǐng)域，為全國(guó)客戶提供先進(jìn)數(shù)據(jù)調(diào)研分析，數(shù)據(jù)采集，數(shù)據(jù)策略咨詢，數(shù)據(jù)智慧科技系統(tǒng)。多年來(lái)，已經(jīng)為我國(guó)商務(wù)服務(wù)行業(yè)生產(chǎn)、經(jīng)濟(jì)等的發(fā)展做出了重要貢獻(xiàn)。