11月8日，由神州控股、神州信息、米蘭milan集團(tuán)共同主辦的“數(shù)字中國(guó)2019——技術(shù)年會(huì)”在北京數(shù)碼科技廣場(chǎng)隆重舉行。清華大學(xué)軟件學(xué)院院長(zhǎng)王建民先生出席大會(huì)并發(fā)表主題演講《關(guān)于大數(shù)據(jù)系統(tǒng)軟件的思考與清華實(shí)踐》。
以下為王建民教授演講實(shí)錄：
什么是大數(shù)據(jù)呢？根據(jù)維基百科的定義，它是一個(gè)包羅萬(wàn)象的概念，如果一個(gè)數(shù)據(jù)集規(guī)模或處理復(fù)雜性，用傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)難以駕馭，我們就把這個(gè)數(shù)據(jù)集叫做大數(shù)據(jù)。
數(shù)據(jù)要變現(xiàn)和應(yīng)用，數(shù)據(jù)變現(xiàn)的過(guò)程需要軟件和計(jì)算力。從軟件的角度看，大數(shù)據(jù)分析有很多方面，其中一方面是解決數(shù)據(jù)大的問(wèn)題。當(dāng)前，有很多大數(shù)據(jù)軟件系統(tǒng)，例如Google大數(shù)據(jù)軟件棧、Hadoop的生態(tài)圈等，他們都圍繞著大數(shù)據(jù)軟件形成了一種生態(tài)，這樣的生態(tài)紛繁眾多，其中很多都是大家耳熟能詳?shù)模簿褪钦f(shuō)大數(shù)據(jù)的軟件不是一天冒出來(lái)的，它是一個(gè)發(fā)展的過(guò)程。
傳統(tǒng)的數(shù)據(jù)處理、消息處理以及數(shù)據(jù)監(jiān)控在原來(lái)“小數(shù)據(jù)”時(shí)就已經(jīng)有了相應(yīng)的軟件，今天是把其放在大數(shù)據(jù)的軟件生態(tài)里。所以當(dāng)年在大數(shù)據(jù)的白皮書(shū)里，那些“大腦袋”問(wèn)我們的大數(shù)據(jù)是不是要重新造一些輪子出來(lái)？顯然不是。我們要把傳統(tǒng)的數(shù)字技術(shù)，包括信息技術(shù)和計(jì)算技術(shù)融合起來(lái)，形成圍繞著技術(shù)應(yīng)用的體系。
我們用獲取記錄、抽取清洗、集成聚合、分析建模、解釋展示這五步來(lái)達(dá)到目標(biāo)。但是數(shù)字分析并不是拿來(lái)的數(shù)據(jù)就能取得價(jià)值。數(shù)字應(yīng)用當(dāng)中有很多的曲折和循環(huán)，我們能找到幾點(diǎn)價(jià)值就很幸運(yùn)了，這就是大數(shù)據(jù)的魅力。
所以我們要以終為始，跨界協(xié)同。我們的目標(biāo)是減少數(shù)據(jù)的循環(huán)。比如，從商業(yè)理解到數(shù)據(jù)理解，可能一個(gè)商業(yè)問(wèn)題很難用數(shù)據(jù)解決，找到差不多的數(shù)據(jù)來(lái)做循環(huán)，有問(wèn)題再重新做循環(huán)。我們需要克服很多困難，才能真正發(fā)現(xiàn)數(shù)據(jù)的價(jià)值。
這個(gè)循環(huán)給系統(tǒng)建設(shè)帶來(lái)怎樣的問(wèn)題和挑戰(zhàn)呢？一套大數(shù)據(jù)軟件不可能解決所有的問(wèn)題，因?yàn)槊看窝h(huán)中都用到了新的算法、新的工具和新的系統(tǒng)。所以大數(shù)據(jù)軟件系統(tǒng)是動(dòng)態(tài)變化的，用一套軟件遠(yuǎn)遠(yuǎn)不能滿足這樣的狀況。
既然大數(shù)據(jù)系統(tǒng)是不確定的，那我們能不能找到確定的辦法構(gòu)造大數(shù)據(jù)系統(tǒng)呢？這就是我們想的“循環(huán)”。在2014年，我們?cè)趪?guó)家實(shí)驗(yàn)室立項(xiàng)，開(kāi)始研究大數(shù)據(jù)應(yīng)用開(kāi)發(fā)的一體化平臺(tái)，解決變化的問(wèn)題。在大數(shù)據(jù)的生命周期里，隨著需求的不斷演化，系統(tǒng)也要不斷的變化。此外，我們還希望大數(shù)據(jù)系統(tǒng)里有一個(gè)工程的部分，使得在時(shí)間成本可控的情況下，構(gòu)建一個(gè)可用的大數(shù)據(jù)系統(tǒng)。
在這樣的方法指引下，我們就做了“清華數(shù)為”這樣一個(gè)可自由組裝的大數(shù)據(jù)軟件棧。它的優(yōu)勢(shì)在于“清華數(shù)為框架DWF”，這個(gè)框架可以一半做信息化，一半做智能化，使得數(shù)據(jù)變現(xiàn)的結(jié)果回到信息化系統(tǒng)中。
詳細(xì)介紹一下“清華數(shù)為框架DWF”。它是一個(gè)大數(shù)據(jù)系統(tǒng)的協(xié)調(diào)器，是物聯(lián)網(wǎng)領(lǐng)域應(yīng)用的組態(tài)軟件，也是支持信息化應(yīng)用的低碼量開(kāi)發(fā)。它的定位和使命就是將數(shù)據(jù)中臺(tái)和數(shù)據(jù)后臺(tái)協(xié)調(diào)起來(lái)，合理分工。
它形成的產(chǎn)品，第一個(gè)是“工程機(jī)械行業(yè)—智能運(yùn)維服務(wù)系統(tǒng)”。這個(gè)智能頭盔，相當(dāng)于內(nèi)置一部手機(jī)，可以智能感知問(wèn)題并形成自動(dòng)化解決方案，同時(shí)可使維修執(zhí)行過(guò)程可視化、結(jié)果分析智能化。
第二個(gè)就是“工業(yè)物聯(lián)網(wǎng)的時(shí)序數(shù)據(jù)管理系統(tǒng)——Apache IoTDB”，它圍繞物聯(lián)網(wǎng)支持時(shí)間序列數(shù)據(jù)全生命周期來(lái)進(jìn)行處理和分析，從數(shù)據(jù)收集開(kāi)始到數(shù)據(jù)被加工和挖掘結(jié)束，完成整個(gè)生命周期的使用。并且，它可以靈活適配“云-網(wǎng)-端”計(jì)算環(huán)境，完成一體化部署。2018年11月，IoTDB的正式進(jìn)入Apache社區(qū)，開(kāi)源這一年多來(lái)，被國(guó)內(nèi)和國(guó)外各界接受和使用，同時(shí)他們對(duì)我們項(xiàng)目的成熟也做出了很大貢獻(xiàn)。
第三個(gè)是“機(jī)器學(xué)習(xí)生命周期Xlearn”。在軟件棧機(jī)器學(xué)習(xí)的六個(gè)環(huán)節(jié)里，有一些是存在短板的，Xlearn可以通過(guò)遷移學(xué)習(xí)環(huán)境來(lái)彌補(bǔ)這樣的短板，實(shí)現(xiàn)舉一反三。
對(duì)于大數(shù)據(jù)重要的不僅是機(jī)器智能，還有人的智能。那人的智能如何與機(jī)器智能相互融合呢？可視化是非常重要的手段，我最早是做CAD的，今天大數(shù)據(jù)的可視化和當(dāng)初畫(huà)圖的可視化的區(qū)別，是對(duì)數(shù)據(jù)級(jí)特定的可視化問(wèn)題，而對(duì)一個(gè)數(shù)據(jù)級(jí)的特定的可視化，要看有沒(méi)有找到交互的通道，把數(shù)據(jù)背后的知識(shí)發(fā)掘出來(lái)。
為了解決這個(gè)問(wèn)題，我們做了一個(gè)叫AutoVis的工具，把人與數(shù)據(jù)、人與人、數(shù)據(jù)與人融合起來(lái)，形成全方位的數(shù)據(jù)挖掘和利用，讓數(shù)據(jù)更有價(jià)值。
最后借用馬云的兩句話，數(shù)字化時(shí)代，前兩個(gè)階段就是業(yè)務(wù)的數(shù)字化，把人的行為變成信息，把機(jī)器的行為變成信息，然后再把數(shù)據(jù)業(yè)務(wù)化。信息化和物聯(lián)網(wǎng)積累的數(shù)據(jù)要有價(jià)值，一定要通過(guò)BI和AI轉(zhuǎn)化出去。
從應(yīng)用來(lái)看，最早我們?cè)谌恢毓ぱb備大數(shù)據(jù)，當(dāng)時(shí)還沒(méi)有想到特別現(xiàn)代的工業(yè)大數(shù)據(jù)，只是把每一個(gè)設(shè)備返回的數(shù)據(jù)用起來(lái)，現(xiàn)在已有很多的大數(shù)據(jù)應(yīng)用。第二，與河北天遠(yuǎn)公司為小設(shè)備做服務(wù)，就是把數(shù)據(jù)變得有價(jià)值，從而使大數(shù)據(jù)應(yīng)用起來(lái)。我們通過(guò)攝像頭來(lái)辨別半斗和滿斗的情況，為什么這個(gè)辨別很重要，現(xiàn)代工程中的大型設(shè)備都是租賃的，在租賃的過(guò)程中，設(shè)備運(yùn)輸了多少東西，大家說(shuō)不清楚，但有了這個(gè)AI技術(shù)，就可以算清楚，這些都是通過(guò)數(shù)據(jù)解決了問(wèn)題。
全國(guó)天氣預(yù)報(bào)的專業(yè)天氣預(yù)報(bào)平臺(tái)也是我們做的，每個(gè)省的天氣不同，都有自己的的氣象預(yù)報(bào)臺(tái)，每個(gè)省的氣象預(yù)報(bào)責(zé)任由每個(gè)省負(fù)責(zé)。我們也會(huì)把氣象的數(shù)據(jù)跟風(fēng)力發(fā)電和太陽(yáng)能發(fā)電結(jié)合在一起，把它變成優(yōu)質(zhì)的電源。最后，特別感謝神州信息給我們帶來(lái)這樣的一次分享機(jī)會(huì)，謝謝大家。
