機(jī)器學(xué)習(xí)技術(shù)正在走進(jìn)數(shù)據(jù)中心，它既能改善內(nèi)部IT管理，還能使關(guān)鍵業(yè)務(wù)流程更加智能化。你可能已經(jīng)聽(tīng)說(shuō)過(guò)深度學(xué)習(xí)的神秘性了，它涉及到一切領(lǐng)域，從系統(tǒng)管理到自動(dòng)駕駛汽車。到底深度學(xué)習(xí)是一個(gè)剛剛在世人面前揭開(kāi)面紗的非常聰明的新興人工智能，還是僅僅一種營(yíng)銷宣傳手段，將已有的復(fù)雜機(jī)器學(xué)習(xí)算法重新包裝成為新的賣點(diǎn)？
深度學(xué)習(xí)無(wú)疑激發(fā)了大眾的想象力，但它其實(shí)并不那么復(fù)雜。在技術(shù)層面上，深度學(xué)習(xí)主要指大規(guī)模運(yùn)行的大型計(jì)算密集型神經(jīng)網(wǎng)絡(luò)。這些神經(jīng)網(wǎng)絡(luò)往往是由難以用基于邏輯和規(guī)則的機(jī)器學(xué)習(xí)方法進(jìn)行處理的大數(shù)據(jù)集訓(xùn)練而成，如圖像、語(yǔ)音、視頻和其他內(nèi)在具有復(fù)雜模式的密集數(shù)據(jù)。
神經(jīng)網(wǎng)絡(luò)本身并不新。幾乎從現(xiàn)代計(jì)算機(jī)開(kāi)創(chuàng)階段起，神經(jīng)網(wǎng)絡(luò)算法已經(jīng)被研究用于復(fù)雜數(shù)據(jù)流中輔助識(shí)別隱藏的內(nèi)在模式。在這個(gè)意義上，深度學(xué)習(xí)是建立在眾所周知的機(jī)器學(xué)習(xí)技術(shù)上的。然而，當(dāng)新興計(jì)算復(fù)雜度更高的神經(jīng)網(wǎng)絡(luò)算法與如今的大數(shù)據(jù)集合應(yīng)用到一起，創(chuàng)造出了重大的新機(jī)遇。使用低成本的云服務(wù)或商業(yè)scale-out大數(shù)據(jù)結(jié)構(gòu)，可以創(chuàng)建這些“深度”模型，并實(shí)時(shí)應(yīng)用于大規(guī)模應(yīng)用場(chǎng)景中。
敏感的神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)研究起步于上世紀(jì)50年代和60年代，最早是為研究人類大腦如何工作而建模出來(lái)的。神經(jīng)網(wǎng)絡(luò)由多層節(jié)點(diǎn)組成，這些節(jié)點(diǎn)相互連接組成一張大網(wǎng)，有如大腦中的神經(jīng)元。每個(gè)節(jié)點(diǎn)接收輸入信號(hào)，接下來(lái)，它通過(guò)一個(gè)預(yù)先定義好的“激活功能”發(fā)出一個(gè)輸出信號(hào)，并傳給其他節(jié)點(diǎn)，同時(shí)確定什么時(shí)候節(jié)點(diǎn)應(yīng)該進(jìn)入活躍狀態(tài)。簡(jiǎn)單的，你可以認(rèn)為節(jié)點(diǎn)如何工作取決于其興奮程度，當(dāng)一個(gè)節(jié)點(diǎn)收到一組輸入后變得興奮時(shí)，它可以產(chǎn)生一定程度的輸出信號(hào)，并傳遞給它的下游節(jié)點(diǎn)。有趣的是，一個(gè)節(jié)點(diǎn)興奮起來(lái)后，它的輸出信號(hào)可以是正也可以是負(fù)；一些節(jié)點(diǎn)激活后實(shí)際上會(huì)抑制另一些節(jié)點(diǎn)的興奮。節(jié)點(diǎn)通過(guò)鏈接互連，每個(gè)鏈接有其自己的權(quán)重變量。一個(gè)鏈接的權(quán)重會(huì)調(diào)整經(jīng)過(guò)它傳輸?shù)男盘?hào)。神經(jīng)網(wǎng)絡(luò)通過(guò)逐漸調(diào)整其整個(gè)網(wǎng)絡(luò)的鏈接權(quán)重，適應(yīng)和學(xué)習(xí)如何識(shí)別模式，最終只有被正確識(shí)別的模式會(huì)產(chǎn)生一個(gè)完整的遍布全網(wǎng)絡(luò)的興奮傳遞。
一般情況下，輸入數(shù)據(jù)被格式化為一個(gè)輸入信號(hào)，鏈接到第一層外部節(jié)點(diǎn)。這些節(jié)點(diǎn)隨后向一個(gè)或多個(gè)隱藏層發(fā)送信號(hào)，最后輸出層節(jié)點(diǎn)發(fā)出一個(gè)“反饋”給外部世界。由于學(xué)習(xí)（也即智能）是隱含在鏈路權(quán)重中的，實(shí)際應(yīng)用的核心問(wèn)題是搞清楚怎么調(diào)節(jié)或訓(xùn)練所有的鏈路權(quán)重以實(shí)現(xiàn)正確模式的應(yīng)答。今天，神經(jīng)網(wǎng)絡(luò)主要通過(guò)后向傳播的增量學(xué)習(xí)技術(shù)，用在訓(xùn)練數(shù)據(jù)中尋找正確的模式來(lái)完成學(xué)習(xí)過(guò)程。當(dāng)神經(jīng)網(wǎng)絡(luò)生成一種有用的方式識(shí)別出正確的樣本時(shí)，該方法相應(yīng)的給予鏈路“獎(jiǎng)勵(lì)”，當(dāng)神經(jīng)網(wǎng)絡(luò)識(shí)別出錯(cuò)誤的樣本時(shí)，則給予懲罰。
然而，不可能存在一個(gè)能夠適用于任何給定問(wèn)題的神經(jīng)網(wǎng)絡(luò)架構(gòu)。此時(shí)機(jī)器學(xué)習(xí)專業(yè)知識(shí)就是非常重要的了，因?yàn)榻o定一定數(shù)量的節(jié)點(diǎn)、其激勵(lì)功能、一定數(shù)量的隱藏層以及所有節(jié)點(diǎn)的連接關(guān)系（例如是密集連接還是稀疏連接，是否存在內(nèi)部反饋或循環(huán)環(huán)路），可能存在無(wú)數(shù)種潛在的神經(jīng)網(wǎng)絡(luò)配置方式。傳統(tǒng)研究中，受限于硬件條件，神經(jīng)網(wǎng)絡(luò)隱藏層的數(shù)量設(shè)置得很少，即使如此，神經(jīng)網(wǎng)絡(luò)已經(jīng)展現(xiàn)出超過(guò)人類的，驚人的和熟練的學(xué)習(xí)能力。如今，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能具有數(shù)百層網(wǎng)絡(luò)，能夠完全勝任深度奧妙問(wèn)題的處理。
深度學(xué)習(xí)實(shí)際應(yīng)用的關(guān)鍵是搞清楚如何在成百上千個(gè)并行計(jì)算核心上有效地拓展出大型神經(jīng)網(wǎng)絡(luò)，然后用巨量大數(shù)據(jù)集進(jìn)行高效的訓(xùn)練。過(guò)去，這需要遠(yuǎn)超企業(yè)數(shù)據(jù)中心規(guī)模的高性能計(jì)算設(shè)備HPC來(lái)實(shí)現(xiàn)。今天，NVIDIA、Mellanox和DataDirectNetworks公司正在推出適合一般企業(yè)數(shù)據(jù)中心規(guī)模的HPC產(chǎn)品。例如NVIDIA的DGX-1，本質(zhì)上它是一臺(tái)設(shè)計(jì)用于深度學(xué)習(xí)，集成了8塊高端GPU運(yùn)算卡的超融合超級(jí)計(jì)算機(jī)，令人驚訝的是，它只有4U這么大，顯然可以被一般公司所接受。
谷歌的AlphaGo大時(shí)代
云計(jì)算供應(yīng)商如谷歌，也提供托管的機(jī)器學(xué)習(xí)工具。例如，谷歌的AlphaGo圍棋游戲程序最近在最高級(jí)別的比賽中戰(zhàn)勝了世界級(jí)的圍棋冠軍。圍棋被認(rèn)為是機(jī)器無(wú)法匹敵人類智慧的最后前沿領(lǐng)域之一，因?yàn)閲鍩o(wú)法用簡(jiǎn)單的暴力計(jì)算的方式在有限時(shí)間內(nèi)求解（完整地在19x19圍棋棋盤上計(jì)算最佳落子，需要的計(jì)算能力超過(guò)了現(xiàn)存最強(qiáng)的計(jì)算機(jī)能力）。然而，你可以認(rèn)為AlphaGo團(tuán)隊(duì)采取了一個(gè)捷徑，通過(guò)訓(xùn)練深度學(xué)習(xí)程序，使它下圍棋時(shí)能下出任何人類選手曾經(jīng)下過(guò)的最好的落子。而且，這個(gè)程序能夠通過(guò)和自己下圍棋來(lái)變得更強(qiáng)。
在其外表之下，AlphaGo主要由2個(gè)大型神經(jīng)網(wǎng)絡(luò)鏈接在一起組成（通過(guò)一些蒙特卡羅仿真，將“太多可選落子位置需要計(jì)算”的大集合縮減到一個(gè)可能是較佳落子位置組成的小集合）。第一個(gè)神經(jīng)網(wǎng)絡(luò)用百萬(wàn)局過(guò)去的棋譜進(jìn)行訓(xùn)練，因此它能夠確定哪些位置最可能是勝利者一方會(huì)下的位置。第二個(gè)神經(jīng)網(wǎng)絡(luò)被訓(xùn)練用于估計(jì)每一個(gè)新位置的價(jià)值，原理上講，即給予那些在棋譜終盤時(shí)贏者占據(jù)的位置更高的估值。這兩個(gè)神經(jīng)網(wǎng)絡(luò)聯(lián)合在一起遞歸使用，通過(guò)預(yù)測(cè)接下來(lái)有限步數(shù)的雙方落子和盤局來(lái)選擇當(dāng)前最佳的落子位置。這里的本質(zhì)是，深度學(xué)習(xí)方法通過(guò)跟最好的棋手的棋譜學(xué)習(xí)，現(xiàn)在已能夠不依賴于暴力計(jì)算實(shí)時(shí)擊敗最好的棋手了。
深度學(xué)習(xí)在企業(yè)IT中如何應(yīng)用呢？
深度學(xué)習(xí)程序甚至?xí)顾脑O(shè)計(jì)者和訓(xùn)練者感到吃驚，通過(guò)從歷史數(shù)據(jù)中學(xué)習(xí)復(fù)雜的模式，它能夠在超出期望或看上去無(wú)關(guān)的場(chǎng)景中工作得很好。但是從根本上說(shuō)，深度學(xué)習(xí)程序不能真正預(yù)測(cè)出一個(gè)從未被訓(xùn)練過(guò)的模式——它只能從已經(jīng)遇到過(guò)的場(chǎng)景中進(jìn)行學(xué)習(xí)。而且，深度學(xué)習(xí)程序不能用邏輯術(shù)語(yǔ)或規(guī)則來(lái)說(shuō)明它所學(xué)到的東西，因此無(wú)法簡(jiǎn)單地抽象出它的學(xué)習(xí)結(jié)果。
對(duì)任何機(jī)器學(xué)習(xí)技術(shù)，總是要在變得太特殊（例如，需要太精確地記錄歷史數(shù)據(jù)，如同查找表一樣過(guò)于死板）和保持太一般化（例如，不管輸入是什么，簡(jiǎn)單地給出單一最可能的值）中進(jìn)行平衡，以避免無(wú)效計(jì)算。數(shù)據(jù)學(xué)家的工作就是努力為特定問(wèn)題找到最佳平衡方式。
在我們擁有大量訓(xùn)練數(shù)據(jù)可用的任何場(chǎng)景下，深度學(xué)習(xí)將毫無(wú)置疑是非常有用的。每天，在IT部門，我們產(chǎn)生越來(lái)越多的機(jī)器數(shù)據(jù)可用于開(kāi)發(fā)有用的人工智能。例如，在安全應(yīng)用中，神經(jīng)網(wǎng)絡(luò)能夠?qū)W會(huì)鑒別可能的入侵或黑客行為的深度模式。神經(jīng)網(wǎng)絡(luò)甚至可以用時(shí)間序列數(shù)據(jù)訓(xùn)練，學(xué)習(xí)識(shí)別在工作量和資源這兩個(gè)關(guān)鍵因素影響下的動(dòng)態(tài)正常（異常）行為。谷歌很有可能正在研究如何利用AlphaGo類似的人工智能能力，幫助其管理云基礎(chǔ)設(shè)施，避免損耗和最優(yōu)化資源分配。
如果你想要了解更多有關(guān)神經(jīng)網(wǎng)絡(luò)的知識(shí)，我建議你花幾分鐘嘗試一些相關(guān)的互動(dòng)實(shí)例。我們都應(yīng)該為有朝一日能夠?qū)⒆约旱拇竽X直接連入數(shù)據(jù)中心網(wǎng)絡(luò)做好準(zhǔn)備。
核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題：深入研究神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
相關(guān)文章
