面向大數(shù)據(jù)的信息獲取和整合分析已成為工業(yè)4.0時(shí)代制造企業(yè)的必修課。越來越多的企業(yè)正在選擇通過利用無數(shù)相互連接的數(shù)據(jù)庫系統(tǒng)的支持，來獲取越來越大量的數(shù)據(jù)，然后與企業(yè)的物流銷售等系統(tǒng)融合分析，優(yōu)化業(yè)務(wù)發(fā)展。

然而對(duì)于制造業(yè)來說，大數(shù)據(jù)并非從天而降。事實(shí)上，自上世紀(jì)80年代制造業(yè)已經(jīng)開始依靠歷史數(shù)據(jù)庫來管理大量相關(guān)的制造業(yè)務(wù)數(shù)據(jù)了。

洞察力從大數(shù)據(jù)開始

曾經(jīng)制造業(yè)的歷史數(shù)據(jù)庫關(guān)注的焦點(diǎn)在于通過專門的軟件應(yīng)用程序?qū)ο嚓P(guān)數(shù)據(jù)進(jìn)行有效地收集、存儲(chǔ)、檢索、按照時(shí)間序列顯示和優(yōu)化。歷史數(shù)據(jù)庫是含有一個(gè)以測點(diǎn)名稱字段和時(shí)間字段為關(guān)鍵字的一張表，這張表的另外的一個(gè)重要的字段就是數(shù)值字段，用來存儲(chǔ)測點(diǎn)的采集值，除了這些字段，還可以包含數(shù)據(jù)的狀態(tài)，數(shù)據(jù)質(zhì)量字段等。隨著時(shí)間的變化，不斷地將實(shí)時(shí)數(shù)據(jù)庫中的實(shí)時(shí)數(shù)據(jù)進(jìn)行壓縮過濾，并更新磁盤歷史數(shù)據(jù)文件中的表里的數(shù)據(jù)。用戶可從此數(shù)據(jù)庫中查詢生產(chǎn)實(shí)時(shí)數(shù)據(jù)的歷史樣本值或歷史插值數(shù)據(jù)。

工程師、操作人員、管理人員都可以通過歷史數(shù)據(jù)庫來查看趨勢變化，可以實(shí)現(xiàn)近實(shí)時(shí)關(guān)鍵指標(biāo)（KPI ） 的跟蹤，并能與實(shí)現(xiàn)性能的比較。通過歷史數(shù)據(jù)庫，相關(guān)人員還可對(duì)設(shè)備故障做出預(yù)診斷，提前發(fā)現(xiàn)潛在問題。

正是由于準(zhǔn)確有效的歷史數(shù)據(jù)一直以來對(duì)工作持續(xù)的改進(jìn)作用，從而，使得在制造業(yè)中，到現(xiàn)在還是有著豐富多樣的自動(dòng)化系統(tǒng)歷史數(shù)據(jù)庫解決方案。歷史數(shù)據(jù)庫解決方案的容量和吞吐量是非常容易辨識(shí)的標(biāo)志，但，其解決方案的真正差異其實(shí)是聚焦在數(shù)據(jù)公開、方便的收集與分析方面，如果從多個(gè)分布源甚至包括不可靠的網(wǎng)絡(luò)連接環(huán)境下，可靠有效的獲取數(shù)據(jù)才是歷史數(shù)據(jù)庫解決方案的核心所在。

工業(yè)數(shù)據(jù)關(guān)注的焦點(diǎn)

雖然每個(gè)歷史數(shù)據(jù)庫中都包含某個(gè)核心的數(shù)據(jù)庫，但真正使數(shù)據(jù)庫成為發(fā)揮作用的應(yīng)用軟件程序，則是需要使數(shù)據(jù)成為優(yōu)化的時(shí)間序列數(shù)據(jù)，即，溫度、壓力、流速等相關(guān)監(jiān)測數(shù)據(jù)之間具有相關(guān)聯(lián)的時(shí)間戳和參數(shù)，處理后的數(shù)據(jù)也被稱為TVQ（時(shí)間、數(shù)值和屬性）。同時(shí)，需要依據(jù)系統(tǒng)情況確認(rèn)數(shù)據(jù)收集的頻率，比如是每毫秒或一小時(shí)收集一次。通過時(shí)間戳將數(shù)據(jù)做分類，建立分類的數(shù)據(jù)庫，以便更有效率的存儲(chǔ)更大量的數(shù)據(jù)，以便更快速、輕松、更通用的完成對(duì)數(shù)據(jù)的檢索。

關(guān)系數(shù)據(jù)庫，是指采用了關(guān)系模型來組織數(shù)據(jù)的數(shù)據(jù)庫。關(guān)系模型是在1970年由IBM首先提出，在之后的幾十年中，關(guān)系模型的概念得到了充分的發(fā)展并逐漸成為數(shù)據(jù)庫架構(gòu)的主流模型。簡單來說，關(guān)系模型指的就是二維表格模型，而一個(gè)關(guān)系型數(shù)據(jù)庫就是由二維表及其之間的聯(lián)系組成的一個(gè)數(shù)據(jù)組織。

關(guān)系型數(shù)據(jù)庫有著以下特點(diǎn)：1、容易理解：二維表結(jié)構(gòu)是非常貼近邏輯世界的一個(gè)概念，關(guān)系模型相對(duì)網(wǎng)狀、層次等其他模型來說更容易理解。2、使用方便：通用的SQL語言使得操作關(guān)系型數(shù)據(jù)庫非常方便，程序員甚至于數(shù)據(jù)管理員可以方便地在邏輯層面操作數(shù)據(jù)庫，而完全不必理解其底層實(shí)現(xiàn)。3、易于維護(hù)：豐富的完整性（實(shí)體完整性、參照完整性和用戶定義的完整性）大大降低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率。

目前，關(guān)系數(shù)據(jù)庫廣泛應(yīng)用于各個(gè)行業(yè)，是構(gòu)建管理信息系統(tǒng)，存儲(chǔ)及處理關(guān)系數(shù)據(jù)的不可缺少基礎(chǔ)軟件，如ERP，MIS，EAM等系統(tǒng)。關(guān)系數(shù)據(jù)庫也是用于分析數(shù)據(jù)之間的復(fù)雜關(guān)系的強(qiáng)大工具。但并不適合記錄大量的高速運(yùn)行的數(shù)據(jù)。幸運(yùn)的是，結(jié)構(gòu)化查詢語言（SQL）的出現(xiàn) ，使得關(guān)系數(shù)據(jù)庫擁有了更強(qiáng)大的能力和手段，很容易適應(yīng)其他類型的數(shù)據(jù)庫，包括非關(guān)系型數(shù)據(jù)庫。此數(shù)據(jù)庫結(jié)構(gòu)主要用于快速存儲(chǔ)和檢索數(shù)據(jù)，數(shù)以百萬計(jì)數(shù)據(jù)可以被批量處理。這也意味著，可以將數(shù)據(jù)備份到應(yīng)用上，如趨勢分析或快速處理包。與關(guān)系數(shù)據(jù)庫的對(duì)比，實(shí)時(shí)歷史數(shù)據(jù)庫可以記錄，包括變量名、數(shù)值、屬性和時(shí)間戳等文件。

雖然數(shù)據(jù)存儲(chǔ)越來越便宜了，但是，每年好幾個(gè)TB的關(guān)系數(shù)據(jù)仍然是數(shù)據(jù)管理的一大難題。為了盡可能的保留實(shí)際數(shù)據(jù)的細(xì)節(jié)，同時(shí)又能節(jié)省內(nèi)存，通過采用50:1的“低損失”壓縮算法。 

數(shù)據(jù)的完整性

數(shù)據(jù)的完整性一直是保證歷史數(shù)據(jù)庫實(shí)際應(yīng)用價(jià)值的關(guān)鍵。如果用戶不能相信的數(shù)據(jù)是準(zhǔn)確和完整，歷史數(shù)據(jù)庫永遠(yuǎn)不能發(fā)揮它的能力成為實(shí)際工作改進(jìn)的推動(dòng)者。

歷史數(shù)據(jù)庫中的數(shù)據(jù)可能是來自一個(gè)冗余的光纖網(wǎng)絡(luò)連接成為單一的分布式控制系統(tǒng)（DCS），這種情況下，數(shù)據(jù)庫的架構(gòu)相對(duì)簡單。但數(shù)據(jù)庫中的數(shù)據(jù)的來源也可能是地理上分散的衛(wèi)星或無線網(wǎng)絡(luò)，如油田數(shù)據(jù)庫，這種情況下，數(shù)據(jù)庫不僅是分布式，同時(shí)，必須還是容錯(cuò)。

越來越復(fù)雜的數(shù)據(jù)來源與網(wǎng)絡(luò)情況，使得對(duì)分布式數(shù)據(jù)庫提出了越來越高的要求，如果網(wǎng)絡(luò)連接由于某種原因突然中斷，則系統(tǒng)要及時(shí)啟用本地歷史數(shù)據(jù)庫繼續(xù)進(jìn)行存儲(chǔ)，直到網(wǎng)絡(luò)連接恢復(fù)，并及時(shí)將本地存儲(chǔ)的數(shù)據(jù)及時(shí)轉(zhuǎn)發(fā)到系統(tǒng)終端。這樣才能保證即使是網(wǎng)絡(luò)可靠性參差不齊的情況，系統(tǒng)也能正常運(yùn)行。最近，這種需求，導(dǎo)致了人們?cè)跉v史數(shù)據(jù)庫中引入了“家電”概念，旨在實(shí)現(xiàn)“開箱即用”式的數(shù)據(jù)采集、無線存儲(chǔ)和轉(zhuǎn)發(fā)功能，并以較低的價(jià)格實(shí)現(xiàn)定制化的解決方案。

分布式歷史數(shù)據(jù)庫是幫助解決從工廠車間操作人員的企業(yè)決策者各層次的管理者不同的需求。歷史數(shù)據(jù)庫不僅可以提供設(shè)備實(shí)時(shí)操作情況以及趨勢的關(guān)鍵績效指標(biāo)，甚至可以反映設(shè)備或者工廠層面的綜合性能。

數(shù)據(jù)是決策的基礎(chǔ)

數(shù)據(jù)的準(zhǔn)確性完整性至關(guān)重要，但是，數(shù)據(jù)庫的可訪問性也同樣非常重要。畢竟歷史數(shù)據(jù)庫的作用是希望能更容易的為各層級(jí)人員提供決策的參考。

優(yōu)秀的歷史數(shù)據(jù)庫不僅要能支持?jǐn)?shù)據(jù)源收集來的數(shù)據(jù)以及行業(yè)標(biāo)準(zhǔn)協(xié)議，如OPC，同時(shí)，還需要能充分利用行業(yè)標(biāo)準(zhǔn)進(jìn)行多系統(tǒng)的整合，如計(jì)劃系統(tǒng)、質(zhì)量管理系統(tǒng)、狀態(tài)監(jiān)測系統(tǒng)等等。而且，用戶還希望數(shù)據(jù)庫能夠提供可選擇的可視化趨勢分析報(bào)告。并且，能提供多種標(biāo)準(zhǔn)接口支持瀏覽器、移動(dòng)設(shè)備等的數(shù)據(jù)顯示、操作。簡單的CSV和Excel數(shù)據(jù)文件格式也應(yīng)該是數(shù)據(jù)庫能顯示、操作的一部分。

數(shù)據(jù)能在分布于不同地方、不同類型的設(shè)備上顯示和運(yùn)行，為歷史數(shù)據(jù)庫的發(fā)展打開了新的大門。及時(shí)的信息反饋、與及時(shí)的數(shù)據(jù)處理，為生產(chǎn)過程中更快的識(shí)別發(fā)展趨勢，更準(zhǔn)確的找到事故原因，更精確的制定改進(jìn)策略，成為了可能。

利用大數(shù)據(jù)的四條軍規(guī)

大數(shù)據(jù)是信息技術(shù)的重要概念。很多企業(yè)正在搜集大數(shù)據(jù)并使用復(fù)雜的分析工具對(duì)其進(jìn)行分析，以期發(fā)現(xiàn)隱藏的規(guī)律和關(guān)聯(lián)。如果生產(chǎn)制造系統(tǒng)發(fā)生重大變更的時(shí)候也能夠自動(dòng)識(shí)別并找到最佳的作業(yè)條件，例如設(shè)備發(fā)生故障、原材料特性發(fā)生變化或者能源和人力成本發(fā)生變化，那么是不是很棒呢？這就是生產(chǎn)制造領(lǐng)域內(nèi)大數(shù)據(jù)的存在意義，也是為什么很多生產(chǎn)制造企業(yè)正在針對(duì)其生產(chǎn)設(shè)施開展大數(shù)據(jù)項(xiàng)目。

實(shí)施大數(shù)據(jù)，制造企業(yè)應(yīng)牢記四條軍規(guī)

1.數(shù)據(jù)不能脫離實(shí)際 將MES與歷史數(shù)據(jù)庫關(guān)聯(lián)

首先需要說明的是，脫離實(shí)際環(huán)境的數(shù)據(jù)的作用將會(huì)大打折扣。在生產(chǎn)制造領(lǐng)域，所謂的實(shí)際環(huán)境可以用工作任務(wù)或者執(zhí)行步驟來提供。每一段數(shù)據(jù)必須與正在執(zhí)行的任務(wù)或者正在生產(chǎn)的產(chǎn)品本身相關(guān)聯(lián)，并且與任務(wù)的特性相聯(lián)系。這個(gè)環(huán)境可以用于任務(wù)與任務(wù)之間的對(duì)比，用來檢測顯著差異。使用生產(chǎn)制造大數(shù)據(jù)的第一步就是搜集環(huán)境或者事件信息，然后這些信息與工廠的歷史數(shù)據(jù)相關(guān)聯(lián)。幸運(yùn)的是，主要的工廠歷史數(shù)據(jù)備份工具供應(yīng)商都提供了事件和環(huán)境插件，可以將MES流程或者執(zhí)行系統(tǒng)的作業(yè)步驟與歷史數(shù)據(jù)相關(guān)聯(lián)。

2.周期性備份歷史數(shù)據(jù) 分析優(yōu)化 

第二個(gè)需要考慮的因素是，雖然在線歷史數(shù)據(jù)是一個(gè)保存數(shù)據(jù)的很棒的工具，但是對(duì)于分析數(shù)據(jù)卻有點(diǎn)束手無策。一種好方法是使用離線備份或者數(shù)據(jù)庫用于分析。大多數(shù)工廠的歷史數(shù)據(jù)庫對(duì)存取數(shù)據(jù)都進(jìn)行了優(yōu)化，當(dāng)需要為大數(shù)據(jù)分析從正在運(yùn)行的在線系統(tǒng)提取大量數(shù)據(jù)時(shí)，往往需要花費(fèi)很多時(shí)間。更好的策略是將歷史數(shù)據(jù)周期性地備份到離線系統(tǒng)中，或者將數(shù)據(jù)固化到數(shù)據(jù)庫，以便用于大數(shù)據(jù)的優(yōu)化分析。

3．重視數(shù)據(jù)樣本 科學(xué)分析

第三個(gè)需要牢記的因素是你必須選擇正確的數(shù)據(jù)樣本。為了具有說服力，確保樣本容量足夠大，這樣才能夠足以發(fā)現(xiàn)內(nèi)在關(guān)系和因果關(guān)系。較小的樣本容量有可能得到并不正確的內(nèi)在關(guān)系，使你南轅北轍。還有很重要的一點(diǎn)就是不要將內(nèi)在關(guān)系和因果關(guān)系混淆起來，因?yàn)榫哂袃?nèi)在關(guān)系的事物不一定具有因果關(guān)系。數(shù)據(jù)分析可以發(fā)現(xiàn)內(nèi)在關(guān)系，但是如果想要明確事物之間是否存在因果關(guān)系則還需要很多工作。大數(shù)據(jù)分析項(xiàng)目必須引入工程師或者科學(xué)家，確保使用工程分析手段能夠得到真實(shí)的因果關(guān)系，這樣一來數(shù)據(jù)才發(fā)揮了最大價(jià)值。

4.結(jié)合工程師的知識(shí)經(jīng)驗(yàn)

最后一個(gè)需要牢記的因素是在有些情況下靠人員來發(fā)現(xiàn)規(guī)律比靠系統(tǒng)自動(dòng)完成更加靠譜。你可以指派人員對(duì)數(shù)據(jù)庫進(jìn)行查詢并發(fā)現(xiàn)某些規(guī)律。有經(jīng)驗(yàn)的操作人員通常對(duì)生產(chǎn)系統(tǒng)和相互之間的關(guān)系有較深入的認(rèn)知，他們能夠發(fā)現(xiàn)一些被隱藏或不明顯的內(nèi)在關(guān)系。