信息技術(shù)的迅猛發(fā)展正在重塑我們的世界,不僅改變了技術(shù)本身,也深刻影響了全球市場(chǎng)和人們的工作與生活方式。在工業(yè)生產(chǎn)這一關(guān)鍵領(lǐng)域,高性價(jià)比、長(zhǎng)續(xù)航的微型傳感器的誕生,以及物聯(lián)網(wǎng)等新一代網(wǎng)絡(luò)技術(shù)的興起,正賦予無(wú)數(shù)物理實(shí)體以感知和傳輸?shù)哪芰?。這使得大量工業(yè)數(shù)據(jù)的采集與傳輸不再受限于特定的時(shí)間和地點(diǎn),數(shù)據(jù)的海洋變得觸手可及。
云計(jì)算等新型數(shù)據(jù)處理技術(shù)的興起,大大降低了工業(yè)數(shù)據(jù)處理的技術(shù)難度和成本,宣告著工業(yè)大數(shù)據(jù)時(shí)代的到來(lái)。工業(yè)大數(shù)據(jù)正逐漸成為工業(yè)互聯(lián)網(wǎng)實(shí)現(xiàn)企業(yè)應(yīng)用價(jià)值的關(guān)鍵,它不僅是“兩化深度融合”、“互聯(lián)網(wǎng)+”、“工業(yè)互聯(lián)網(wǎng)”等國(guó)家戰(zhàn)略在企業(yè)層面落地的支點(diǎn),也是推動(dòng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)的重要力量。
隨著這些技術(shù)的發(fā)展,我們正步入一個(gè)新時(shí)代,其中工業(yè)大數(shù)據(jù)將發(fā)揮著核心作用,為企業(yè)帶來(lái)前所未有的洞察力和競(jìng)爭(zhēng)優(yōu)勢(shì)。這不僅是技術(shù)的勝利,更是對(duì)未來(lái)工作方式和產(chǎn)業(yè)格局的一次深遠(yuǎn)革新。本文將帶您走進(jìn)工業(yè)大數(shù)據(jù)的世界,探索其來(lái)源、特征以及關(guān)鍵技術(shù)。
在工業(yè)生產(chǎn)和監(jiān)控管理的每一個(gè)瞬間,海量數(shù)據(jù)正不斷地生成。這包括生產(chǎn)設(shè)備的運(yùn)行環(huán)境、機(jī)械設(shè)備的運(yùn)轉(zhuǎn)狀態(tài)、能源消耗的詳細(xì)記錄、物料的損耗情況、物流車隊(duì)的配置與分布等。隨著傳感器技術(shù)的廣泛普及,智能芯片被植入到各種設(shè)備和產(chǎn)品之中,它們就像飛機(jī)上的“黑匣子”,自動(dòng)記錄下生產(chǎn)流通過(guò)程中的每一個(gè)細(xì)節(jié)。
我們認(rèn)識(shí)到,在制造的全系統(tǒng)和全生命周期中,涉及人、財(cái)、物、信息、知識(shí)、服務(wù)等生產(chǎn)要素的組合與流動(dòng),將持續(xù)產(chǎn)生具有體量龐大(Volume)、生成速度快(Velocity)、類型繁多(Variety)和價(jià)值密度低(Value)特點(diǎn)的大數(shù)據(jù)。工業(yè)大數(shù)據(jù)的來(lái)源可以歸納為以下三個(gè)主要方面:
企業(yè)工程數(shù)據(jù)( 設(shè)計(jì)BOM-工藝BOM-生產(chǎn)BOM-售后BOM)
MES生產(chǎn)過(guò)程數(shù)據(jù)
庫(kù)存數(shù)據(jù)
企業(yè)CRM數(shù)據(jù)
企業(yè)ERP數(shù)據(jù)
企業(yè)人力資源數(shù)據(jù)
崗位行為記錄
組織架構(gòu)內(nèi)容
產(chǎn)品狀態(tài)數(shù)據(jù)
傳感器數(shù)據(jù)
智能機(jī)器數(shù)據(jù)
設(shè)備日志
故障和維護(hù)數(shù)據(jù)
隨著大數(shù)據(jù)行業(yè)的蓬勃發(fā)展,我們見(jiàn)證了工業(yè)數(shù)據(jù)量的持續(xù)增長(zhǎng)、數(shù)據(jù)類型的日益豐富以及數(shù)據(jù)細(xì)節(jié)的不斷精細(xì)化。這些變化推動(dòng)著企業(yè)數(shù)據(jù)量的超線性增長(zhǎng),形成了龐大的工業(yè)大數(shù)據(jù)集合,并展現(xiàn)出大數(shù)據(jù)的4V特征:
Volume(體量龐大)
工業(yè)數(shù)據(jù)的規(guī)模巨大。例如,在典型的智能工廠項(xiàng)目中,一個(gè)傳感器每秒鐘就能生成8000個(gè)數(shù)據(jù)包,而整個(gè)網(wǎng)絡(luò)中部署的上萬(wàn)個(gè)傳感器,每秒產(chǎn)生的傳感數(shù)據(jù)量可達(dá)800MB,每月累計(jì)高達(dá)2.5TB。這樣龐大的數(shù)據(jù)量對(duì)存儲(chǔ)和并發(fā)處理能力提出了極高的要求。
Velocity(生成速度快)
數(shù)據(jù)的生成和處理速度極快。在智能制造云平臺(tái)中,產(chǎn)生的數(shù)據(jù)量從PB級(jí)到EB級(jí)不等,并正以迅猛的速度增長(zhǎng)。從這些海量數(shù)據(jù)中快速提取信息的能力,直接關(guān)系到智能制造云平臺(tái)服務(wù)效率的高低。
Variety(類型繁多)
數(shù)據(jù)類型多樣。智能制造云平臺(tái)產(chǎn)生的數(shù)據(jù)既包括結(jié)構(gòu)化數(shù)據(jù),如網(wǎng)絡(luò)數(shù)據(jù)包,也包括非結(jié)構(gòu)化數(shù)據(jù),如音頻、視頻、圖片和地理位置信息等。處理這些復(fù)雜的數(shù)據(jù)類型,需要強(qiáng)大的存儲(chǔ)、提取和分析能力。
Value(價(jià)值密度低)
在龐大的數(shù)據(jù)中,有價(jià)值的信息所占的比例往往很低。這就需要大數(shù)據(jù)平臺(tái)在智慧制造云產(chǎn)生的海量數(shù)據(jù)中,精準(zhǔn)地提煉出有價(jià)值的信息。以設(shè)備遠(yuǎn)程運(yùn)維為例,在持續(xù)的監(jiān)控過(guò)程中,真正有用的數(shù)據(jù)可能只占很小的一部分。
工業(yè)大數(shù)據(jù)的關(guān)鍵在于一系列技術(shù)的綜合應(yīng)用,涵蓋了數(shù)據(jù)的集成與清洗、存儲(chǔ)與管理、分析與挖掘,以及標(biāo)準(zhǔn)與質(zhì)量體系的建立,還包括數(shù)據(jù)的可視化、安全性保障和智能化處理等多個(gè)方面。
大數(shù)據(jù)集成與清洗技術(shù)涉及將來(lái)源多樣、格式迥異的數(shù)據(jù)進(jìn)行有效整合,既包括邏輯上的整合也包括物理上的集中。數(shù)據(jù)清洗過(guò)程則是對(duì)集中的數(shù)據(jù)進(jìn)行細(xì)致審查,糾正錯(cuò)誤,處理無(wú)效和缺失值,確保數(shù)據(jù)的清潔和一致性。這一步驟是數(shù)據(jù)進(jìn)入中間件系統(tǒng)或存儲(chǔ)系統(tǒng)的前提。
目前,已有的技術(shù)成果包括多數(shù)據(jù)源集成工具如Gobblin、Kettle、FineDataLink,數(shù)據(jù)清洗工具如DataWrangler,以及實(shí)時(shí)數(shù)據(jù)采集工具如Kafka、Flume等。這些技術(shù)能夠處理大規(guī)模實(shí)時(shí)數(shù)據(jù),同時(shí)實(shí)現(xiàn)異構(gòu)數(shù)據(jù)類型的集成,包括輕量級(jí)的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化的監(jiān)控視頻、圖片等。
大數(shù)據(jù)存儲(chǔ)與管理技術(shù)通過(guò)分布式存儲(chǔ)、云存儲(chǔ)等手段,實(shí)現(xiàn)數(shù)據(jù)的經(jīng)濟(jì)、安全、可靠的存儲(chǔ)管理。技術(shù)需要確定數(shù)據(jù)的優(yōu)先級(jí),并利用高吞吐量數(shù)據(jù)庫(kù)技術(shù)和非結(jié)構(gòu)化數(shù)據(jù)訪問(wèn)技術(shù),支持云系統(tǒng)中數(shù)據(jù)的高效快速訪問(wèn)。
現(xiàn)有的技術(shù)成果包括異地?cái)?shù)據(jù)存儲(chǔ)解決方案如GFS、Lustre,以及大數(shù)據(jù)快速訪問(wèn)技術(shù)如FastRAQ、SuperBlock。這些技術(shù)能夠滿足智慧工廠每天產(chǎn)生的PB級(jí)數(shù)據(jù)存儲(chǔ)需求,并確保實(shí)時(shí)制造決策和工控指令的快速反饋。
大數(shù)據(jù)分析與挖掘技術(shù)的核心任務(wù)是從龐大的、不完美且含有噪聲和模糊性的數(shù)據(jù)集中發(fā)掘出有價(jià)值的信息和知識(shí)。目前,我們已經(jīng)取得了一些成果,包括分布式計(jì)算引擎如Spark、JDBC、ODBC,數(shù)據(jù)報(bào)表制作及展示工具如FineReport,數(shù)據(jù)分析BI工具FineBI、Tableau,數(shù)據(jù)分析算法如Q-Learning、Brief Networks,以及機(jī)器學(xué)習(xí)和交互式數(shù)據(jù)分析工具等。
這些技術(shù)的特點(diǎn)在于它們的目標(biāo)導(dǎo)向性,需要根據(jù)工業(yè)大數(shù)據(jù)應(yīng)用的廣泛目標(biāo)設(shè)計(jì)特征算法,并建立定量解析或人工智能分析模型,以適應(yīng)云制造應(yīng)用的需求。
大數(shù)據(jù)可視化技術(shù)通過(guò)計(jì)算機(jī)圖形圖像處理技術(shù)和可視化展示技術(shù),如二維綜合報(bào)表、VR/AR等,將數(shù)據(jù)轉(zhuǎn)換為圖形和圖像,使原本枯燥抽象的數(shù)據(jù)變得生動(dòng)直觀,便于理解。通過(guò)交互式處理,可視化技術(shù)還能支持基于數(shù)據(jù)的分析、交流和決策。
現(xiàn)有的可視化技術(shù)成果包括多維數(shù)據(jù)可視化工具如Analytics、Pentaho、FineVis等,以及虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)展示技術(shù)。這些技術(shù)不僅能綜合處理和展示多維度數(shù)據(jù),還迫切需要滿足交互式需求,以支持制造或企業(yè)經(jīng)營(yíng)管理決策者基于視覺(jué)的交互和決策。
在工業(yè)互聯(lián)網(wǎng)中扮演著關(guān)鍵角色,涵蓋了從通用技術(shù)到平臺(tái)、產(chǎn)品、行業(yè)和安全等多個(gè)方面的標(biāo)準(zhǔn)與規(guī)范。這些技術(shù)關(guān)注數(shù)據(jù)的規(guī)范性、標(biāo)準(zhǔn)化控制和監(jiān)督。
目前,我們已經(jīng)建立了大數(shù)據(jù)標(biāo)準(zhǔn)體系框架、交易規(guī)范體系,以及被稱為“數(shù)據(jù)鐵籠”的大數(shù)據(jù)質(zhì)量管控機(jī)制。這些技術(shù)的發(fā)展重點(diǎn)是滿足多類型標(biāo)準(zhǔn)的需求,特別是以數(shù)據(jù)交換和交易為導(dǎo)向的跨領(lǐng)域數(shù)據(jù)交換集成和應(yīng)用數(shù)據(jù)交易。
大數(shù)據(jù)智能技術(shù)包含了數(shù)據(jù)平臺(tái)、治理、分析、交互和可視化等技術(shù)。已有的成果涵蓋了通用知識(shí)和模型的遷移共享方法,比如遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)和預(yù)學(xué)習(xí)模型,以及知識(shí)圖譜技術(shù)和自動(dòng)機(jī)器學(xué)習(xí)(Auto ML)技術(shù)。
這些技術(shù)的特點(diǎn)在于跨學(xué)科的融合,包括數(shù)據(jù)分析挖掘、大規(guī)模機(jī)器學(xué)習(xí)和深度學(xué)習(xí),以及處理、分析和挖掘海量數(shù)據(jù)的能力,通過(guò)建立模型來(lái)解決問(wèn)題并實(shí)現(xiàn)預(yù)測(cè)。
大數(shù)據(jù)安全技術(shù)專注于大數(shù)據(jù)生命周期中的各個(gè)環(huán)節(jié),包括采集、傳輸、存儲(chǔ)、挖掘、發(fā)布和應(yīng)用等,同時(shí)涵蓋了用戶管控、數(shù)據(jù)溯源、隱私保護(hù)和安全態(tài)勢(shì)感知等安全技術(shù)。
已有的成果包括大數(shù)據(jù)隱私保護(hù)技術(shù)如基于規(guī)則的訪問(wèn)控制(RBAC),數(shù)據(jù)水印技術(shù)如Patchwork和NEC,以及利用區(qū)塊鏈技術(shù)進(jìn)行數(shù)據(jù)應(yīng)用追溯和安全防護(hù)。這些技術(shù)的特點(diǎn)在于對(duì)隱私保護(hù)的高標(biāo)準(zhǔn)和難度,以及對(duì)數(shù)據(jù)產(chǎn)生和應(yīng)用過(guò)程的追溯與保護(hù)的重視,特別是在大數(shù)據(jù)交易中的安全技術(shù)應(yīng)用。
違法和不良信息舉報(bào)投訴電話:0377-62377728 舉報(bào)郵箱:fbypt@ex12580.com
網(wǎng)絡(luò)警察提醒你 a> 中國(guó)互聯(lián)網(wǎng)舉報(bào)中心 網(wǎng)絡(luò)舉報(bào)APP下載 掃黃打非網(wǎng)舉報(bào)專區(qū)