在智能互聯產品誕生之前，數據的產生主要源于內部運營和價值鏈上各個職能之間的內部交付，例如訂單處理、供應商互動、銷售互動和客戶服務拜訪等。企業可以通過問卷調查、市場研究和其他外部資源處所獲得的信息從而能夠對這些數據進行補充。將這些數據進而綜合到一起，企業就會掌握一定的客戶、需求和成本信息，但其程度將會遠遠低于它們對自己產品功能的了解。

　　各個職能部門中通常分散了對數據進行定義以及分析的職責，造成了豎井效應。盡管部門與部門之間也會分享數據。就好像銷售數據會用來管理備件的庫存，但這些分享規模有限，并且存在不定期的情況。從關注產品信息為入口

　　現如今，企業在上述傳統數據源之外，斬獲了一種全新的數據來源——即產品本身。智能互聯產品能實時產生數據，其容量之大和種類之豐富都可謂前所未有。今時今日數據已經成為人才、技術和資本之外的又一項企業核心資源，在很多行業中，數據也許將成為決定性的資源。

　　這些產品數據本身價值就相當可觀。當它們與交易歷史、庫存地理位置、大宗商品價格和交通信息等其他數據融合到一起的時候，它們的價值將呈指數級增長。例如，在農業生產中，濕度傳感器和天氣預報相互結合到一起，就能對灌溉系統進行優化并節省水資源。

　　以車隊管理為例子，獲得每輛汽車或卡車的維護需求和地理位置信息，維修部門就能提前準備配件、預約保養時間并提高維修效率。當企業獲得產品使用和性能數據，保修數據的價值就會越發凸顯。就像在保修期內，如果用戶使用產品過于頻繁的話，有可能導致設備受到損壞，那么公司就可以預先進行保養，以免日后產品損壞再進行保修導致更昂貴的維修成本。利用互聯網架構化采集多元數據

　　數據基本就是兩類，一類是人類軌跡產生的數據，另一類機器自動產生的數據。這兩類數據構成了我們今天的大數據多結構化數據源。自工業革命以來，為了改進運營，制造商一直以來都在有意采集并存儲數據。

　　隨著時間的推移，數據在制造業分析的需求將越來越大。然在過去的250年間，利用數據的根本動因并沒有改變，但有數據的復雜性增強，以及將數據轉化為情報的能力將有越來越大的需求。從產品數據到企業智能運營的數字化過程中，企業管理者需要有系統化的架構。

　　產品的最終是由客戶在使用，而所有的產品經營管理過程中，有相當一部分是需要客戶的數據。通過互聯網，特別是移動互聯網上的相關工具包括社交媒體等平臺來收集客戶產品信息對于提升管理等各個環節非常關鍵。

　　網頁數據搜集系統的系統架構其主要功能包括數據采集、數據處理、數據洞察三個主模塊。整個系統采用分布式架構設計。前端的數據采集模塊采用基于消息隊列構建的爬蟲服務集群，中間的數據處理模塊采用分布式文件系統結合搜索引擎，后端的數據洞察模塊則通過分布式的內存計算框架提供實時數據分析服務。自動高效與開放性

企業要實現網頁信息獲取的自動化，高效完成信息的搜集。網絡爬蟲數據搜集系統主要有兩點值得注意。第一，主要數據來源是企業外部，以互聯網信息為主。其次，爬蟲作業在前期進行初始化全量抓取時期工作量較大，后期的增量抓取工作量顯著減小，月數據量約為首月的3%~5%。針對這些特點，我們在構建系統時需要考慮平臺的開放性。

　　由于爬蟲系統所采集的數據均來源于外部的公開信息，所以平臺本身的信息安全性要求不如其他系統那么高。所以我們在系統的使用策略應該要完全基于云平臺來構建。借助云平臺的靈活性，可以在系統運行的不同階段實現按需配置的目的。

　　從網頁爬蟲數據搜集系統的數據量來看，隨著時間的推移數據量不斷膨脹。所以對于這樣的系統平臺，從數據的抓取、數據的存儲、數據的處理、數據的運算和可視化能力都需要跟上數據膨脹的速度。所以系統的所有模塊采用了分布式架構比較合理，可以非常方便地根據數據量的情況進行靈活的擴展。未來物聯網將匯聚來自智能資產通過大量感應器和傳感器所聚集的生產制造所有相關的環境數據，而這些智能設備數據與我們的制造流程以及產品的客戶反饋數據聚合后，就形成了企業經營管理大數據和分析能夠介入的著手點。制造業流程繁多且非常復雜，我們現在可以利用大數據和分析，對此前未解釋清楚的變量的影響進行評估，并結合起來理解它們對質量問題的影響。對制造全環境進行信息收集，轉化為數字環境并分析的方法公然挑戰了傳統的注重關鍵少數的品質思維。“