泛在電力物聯網下的大數據及其特點:
隨著互聯網與信息技術的發展,人們每天創造的數據成幾何級數增長,譬如2018年全球的數據總量為35ZB,全球數據的增長速度為每年40%左右,預計到2020年全球的數據總量將達到44ZB。傳統的關系型數據庫和數據處理軟件已經無法勝任海量數據存儲及數據處理。
在這樣的背景下,大數據成為學術界和工業界的研究及應用熱點。大數據一詞早出現在Apache Nutch開源項目中,其對大數據定義為“對網絡搜索索引進行更新而需要批量處理或分析的大量數據集”。在2011年,《Science》的“Dealing with Data”專刊中指出,大數據的發展和使用將會對社會的發展起到巨大推動作用,各個國家開始重視大數據的應用,大數據的研究開始蓬勃開展。自2012年以來,我國相繼出臺了一系列政策支持大數據的發展與應用,并于2015年在貴陽市建立起全球家大數據交易所,2018總書記在2018中國大數據產業博覽會的賀信中指出:“把握好大數據發展的重要機遇,促進大數據產業健康發展,處理好數據安全、網絡空間治理等方面的挑戰,需要各國加強交流互鑒、深化溝通合作”,積推進和部署國家大數據戰略。國網公司早在2017年就提出“大云物移智鏈”信息化戰略,大數據屬信息化項工作的重要組成部分,在2018年電網中接入智能電表等各類終端5.4億臺(套),采集數據日增量超過60TB,在配網運檢、能耗管理、用戶服務上提供了良好的支撐。
泛在電力物聯網數據包括發、輸、變、配、用、調度六大環節,從數據的來源可以簡單將電網數據分為電網內部數據和電網外部數據。電網內部數據主要指來自于電網內部系統,如用采系統、營銷系統、廣域檢測系統、生產管理系統、能量管理系統、客戶服務系統、財務系統等數據。電網外部數據來源于GIS供應商、天氣、授時、政府等外部服務數據。從數據變化的頻率上,數據也可以分為動態數據和靜態數據,動態數據主要包括運行數據、營銷數據等,靜態數據主要包括一些如CMDB的元數據等。泛在電力物理網大數據擁有volume(巨量數據)、varity(類型多樣)、velcity(運算高效)、value(產生價值)的4V特性,其還有如下特點:
1)數據多源異構性:
由于壁壘和歷史原因,在泛在電力物聯網中,同一份數據的來源存在多源性特點,比如用戶數據可能來源于用戶采集系統、電力營銷系統、生產管理系統等。這些系統間的數據標準、數據內容存在較大差異性,同一個字段可能有不同的含義、精度、描述方式。如何有效地篩選并且清洗相關的數據,是構建泛在電力物聯網大數據的基礎;
2)數據時間粒度離散:
電網常見數據既有用戶采集系統(SCADA)這種“秒”粒度的數據,也有智能電表“分鐘”粒度的數據,也有電氣設備“小時/天”粒度的數據,甚至于某些監控系統的數據粒度達到“毫秒”級別。如何分析這些多維度、粒度離散的數據,找出這些數據的內在關聯,進行數據關聯挖掘分析,實現業務價值,是泛在電力物聯網大數據建設的關鍵。
3)地理空間及業務空間跨度大:
空間跨度大有2個方面內容,一方面是指電網空間跨度,基于地理數據(GIS)維度,如從西藏到上海,強調與電網規劃、區域發展、綜合能源網、需求響應之間的關系;
另一方面,是指電網層級復雜,基于電網結構的電網空間維度,如從輸電線、變電站到臺區,終用戶智能表等,強調與電網運行、資產管理之間的關系。如何有效地對這些數據分層進行組織,利用好這些數據,是泛在電力物聯網大數據建設的另一個關鍵。
4)隱私保護及數據安全性:
部分電力大數據涉及到關系政務民生的重要數據(臺區信息、用電數據),且留存有用戶的敏感信息(戶名、身份證號),數據敏感度高,需要有較高的安全防護要求,對于用戶隱私的保護和合理使用提出了更高的要求。如何在保障用戶隱私的情況下,安全存放、流轉并使用相關的數據,是泛在電力物聯網大數據的準繩。