上海天元項目數據分析師事務所有限公司
地址:上海市徐匯區天鑰橋路329號B棟9樓
王經理:021-24193019
郵箱:2860763820@qq.com
鑒于大數據具有海量、非結構化、多元性等特點,統計數據質量控制問
題更趨向于復雜化,既涉及技術性的因素,又包含非技術性的因素。因
此,對大數據與統計數據質量控制進行針對性探尋與研究就變得十分必
要
大數據對統計數據質量控制的影響
隨著網絡時代的迅猛發展,大數據在世界范圍內飛速產生并不斷擴張,
如何從大數據中及時提煉、挖掘有價值的信息,提高統計數據的精準度
與可利用性,對政府的宏觀經濟運行與決策具有更深層面的意義。
鑒于大數據具有海量、非結構化、多元性等特點,統計數據質量控制問
題更趨向于復雜化,既涉及技術性的因素,又包含非技術性的因素。因
此,對大數據與統計數據質量控制進行針對性探尋與研究就變得十分必
要。
大數據對統計數據質量控制的主要影響因素目前,大數據對統計數據質
量控制的影響因素,主要產生于“流程、技術和管理”三個維度的“數
據收集、數據存儲、數據使用、數據庫技術、數據質量檢測技術、大數
據分析技術、管理者認知、管理人員配備、統計體制與標準”9個環節之
中。
流程維度:在數據收集階段,盡管統計不斷改進數據收集方式、統計標
準以保證數據質量,但不同的數據來源,必然存在差異性和矛盾性,尤
其是海量數據總體的無限擴展性,勢必會給統計數據處理帶來各種障礙
;在數據存儲階段,傳統單一性的數據結構無法滿足大數據對存儲的需
求,很多以視頻、圖片等非結構化的數據對傳統數據的存儲造成麻煩;
在數據使用階段,各類統計數據的銜接,信息技術、數據平臺、共享以
及協同等層面都存在差異性等實際問題。
技術維度:在數據庫技術方面,大數據呈現多樣性且以指數形式遞增,
大數據的復雜性必然給統計數據質量的檢測、甄別以及價值挖掘等增加
難度;在數據質量檢測技術方面,數據質量檢測技術、數據質量檢測算
法等都會直接或間接影響統計對數據的控制質量;在大數據分析技術方
面,傳統的挖掘技術處理不同類型和格式的大數據,極易造成偏差,針
對大數據特點的檢測及智能化工具相對匱乏,也會增加統計對數據的質
量檢測、識別、分析與管控的技術難度等。
管理維度:在管理者認知方面,管理者對大數據重要性的認知程度不高
,或者沒 |
|