為了提高對公民的服務和保護國家利益,政府必須能夠迅速和有效地收集來自世界各地的巨量結構化和非結構化的數據,并對這些大數據進行分析。隨著全球范圍內的大數據持續以驚人的速度增長,而技術的不斷進步,也促使數據收集功能(智能手機、高清衛星影像、先進的傳感器等)持續增長。
進而帶來了政府部門在各個關鍵領域的改進:遏制欺詐行為、浪費和濫用、加強國土安全、改善科研、保護公眾健康以及更多更多的相關服務領域。
對于政府部門來說,當下的問題不是如何收集數據,而是如何避免被快速增長的大數據所“淹沒”,而無法對其數據解析工作帶來任何借鑒意義。此外,我們的政府已經在衛星系統技術、先進的數據收集技術與數據框架和應用程序方面進行了重大投資,因此不會帶來大量數據的產生。
這就是為什么我們需要大數據分析平臺的原因了。這些平臺可以存儲、管理、分析PB、乃至艾字節規模數據集的結構化和非結構化數據,提供見解,可以用來指導決策和加快被動和主動兩種方式的決策。大數據分析可以讓政府全面看待所有數據有關的特定程序、政策、或情況。
傳統技術基本上無法進行擴展,以滿足政府機構今天所面臨的無論是數據容量或解析方面的要求。過去,在TB規模的數據中運行查詢或統計模型,可能需要數天或數周的時間才能返回一個答案。更有可能的是,這種努力會帶來整個系統運行效率變低。另一方面,大數據分析技術,可以在幾分鐘乃至幾秒鐘內處理這些負載,這使得查詢可以迅速完善,并可以重新分析微調的見解。
正確實施大數據平臺,還可以顯著的降低數據管理成本,同時提高輸出結果。利用大數據平臺,成千上萬的離散數據集可以合并或消除,降低IT基礎設施、軟件許可證和物理遷移的費用。