一、農業大數據的內涵
農業是產生大數據的無盡源泉,也是大數據應用的廣闊天地。農業數據涵蓋面廣、數據源復雜。關于農業大數據,顧名思義,就是運用大數據理念、技術和方法,解決農業或涉農領域數據的采集、存儲、計算與應用等一系列問題,是大數據理論和技術在農業上的應用和實踐。農業大數據是大數據理論和技術的專業化應用,除了具備大數據的公共屬性,必然具有農業數據自身的特點。通常所講到的農業,實際上應涵蓋農村、農業和農民三個層面,具有涵蓋區域廣、涉及領域和內容寬泛、影響因素眾多、數據采集復雜、決策管理困難等特點。狹義的農業生產是指種植業,包括生產糧食作物、經濟作物、飼料作物和綠肥等農作物的生產活動等,不僅僅涉及到耕地、播種、施肥、殺蟲、收割、存儲、育種等作物生產的全過程各環節,而且還涉及跨行業、跨專業、跨業務的數據分析與挖掘,以及結果的展示與應用,乃至整個產業鏈的資源、環境、過程、安全等監控與決策管理等。廣義的農業生產是指包括種植業、林業、畜牧業、漁業和副業五種產業形式,均應該包含在農業大數據研究的范疇中。
隨著精準農業、智慧農業、物聯網和云計算的快速發展要求,農業數據也呈現出爆炸式的增加,數據從存儲到挖掘應用都面臨巨大挑戰。物聯網在農業各領域的滲透已經成為農業信息技術發展的必然趨勢,也必將成為農業大數據最重要的數據源。大量的農業工作者和管理者,既是大數據的使用者,也是大數據的制造者。由于農業自身的復雜性和特殊性,農業數據必將從基于結構化的關系型數據類型,向半結構化和非結構化數據類型轉變。相對于采用二維表來邏輯表達的關系型數據結構,農業領域更多的是非結構化的數據,如大量的文字、圖表、圖片、動畫、語音/視頻等形式的超媒體要素,以及專家經驗和知識、農業模型等。大量事實已經證明,非結構化數據呈現出快速增長的勢頭,其數量已大大超過結構化數據。尤其是農業生產過程的主體是生物,易受外界環境和人的管理等因素影響,存在多樣性和變異性、個體與群體差異性等,都決定了對數據的采集、挖掘與分析應用的難度。如何挖掘數據價值、提高數據分析應用能力、減少數據冗余和數據垃圾,是農業大數據面臨的重要課題。
二、農業大數據的主要應用
基于目前農業信息技術主要應用領域和產生大數據的主要來源分析,大數據的主要應用領域包括以下幾個方面:
①生產過程管理數據: 設施種植業、設施養殖業( 畜禽和水產等) 、精準農業等。提高整個生產過程的精準化監測、智能化決策、科學化管理和調控,是農業信息化的緊迫任務。
②農業資源管理數據:土地資源、水資源、農業生物資源、生產資料等。我國農業資源緊缺、生態環境與生物多樣性退化,要在摸清家底的基礎上,進一步優化配置、合理開發,實現農業高產優質、節能高效的可持續發展。
③農業生態環境管理數據: 土壤、大氣、水質、氣象、污染、災害等。需要進行全面監測、精準管理。
④農產品與食品安全管理大數據:產地環境、產業鏈管理、產前產中產后、儲藏加工、市場流通領域、物流、供應鏈與溯源系統等。
⑤農業裝備與設施監控大數據: 設備和實施工況監控、遠程診斷、服務調度等。
在上述應用中,關鍵是農業環境與資源、農業生產過程、農業產品安全、農業市場和消費的監測和預測等。
⑥各種科研活動產生的大數據,如大量的遙感數據,包括空間與地面數據; 大量的生物實驗數據,如基因圖譜、大規模測序、農業基因組數據、大分子與藥物設計等。
三、農業大數據的主要任務
基于大數據的理論和技術,不斷推進農業大數據技術的創新與應用實踐,結合國家農業現代化和農業信息化發展戰略,突破農業大數據的一些關鍵技術,謀劃和凝練一批農業大數據的示范和應用項目,將大數據提升到與物聯網和云計算同等重要的地位,搶占大數據這一新時代信息化技術制高點,推進智慧農業不斷發展。
在市場經濟條件下,農業的分散經營和生產模式,使得在參與市場競爭中對信息的依賴性比任何時候都更加重要: 信息和服務的滯后性,往往對整個產業鏈產生巨大的負面影響。由于市場經濟的特點,農業生產很難在全國范圍內形成統一規劃,致使農業生產受市場波動影響頗大,而且農業生產很多方面是依靠感覺和經驗,缺少量化的數據支撐。大數據時代,不僅可以通過建立綜合的數據平臺,調控農業生產,還可以記錄分析農業種養過程、流通過程中的動態變化,通過分析數據,制定一系列調控和管理措施,使農業高效有序發展。
1、優化整合農業數據資源
我國農業信息技術在經歷了多年的發展,研發了涵蓋多層面、多領域的農業信息化系統,構建了很多不同級別、面向不同領域的數據資源,形成了龐大的信息資源財富。我國大量的涉農網站,匯集了很多信息資源。但由于體制和利益等原因,這些數據相互之間缺乏統一標準和規范,在功能上不能關聯互補、信息不能共享互換、信息與業務流程和應用相互脫節,形成了所謂的信息孤島。數據缺乏標準、難以共享,必然導致低水平重復建設、數據利用率低、信息資源凌亂分散和大量冗余等。基于云計算構架和大數據技術,整合數據資源、規范數據標準、統一標識和規范協議等,實現計算資源虛擬化建設,是消除數據鴻溝、發展農業大數據資源的關鍵所在,否則就構不成大數據,就會成為無水之源、無本之木,造成巧婦難為無米之炊的困境。通過構造虛擬化技術平臺,實現 IT 資源的邏輯抽象和統一表示,將在大規模數據中心管理和解決方案交付方面發揮巨大的作用,是支撐云存儲和云計算系統的基石。
2、農業大數據平臺建設
為了不斷推進農業經濟的優化,實現可持續的產業發展和區域產業結構優化調整,進一步推動智慧農業發展進程,需要全面及時掌握農業的發展動態,這需要依托農業大數據及相關大數據分析處理技術,建設一個農業大數據分析應用平臺。在技術上,該平臺應該基于先進的大數據系統框架,充分融合物聯網在數據獲取以及云計算在數據處理方面的技術優勢,建設具有高效性、先進性和開放性的業務化應用平臺,例如探索構建基于 Hadoop + Map-Reduce 平臺。結構上,該平臺應具有良好的可配置性,滿足資源擴展、業務流程的變化。平臺應具有穩健的設計構架、良好的人機交互功能,便于一般技術人員開發使用。隨著應用領域的拓寬、業務的發展、業務量的增加,系統也應該具有良好的擴展性和應用性。
平臺建設:①針對所選擇的優先發展領域,如智能農情( 苗情、墑情、災情、病蟲情) 監測、智能設施農業( 種植業和養殖業) 等,基于農業大數據相關技術,構建包括數據采集技術、存儲技術、處理技術、分析挖掘技術、展現技術等一體化應用平臺; ②基于大數據技術,研發智能化的決策支持系統,可提供大數據分析成果發布,決策管理信息發布,不僅可為科研院所、各級政府、涉農企業、社會公眾等提供公共的業務服務,也可提供個性化的服務功能。
系統技術和功能:①通過規范數據接口和協議,實現各類相關數據庫的交互訪問; ②提供數據分析應用的算法庫、模型庫、知識庫; ③能滿足農業大數據研究的專業化和個性化需求,在數據采集、分析、發布等方面提供技術和方法支持; ④數據的瀏覽,對數據進行查詢、展現和基礎統計分析等初步應用; ⑤提供云存儲和服務的功能等。
通過專業化處理,對海量數據快速“提純”并獲得有價值的信息,最終為政府、企業乃至各種類型單位的決策和發展提供支持。
中國鄉村發現網轉自:新三農研究(頭條號)
(掃一掃,更多精彩內容!)