ArcGIS Pro與FME結合深度學習提取正射影像興趣點

專案需求:

統計14。7平方公里範圍內的農房屋頂的太陽能熱水器以及已安裝的光伏發電板的數量及位置分佈等資訊。

使用軟體:

ArcGIS Pro 2。8 + FME

使用的資料:

正射影像圖(M300+P1作業,航高240m,智圖出圖)

先說結論:

深度學習模組對太陽能熱水器提取的準確率為94。3%(分佈見圖1),經FME篩選後準確率提升至99。08%;光伏發電板的識別的準確率不是太理想。

ArcGIS Pro的“深度學習”模組是檢測影象中的特定要素以及對柵格資料集中的畫素進行分類的新增功能,下面我結合本專案,使用該功能提取正射影像上的目標地物。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

第一階段:準備訓練資料

在做深度學習自動識別之前,首先需要訓練深度學習模型,使用

工具選項卡——影像——分類工具——標註物件以供深度學習使用

,進行以下步驟的操作:

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖2

訓練階段主要的人工工作量是在訓練區域內完整、精確的分類採集地物,具體到本專案就是熱水器和光伏板,在圖2所示的流程中,新建分類方案(步驟1),這裡給熱水器賦值1、光伏板賦值2,然後在新建的方案下采集資料(步驟2、3、4),這個過程類似於向量化目標地物+欄位賦值。這裡我採集了0。3平方公里範圍內的10處光伏板和148個太陽能熱水器,採集耗時大概一個多小時(圖3)。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖3

採集完訓練資料後可以執行圖2中的步驟5匯出採集的shp資料備用,接下來執行步驟6,匯出訓練的資料,其分類成果預設存放在

……工程資料夾\標註物件

資料夾中,成果包含以下幾個部分:

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖4

images資料夾是所有的人工採集的訓練資料的切片,所有的地類影像切片存放在這個資料夾內。label資料夾是按照地類分別存放的掩膜資料夾,本次目標提取熱水器和太陽能光伏板兩個地類,在掩膜資料夾內分別存放。

影像切片和掩膜的名稱、座標保持一一對應的關係,如圖5所示。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖5

將影像切片和對應的掩膜在GIS裡面同時載入,可以看到太陽能熱水器的影像切片在掩膜的分割下與其他地物明顯隔開(圖6)。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖6

第二階段:訓練模型

這一步是把上一階段目標地物提取資料用來訓練深度學習模型,使用工具:

工具箱——影像分析工具(Image Analyst)——深度學習——訓練深度學習模型

(圖7)。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖7

訓練完畢之後,目錄結構如圖8,最主要的是 DLPK(Deep learning package)和 EMD 結果(訓練模型),model_metrics。html檔案和ModelCharacteristics資料夾都是描述模型精度的反饋檔案。

圖8

這裡我們看一下本次的精度報告(下圖9):

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖9

主要的精度指標是Average Precision Score,該數值是軟體根據驗證集得出的理論上的分數,這個值介於0和1之間,數值越高代表可靠程度越高。有上圖9可見,該模型識別熱水器準確率是0。966666,識別光伏板準確率是1,理論精度還是比較高的,我在後續階段將對其準確率進行驗證。

第三階段:識別提取資料

這一階段就是把已經訓練好的模型應用於識別作業區域的目標地物,使用工具:

工具箱——影像分析工具(Image Analyst)——深度學習——使用深度學習檢測物件

(圖10)。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖10

識別成果預設名稱是“result_DetectObjectsUsingDee”,它作為資料集存貯在專案工程資料夾內的資料庫中。載入資料後可見,在14。7平方公里的範圍內,機器一共識別了1893個目標地物。識別的成果使用Class欄位和Confidence欄位來表達每一個向量成果的類別和可信度(圖11),這極大的方便了後續對資料的質檢。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖11

接下來分別詳細地分析光伏板和熱水器的資料。

一、光伏板:

機器一共識別了134處光伏板,但是經過仔細的檢視,發現數據問題比較大,主要存在遺漏、互相壓蓋、邊緣不準確等情況(圖12)。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖12

我個人把上述問題出現的原因總結如下:

1、遺漏——在訓練的時候,設定了只提取準確度在95%以上的識別成果,Confidence欄位數值低於95的將被捨棄,這裡明顯是閾值設定的過高導致的;

2、互相壓蓋——這個主要是由影像切片尺寸過小引起;

3、邊緣不準確——這點是由訓練樣本不足的情況引起的,在0。3平方公里的訓練資料庫中只提取了10片光伏板,不足以支撐其識別大面積範圍內形狀、顏色各異的光伏板。

二、熱水器:

機器一共識別了1387個太陽能熱水器,經過仔細核驗,識別成果整體比較準確,但是存在資料誤判的情況——在村莊之外的農田裡識別出了熱水器。結合RCNN識別的原理,不難發現這種錯誤的產生是因為在柵格影像圖上個別物體的形狀以及明暗變化與熱水器儲水器-真空管非常相似(圖13)。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖13

經人工統計,1387個熱水器地物中有79個錯誤,佔比5。7%,機器直接識別的準確率為94。3%,稍微低於訓練模型預期的96。67%的理想精度。

階段性總結:

尺寸幅度相差較大的不同地物不適合放在一個模型裡一起訓練

訓練的樣本數量及質量直接決定了識別成果的準確性

第四階段:最佳化

不同於光伏板識別資料很難補救的局面,熱水器識別的準確率還是比較高的,針對錯誤地物的情況,本人設計了兩個思路剔除錯誤物件:

1、透過位置篩選出位於村莊內的熱水器,這個比較簡單直接,但是對於位於村莊範圍的錯誤無能為力,最佳化程度有限;

2、透過高程值篩選剔除地表的錯誤地物,測區位於蘇北一馬平川的平原,地表起伏程度極小,考慮到熱水器普遍安裝在屋頂的特性,結合DEM資料可以有效剔除地面的錯誤物件,最佳化效果較好。

最終決定採用方案2的思路,使用FME工具提取高程值,流程見圖14。

ArcGIS Pro與FME結合深度學習提取正射影像興趣點

圖14

當地地表高程5m,將高程值介於5m-7m之間的地物提取出來,累計提取地物71個,其中錯誤物件67個、熱水器4個,剩餘的1316個地物中還剩12個非熱水器地物,準確率提升至99。08%,滿足預期目標。

備註:耗時與機器效能正相關,本專案使用的電腦配置GTX 1060 6GB 顯示卡。

作者:張志文,陳超

公司:江蘇遠途空間資訊科技有限公司

- END -