07/2020 - Sekarang
New Taipei, Banqiao District, New Taipei City, Taiwan
執行中央氣象署-人工智慧專案,負責機器學習專案執行規劃、模型開發、部署及維護。
1. 影像生成 - 降雨圖影像預測
- 以衛星頻道資料為輸入,將PERSIANN-CNN架構改寫並創建Autoencoder,修改為U-NET、DCGAN、VQVAE、DANET等架構。
- 採用Resblock、GhostBottleNeck、ConvNext等通用模組及注意力機制如StripPooling、MixedPoolingModule、SelectiveKernel。
- 在模型訓練時,運用1~3D卷積層與weight standardization進行權重分配。
- 使用Microsoft nni進行超參數調整,並搭配Explainable AI方法解析模型的訓練過程。
- 此專案文獻於2022年已刊登於美國氣象協會,預計將於2024年投稿至JAXAIPWG11th Workshop of International Precipitation Working Group(IPWG-11),此階段產品已較前作增加了22%的準確度,並減少了70%的RMSE
2. 影像生成 - 空軍雷達圖影像預測
- 使用向日葵8號衛星資料作為輸入,預測未來10分鐘的降雨分布圖
- 已Autoencoder架構為主,使用2D, 3D的卷積層、通用模組及注意力機制
適當插入於模型中
- 調整訓練、模型設置的超參數,以達到最佳訓練效果
3. 圖形辨識 - 颱風強度偵測
- 進行颱風雲圖的接收以及輸出估計的颱風強度
- 透過多輸入的自編碼架構,以Softmax Regression作為主要分類與回歸模型,並整合通道注意力機制模組(SKNET)以優化表現
- 該模型在颱風強度偵測方面的準確度與其他傳統研究成果相近,並持續進行強化
4. 數值預測 - 系統監控與異常偵測
- 在系統監控與異常偵測領域,構建時序模型,預測主機狀態並即時通報異常
- 由特徵工程增加變數後,利用特徵檢定法如SelectKBest進行篩選
- 該模型經由與後端監控用agent及tracker整合後,準確度從50%提升至95%
5. 推薦系統 - 異常主機上下游關聯探索
- 關聯分析模型使用PyTorch Geometric構建圖神經網絡(GNN),將人際關係投射至系統中。
- 該模型在客戶環境部署後,可達到90%的準確度,有效找出異常來源的關聯主機並使用API與網頁端同步呈現該運算結果。
6. 數據分群 & 文字解析 - 錯誤訊息推薦系統
- 分群法使用聚類分析如:層次聚類、DBSCAN等。
- 使用NLP的前處理方法,讀取報告日誌,將英文、中文字訊息進行分詞、拆解、去除無用詞等,最後轉換為向量,再進行分群,提出可能解決方案。
7. 數值校正 - 小型專案,皆搭配automl工具實行(Optuna, TPOT)
- 太陽照射量數據校正,原始資料準確度約60%以下,經模型校正後準確度為92%
- 水位探測是異常檢測,準確度為94%
8. 自然語言處理 & 大型語言模型應用 - 產製預報文字
- 使用測站數值以及氣象資訊文字作為輸入,在進行前處理後,使用程式建立一連串可誘導LLM模型的對話內容,使輸出較固定的預報文字
- 將以NLP處理方法進行文字的前處理與數值上的配對
- 參考Google RAG的資訊探索方法,將正確資訊傳遞給IISI-INANA(CHAT-GPT),使其協助產製正確預報文字
9. 大型語言模型應用 - LLAMA開源模型應用
- 藉由huggingface將LLM模型(LLAMA2,Taiwan-LLaM)設置在本地環境中
- 搭配github開源的UI介面,將LLM導入供使用其聊天功能、文字產製
10. 建立、部屬、維護研發環境 - Docker、Anaconda
- 將完成專案打包並部屬至客戶環境中供使用
- 維持可使用NvidiaGpu及JupyterLab的開發環境