Sep 2021 - Present
一、分散式數據分析平台建置與最佳化:設計、開發並最佳化基於 Apache Spark 生態系統的分散式計算環境,提升巨量精算數據處理速度。
二、精算應用程式轉譯與整合:開發程式語言轉譯器,將傳統精算套裝軟體語法轉換為 Spark 可執行程式碼,實現大數據分析流程無縫銜接。
三、巨量資料比對與驗證:規劃並實施巨量精算現金流資料比對策略,利用 SparkSQL 大幅提升比對效率,確保數據準確性。
四、AIGC 技術導入與應用:負責部門 AIGC 應用規劃,探索並實踐多項應用,如影音摘要、文獻翻譯摘要、程式碼檢查、快速建置小程式等。
五、自動化測試框架建構:建立高效能 UI 自動化測試框架,整合 Selenium IDE、Appium、WinAppDriver 及 Jenkins,實現 CI/CD 流程。
六、Log 伺服器系統群建置:建置集中式 Log 伺服器系統群,利用 Syslog-ng、Elasticsearch 及 Kibana 實現 Log 數據的實時收集、索引、搜索、監控與視覺化分析。
七、資料治理與數據字典建立:擔任部門資料管理師,建立並維護標準化數據字典,最佳化資料治理流程,促進跨部門溝通協調。
八、專利申請:協助部門進行新型專利申請,負責撰寫申請文件底稿、流程圖,並與專利公司溝通,成功取得專利證書。
九、Redmine 系統模組改良:修改 Redmine 系統,符合特定應用需求(如密碼複雜度),並設定公司 LDAP 登入。
十、AWS AI應用實驗:主要應用Amazon Bedrock的AI Agent與Knowledge Base,結合S3與vector store(OpenSearch & Aurora),進行限定資料的知識萃取與應用,以及設定合理的IAM權限予合作小隊夥伴。
※執行專案內容:
1.分散式數據分析環境建置
專案角色: 架構師 & 開發工程師
開發語言/工具: Python3 / SQL / Apache Spark / Hadoop (Yarn, Hive, HDFS) / PostgreSQL with Patroni / Redis / Apache Zeppelin / NVIDIA Rapids / Docker
專案內容:
建置 Spark 生態系及倉儲管理系統,負責整體設計開發與效能最佳化。
採用 Spark on Yarn 架構,大幅提升精算現金流資料處理速度。
使用 HDFS、Parquet、PostgreSQL 高可用性集群 (Patroni) 及 Redis 緩存數據。
以 Apache Zeppelin 為平台,提供互動式數據探索、模型實驗及結果視覺化環境。
進行 Spark on GPU (NVIDIA Rapids) 實驗,驗證可行性。
2.套裝精算應用程式語法轉譯至 Spark 系統
專案角色: 語言工程師 & 轉譯器開發工程師
開發語言/工具: C# / Antlr4 / Apache Spark / .NET for Apache Spark
專案內容:
將精算套裝軟體重寫為可直接轉譯為 Spark 批量運算程式的應用程式。
採用 ANTLR4 構建專用語法的 lexer 與 parser,精準解析原始程式邏輯。
基於 ANTLR4 的 visitor 模式,開發 C# 轉譯器,將 AST 轉換為 Spark SQL 或 DataFrame API 可執行程式碼。
3.巨量精算現金流資料比對
專案角色: 系統工程師 & 數據工程師
開發語言/工具: C# / SQLite3 / SparkSQL / Apache Spark
專案內容:
負責資料倉儲、比對策略規劃和比對程式與 SQL 開發。
初期使用 SQLite3 和 C# 進行比對,後遷移至 SparkSQL 平台,大幅提升效率。
4.規劃部門應用 AIGC 技術與初步實踐
專案角色: AIGC 技術規劃 & AIGC 應用開發 POC
開發語言/工具: Python / Langchain / ChatGPT API (包含 Whisper)
專案內容:
擔任全精算體系 AIGC 應用規劃主責,協助部門規劃 AIGC 技術應用。
開發多項 AIGC 應用,如影音摘要、文獻翻譯摘要、程式碼檢查、快速建置小程式等。
提出未來內部自建應用規劃,如自動問答系統、智能推薦等。
5.建構高效能 UI 自動化測試框架
專案角色: 策略規劃 & 開發工程師
開發語言/工具: Selenium IDE / Appium / WinAppDriver / Jenkins
專案內容:
利用 Selenium IDE、Appium 和 WinAppDriver 錄製測試腳本。
整合測試套件與 Jenkins 等 DevOps 工具,實現 CI/CD 流程。
6.建立 Log 伺服器系統群,實現集中管理分析
專案角色: 系統工程師 & 數據工程師
開發語言/工具: Syslog-ng / Elasticsearch / Kibana / Docker
專案內容:
建立完整的 Log 伺服器系統群,達成 Log 實時收集、索引、搜索與監控。
使用 Syslog-ng、Elasticsearch 和 Kibana 實現 Log 數據的收集、搜索、視覺化與分析。
7.部門資料治理與數據字典建立
專案角色: 資料管理師
專案內容:
建立並維護部門所有資料表的標準化數據字典。
與各部門溝通協調,統一資料定義,解決資料共享與整合問題。
協助完善資料治理流程,提升資料管理效率。
8.專利申請
專案角色: 專利工程師
專案內容:
協助部門進行新型專利申請,已獲證書。
負責撰寫申請文件底稿與流程圖,並與專利公司溝通。
核心技術為透過 email 溝通達成自動化表單合併。
9.Redmine 系統模組改良
專案角色: 策略規劃 & 開發工程師
開發語言/工具: Ruby / HTML / Git
專案內容:
改寫 Redmine 系統,符合特定應用需求(如密碼複雜度)。
設定公司 LDAP 登入。
10.精算任務於AI應用實驗(by AWS):
專案角色: Infra建置 & 策略規劃 & 開發工程師
開發語言/工具: Amazon Bedrock / Amazon Aurora Amazon / OpenSearch Serverless / Amazon S3 / Amazon IAM
專案內容:
應用Amazon Bedrock的AI Agent與Knowledge Base(vector store: OpenSearch & Aurora),結合S3,進行精算師基礎工作數位孿生的應用。