Cake Job Search

公司介紹 我們是一家深耕金融科技與資料智能應用的技術團隊，正積極將 大型語言模型導入高風險、高標準的實際業務場景。不同於單純模型實驗，這裡更關注 AI 是否「可靠、可驗證、可長期運作」。 團隊由資深工程與資料背景成員組成，文化務實、重視工程品質，並持續投入 AI Safety、模型評測與自動化流程，打造能被真正信任的生成式 AI 系統。 工作內容 設計並開發 LLM / RAG 系統的自動化評測工具與流程 建立模型多維度評分機制（Accuracy、Relevance、Faithfulness、Consistency） 將評測流程整合至 CI/CD（Jenkins / GitLab CI），確保模型版本品質穩定 與業務及資料團隊合作，建立高品質 Golden Dataset 與 Synthetic Data 執行 Prompt Injection、Jailbreak 等 LLM 安全與紅隊測試 分析失敗案例，協助定位 Retrieval 或 Generation 問題，驗證修復成效 使用的技術 Python、Pytest / unittest LLM / RAG Framework：LangChain、LlamaIndex、Semantic Kernel 資料分析：Pandas、NumPy、Visualization Tools 評測框架：RAGAS、TruLens、DeepEval、Promptfoo（加分） CI/CD、Git Docker / Kubernetes（加分）

公司介紹 我們的客戶為台灣具指標性的大型金融機構，長期被市場視為金融科技與 AI 落地的領先者。近年在 Generative AI 領域投入大量資源，不僅推動多項 GenAI 旗艦方案，更成功將 AI 技術導入實際營運流程，建立可複製、可擴展的企業級應用模式。 本職缺隸屬於核心的轉型單位（約百人規模），高階長官具備資工博士級背景，組織定位關鍵、決策鏈短，並直接影響 AI 產品是否能安全、穩定地交付給最終客戶。 職務說明 我們正在尋找一位 AI 模型主管，從零建立企業級 AI 品質與評測體系。 你將擔任 AI 產品上線前的 「守門員（Gatekeeper）」，全權負責 LLM、RAG 與 ML 系統的評測標準、發布流程與風險控管，平衡模型效能、安全性與合規性，對產品能否正式上線具有關鍵影響力。 工作內容 一、AI 評測策略與框架建立 從零打造企業級 AI 評測架構，定義 LLM / RAG / ML 系統的核心評估指標 評測面向涵蓋：準確率、相關性、真實性（Faithfulness）、一致性（Consistency） 將 Responsible AI 原則納入驗收標準（公平性、偏見、可解釋性） 推動評測流程自動化，並與 MLOps / CI-CD 深度整合 二、基準測試與資料治理 規劃並管理 Golden Dataset，涵蓋關鍵業務流程、Edge Cases 與對抗性樣本 追蹤並評估主流評測工具與方法（如 RAGAS、DeepEval、Arize Phoenix） 建立模型版本間可比較、可追蹤的 Benchmark 體系 三、AI 安全與紅隊演練 建立 AI 安全防護與風險驗證機制 主導 LLM 紅隊演練（Red Teaming） 制定並驗證 Prompt Injection、Jailbreaking、PII 洩露等風險的防禦與壓力測試標準 四、跨部門協作與團隊領導 與演算法、後端工程、產品團隊密切合作，建立錯誤分析回饋迴圈 針對生產環境 Bad Cases 進行 RCA，提出 Fine-tuning / Prompt Engineering 優化建議 負責團隊培育、流程標準化與評測文件制度建立

【生成式AI IT培訓師】 負責舉辦內部IT生成式AI推廣教育，涵蓋基本概念及應用平台開發 提供內部各系統IT串接生成式AI的技術支援 設計與執行教育訓練課程，並進行相關的溝通與協調 熟悉IT系統與生成式AI整合方法，並提供技術支援 展現優秀的問題解決能力，並與團隊合作推動專案進展 【生成式AI 優化工程師】 分析使用者回饋和系統日誌，識別改進領域 優化RAG及Prompt以提升輸出的準確度和效率 研究新技術如RAG方法和LLM模型，並應用於專案中 進行資安評估，確保系統的安全性和合規性 獨立進行需求收集和分析，並進行相關的溝通與協調 熟悉軟件開發生命週期和敏捷開發方法，並應用於專案管理 展現良好的溝通能力和團隊合作精神，推動專案進展