Cake Job Search

公司介紹 我們是一家深耕金融科技與資料智能應用的技術團隊，正積極將 大型語言模型導入高風險、高標準的實際業務場景。不同於單純模型實驗，這裡更關注 AI 是否「可靠、可驗證、可長期運作」。 團隊由資深工程與資料背景成員組成，文化務實、重視工程品質，並持續投入 AI Safety、模型評測與自動化流程，打造能被真正信任的生成式 AI 系統。 工作內容 設計並開發 LLM / RAG 系統的自動化評測工具與流程 建立模型多維度評分機制（Accuracy、Relevance、Faithfulness、Consistency） 將評測流程整合至 CI/CD（Jenkins / GitLab CI），確保模型版本品質穩定 與業務及資料團隊合作，建立高品質 Golden Dataset 與 Synthetic Data 執行 Prompt Injection、Jailbreak 等 LLM 安全與紅隊測試 分析失敗案例，協助定位 Retrieval 或 Generation 問題，驗證修復成效 使用的技術 Python、Pytest / unittest LLM / RAG Framework：LangChain、LlamaIndex、Semantic Kernel 資料分析：Pandas、NumPy、Visualization Tools 評測框架：RAGAS、TruLens、DeepEval、Promptfoo（加分） CI/CD、Git Docker / Kubernetes（加分）

公司介紹 我們的客戶為台灣具指標性的大型金融機構，長期被市場視為金融科技與 AI 落地的領先者。近年在 Generative AI 領域投入大量資源，不僅推動多項 GenAI 旗艦方案，更成功將 AI 技術導入實際營運流程，建立可複製、可擴展的企業級應用模式。 本職缺隸屬於核心的轉型單位（約百人規模），高階長官具備資工博士級背景，組織定位關鍵、決策鏈短，並直接影響 AI 產品是否能安全、穩定地交付給最終客戶。 職務說明 我們正在尋找一位 AI 模型主管，從零建立企業級 AI 品質與評測體系。 你將擔任 AI 產品上線前的 「守門員（Gatekeeper）」，全權負責 LLM、RAG 與 ML 系統的評測標準、發布流程與風險控管，平衡模型效能、安全性與合規性，對產品能否正式上線具有關鍵影響力。 工作內容 一、AI 評測策略與框架建立 從零打造企業級 AI 評測架構，定義 LLM / RAG / ML 系統的核心評估指標 評測面向涵蓋：準確率、相關性、真實性（Faithfulness）、一致性（Consistency） 將 Responsible AI 原則納入驗收標準（公平性、偏見、可解釋性） 推動評測流程自動化，並與 MLOps / CI-CD 深度整合 二、基準測試與資料治理 規劃並管理 Golden Dataset，涵蓋關鍵業務流程、Edge Cases 與對抗性樣本 追蹤並評估主流評測工具與方法（如 RAGAS、DeepEval、Arize Phoenix） 建立模型版本間可比較、可追蹤的 Benchmark 體系 三、AI 安全與紅隊演練 建立 AI 安全防護與風險驗證機制 主導 LLM 紅隊演練（Red Teaming） 制定並驗證 Prompt Injection、Jailbreaking、PII 洩露等風險的防禦與壓力測試標準 四、跨部門協作與團隊領導 與演算法、後端工程、產品團隊密切合作，建立錯誤分析回饋迴圈 針對生產環境 Bad Cases 進行 RCA，提出 Fine-tuning / Prompt Engineering 優化建議 負責團隊培育、流程標準化與評測文件制度建立

我們深信 AI 的力量，致力於協助企業客戶創造卓越的內容。我們的目標是打造全球性的產品，迎接從 1 到 100 的挑戰。透過以 NLP 演算法為核心的系統，我們能快速整理資訊並轉換成多樣化的內容形式。我們相信 AI 將為內容創作帶來更多可能性。您將與一群志同道合的夥伴，一同參與內容產業的 AI 變革，打造高效且靈活的智慧內容產製系統。您將負責： 根據產品需求，提出演算法優化方案並設定評估方式。收集資料、研究論文與原始碼，並實作演算法。基於領域資料，優化並調整論文中的模型。與產品團隊合作，將開發的新技術部署至產品端。建立使用者回饋機制，設計資料回饋流程以持續優化模型。 福利： 彈性混合工作模式。優於勞基法的休假制度。績效獎金。年度健康檢查。