【關於這個職位】你將設計與維護資料管線(data pipelines)、建立同時供產品與 AI 使用的資料模型,並打造讓 AI Agent 能可靠查詢、推理與操作公司資料的基礎架構。工作範圍涵蓋資料擷取、品質監控、語意層(semantic layer)設計,以及 AI Agent 的資料介面。你的主要重點會放在資料層本身 —— 包括資料管線、資料模型、品質監控與語意基礎設施。但這個角色也會深入產品與機器學習領域,例如:- 建立 AI 產品功能- 探索與驗證 ML 方法- 將模型從研究階段推向正式上線目前我們尚未建立完整的 ML pipeline,因此我們希望找到一位足夠好奇、願意探索可能性、找出適合我們問題的方法,並協助從零開始建立這項能力的人。不是所有嘗試第一次都會成功,而這完全沒問題。我們正在尋找一位能高度自主工作的人:能定義問題、評估方案、做出取捨決策,並真正把產品交付出去。【我們正在打造什麼】大多數公司都會在產品資料庫、分析工具與手動報表之間累積大量資料,最終卻面臨:- 指標定義不一致- 商業邏輯不清楚- 重複的人工流程- 關鍵知識只存在於少數人的腦中而我們正在解決這個問題。我們的工作橫跨四個層次:1. 可信資料(Trusted Data):擷取、清理、監控資料,讓資料可靠可信。2. 定義完善的資料(Defined Data):將原始資料轉換成有良好文件化的資料集、指標與商業定義。3. 商業脈絡(Business Context):保存讓資料有意義的領域知識、規則與假設。4. AI 工作流程(AI Workflows):將上述所有內容整合進 AI Agent、自助分析與實際可用的自動化流程中。你將主要參與第 1–3 層,並隨著對業務理解增加,逐步深入第 4 層。AI 並非只是概念驗證(demo)而已。我們正在正式推出 AI Agents,用來:- 回答商業問題- 自動化報表- 協助營運決策【主要職責】- 設計、建立與維護批次與串流資料管線,來源包含:資料庫、API、雲端儲存、Log、Event Streams- 建立與維護資料模型(raw / cleaned / curated),供以下用途使用:產品功能、報表、分析、AI 系統- 定義指標邏輯、資料品質規則與使用文件,讓人類與 AI 都能正確且有信心地使用資料。- 建立與維護語意描述、metadata 與 context layer,使 AI Agent 不只理解資料結構,更理解資料意義。- 設計供 AI Agent 查詢的資料介面與 API,確保穩定性、可解釋性、結果正確性- 調查資料異常與不一致問題,找出根本原因,並建立可持續的預防與監控機制。- 與產品、商務與工程團隊合作,對齊資料定義並交付關鍵資料資產。- 建立或延伸 AI 產品功能,例如:Agent workflow、推薦邏輯、自動化報表- 研究、原型開發與評估 ML 方法,解決真實商業問題,並將有潛力的方法投入生產環境。由於我們正在建立這項能力,你也將參與定義它未來的樣貌。【必備資格】〔工程深度 Engineering Depth〕我們更重視你的思考方式,而不是你會哪些工具。你應該能從第一原理(first principles)出發設計資料系統,例如:1. 對儲存模型、索引設計、查詢最佳化與反正規化(denormalization)做合理取捨2. 理解分散式資料系統中的:一致性(consistency)、分區(partitioning)、故障模式(failure modes)、傳輸保證(delivery guarantees)3. 能分析效能瓶頸,例如:記憶體、concurrency、I/O、網路問題,而不是只靠猜測反覆重試。4. 能熟悉操作:雲端基礎架構、容器化工作負載、CI/CD pipeline〔AI 與 ML 能力〕1. 有為 AI / ML 準備資料的經驗,例如:feature store, semantic layer, prompt-driven data interface, AI agent data backend2. 理解 AI 系統如何消費與推理結構化資料,以及資料層不可靠時會造成哪些問題。3. 至少具備以下其中一項實務經驗:- 為 AI Agent 建立 data API- 設計 semantic / context layer- 支援 LLM-powered analytics- 推出 AI-enabled data product4. 能閱讀 ML 論文、評估方法,並自行實作可運作的解決方案。你不一定需要 ML 研究背景或發表過論文,但應該能從:「這是一個問題」走到「這是一個可運作的 prototype」〔判斷力與 Ownership〕1. 能在資訊不完整時有效工作:先定義可行版本、明確說明假設、持續迭代2. 能評估多種方案並解釋設計選擇背後的理由。3. 主動溝通:分享進度、提前提出阻礙、向非技術人員解釋技術決策4. 能主動發現下一個高價值任務,而不是等待指示。5. 願意在需要時支援相鄰領域:backend service、internal tooling、prototype 開發〔加分條件〕1. 有 modern data platform / lakehouse 架構經驗,例如:Databricks、Snowflake、BigQuery2. 熟悉 Spark、Delta Lake、dbt、Airflow,或類似 orchestration / transformation 工具3. 有資料觀測性(observability)、lineage、品質監控與 governance 經驗。4. 有推出以下產品的經驗:AI Agent、RAG 系統、LLM-powered application(且以結構化資料為基礎)5. 有新創公司或小型工程團隊工作經驗。
5 years of experience required
No management responsibility