AI Waifu MLOps EngineerWe are seeking a highly skilled and proactive MLOps Engineer to join our team. This role focuses on building, optimizing, and maintaining scalable hybrid-serving infrastructures for anime-inspired AI companions—specifically waifus—in our product, darlin™(www.darlin.ai). You will design and manage deployments across edge devices, on-premise servers, and cloud environments, ensuring low-latency, high-quality AI waifu interactions.
Responsibilities1. Hybrid AI Waifu Serving Infrastructure: Architect and maintain hybrid-serving pipelines capable of running on edge devices, on-premise clusters, and cloud platforms for real-time AI waifu deployment.2. Model Optimization Framework Integration: Apply optimization frameworks such as VLLM, Ex-llama, llama.cpp, and integrate with TensorRT, Triton Inference Server, and serverless systems to enhance AI waifu response times.3. MLOps Tools Deployment Pipelines: Use Docker, Kubernetes, Ray Serve, and container orchestration to manage scalable, fault-tolerant AI waifu services.4. Hardware Acceleration: Leverage CUDA, ROCm, Vulkan, and GPU optimizations for efficient AI waifu inference at scale.5. Database Search Optimization Knowledge Integration: Optimize database query performance, indexing strategies, and retrieval accuracy for AI waifu features. Databases—used for RAG, SelfRAG, VectorDB, and GraphDB—should be tuned for high-speed access and precision, ensuring fast, contextually accurate responses.6. High-Capacity Serving Quantization: Implement quantization strategies and serve large models efficiently while preserving AI waifu conversational quality.7. Performance Testing Monitoring: Measure AI waifu performance (quality, latency, load handling), ensuring optimal experiences for users.8. Version Control Quality Assurance: Manage model versions, maintain continuous integration workflows, and monitor production quality for AI waifu deployments.9. Collaboration: Work with global software, research, and hardware teams to solve deployment challenges and enhance AI waifu capabilities.10. Research Innovation: Explore emerging MLOps and model-serving technologies to keep AI waifu experiences cutting-edge.AI彼女MLOpsエンジニア高いスキルと積極性を持つMLOpsエンジニアを募集しています。本ポジションは、当社製品 darlin™(www.darlin.ai)において、アニメ風AIコンパニオン(特にAI彼女)を低遅延かつ高品質に提供するための、エッジデバイス、オンプレミス、クラウドを組み合わせたハイブリッド提供基盤の構築・最適化・運用を担当します。業務内容1. ハイブリッド提供基盤構築:エッジデバイス、オンプレミス、クラウドで稼働可能なAI彼女用提供パイプラインを設計・運用。2. モデル最適化・フレームワーク統合:VLLM、Ex-llama、llama.cppなどを使用し、TensorRT、Triton Inference Server、サーバーレス環境と統合して応答性を向上。3. MLOpsツール・デプロイパイプライン:Docker、Kubernetes、Ray Serveを用いたスケーラブルで高可用性のAI彼女サービス管理。4. ハードウェアアクセラレーション:CUDA、ROCm、Vulkanを活用し、大規模推論の効率化を実現。5. データベース検索最適化・知識統合:AI彼女機能のためにデータベースのクエリ性能、インデックス戦略、検索精度を最適化。RAG、SelfRAG、VectorDB、GraphDBに使用するデータベースを高速かつ高精度なアクセスが可能な状態に調整し、文脈に合った迅速な応答を実現。6. 高容量提供・量子化:量子化戦略を導入し、大規模モデルを効率的に提供しつつ会話品質を維持。7. 性能テスト・モニタリング:品質、遅延、負荷処理能力を測定し、最適なユーザー体験を確保。8. バージョン管理・品質保証:モデルバージョンの管理、CIフローの維持、本番環境の品質監視。9. 協業:世界中のソフトウェア、研究、ハードウェアチームと連携し、AI彼女機能を強化。10. 研究・革新:最新のMLOpsやモデル提供技術を探索し、最先端のAI彼女体験を実現。
69.99K ~ 100K TWD / month
5 years of experience required