推論系統工程師

我們正在尋找具備獨立研究與系統規劃能力的 AI 推論系統工程師，專注於設計高效能且可擴展的大型模型推論系統 (如 LLMs、多模態模型)。你將研究並整合最先進的推論技術 — 包含 KV Cache 管理、批次策略、延遲與吞吐平衡 — 並在分散式 GPU 平台上開發高效能推論系統。

工作內容

• 設計並實作可擴展的大型語言模型與多模態模型推論系統
• 研究與最佳化 KV Cache 管理、批次處理、排程與記憶體策略
• 設計延遲與吞吐量平衡的推論服務機制
• 整合分散式服務框架 (如 Kubernetes、Docker Swarm、Ray)，並最佳化 GPU 資源使用
• 持續關注並導入最新推論技術、系統架構與開源解決方案

必備條件

• 具備高效能推論或 Serving 系統設計經驗
• 熟悉 LLM / 多模態模型 Serving 相關概念，包含 KV Cache 與批次策略
• 具備 Kubernetes、Docker Swarm、Ray 或類似分散式系統開發經驗
• 具備獨立研究與系統規劃能力，能適應新創快速變動的環境

加分條件

• 有 Stable Diffusion 優化或大規模模型 Serving 經驗
• 熟悉延遲感知排程與動態批次處理技術
• 有開源 Serving 框架或分散式系統貢獻經驗

請將履歷寄至 contact@unieai.com。