崗位職責(zé):
1.負(fù)責(zé)ai infra存儲方向性能分析,探索推理框架kv
ca
che與存儲系統(tǒng)的深度集成,優(yōu)化大模型推理性能;
2.推動存儲與大模型加速相關(guān)的生態(tài)建設(shè),包括接口標(biāo)準(zhǔn)化和系統(tǒng)間互操作性,
設(shè)計和實施ai infra中kv
ca
che和存儲的軟硬結(jié)合解決方案;
3.負(fù)責(zé)持續(xù)跟進(jìn)llm前沿技術(shù)和開源方案,結(jié)合存儲完成場景化分析,并落地存儲
產(chǎn)品,提升存儲智能化競爭力。
職位要求:
1.計算機(jī)科學(xué)、軟件工程或相關(guān)專業(yè),有ai工程優(yōu)化經(jīng)驗;
2.熟悉主流aig
c算法模型原理,熟悉llm/
cv/nlp/推薦系統(tǒng)等業(yè)務(wù)場景的系統(tǒng)和原理;
3.熟悉業(yè)界常用的大語言模型推理加速框架,如vllm.tensorrt-llm、or
ca、llama.
cpp等;
4.具備分布式系統(tǒng)的研發(fā)經(jīng)驗,有優(yōu)化系統(tǒng)性能問題的能力和經(jīng)驗,有以下一個或者多個條件者優(yōu)先:
1)有超大規(guī)模模型研發(fā)經(jīng)驗,涉及
數(shù)據(jù)、訓(xùn)練、部署、評估等相關(guān)工作;
2)具有大規(guī)模模型服務(wù)部署、優(yōu)化經(jīng)驗;
3)了解主流llm模型,熟悉tensorrt-llm、or
ca、vllm并有l(wèi)lm模型訓(xùn)推加速經(jīng)驗;
4)熟悉主要云廠商的ai infra解決方案,有分布式計算和存儲項目經(jīng)驗。