日日操狠狠干,91精品91久久久中77777,精品视频一区二区三区四区五区,伊人婷婷网,久久久国产一区二区三区四区,久久久久久久久久久97,欧美图片区综合免费

1、研發(fā)分布式訓(xùn)練加速方案，優(yōu)化ZeRO/FSDP/Pipeline并行策略，提升千億參數(shù)模型訓(xùn)練吞吐量；

2、設(shè)計混合精度訓(xùn)練與顯存優(yōu)化方案，開發(fā)自適應(yīng)梯度壓縮、通信優(yōu)化模塊，實現(xiàn)單卡訓(xùn)練模型規(guī)模提升和降低分布式訓(xùn)練通信開銷

開發(fā)量化壓縮工具鏈（支持GPTQ/AWQ等算法），實現(xiàn)模型8/4-bit無損量化部署；

3、設(shè)計多GPU推理調(diào)度策略，優(yōu)化顯存碎片管理與計算資源利用率；

4、跟進vLLM/TensorRT-LLM/SGLang等前沿框架，探索MoE架構(gòu)/稀疏化訓(xùn)練等新型范式，將最新學術(shù)成果快速落地到工程實踐。

職位要求：

1、計算機科學/人工智能方向碩士及以上，3年LLM系統(tǒng)優(yōu)化經(jīng)驗；

2、精通PyTorch/TensorFlow框架底層機制，具備CUDA/C 內(nèi)核開發(fā)能力；

3、掌握Megatron-LM/DeepSpeed/HuggingFace生態(tài)核心原理；

4、有千億參數(shù)模型訓(xùn)練優(yōu)化或百萬QPS推理服務(wù)落地經(jīng)驗；

5、熟悉NVIDIA GPU架構(gòu)與性能分析工具；

6、熟悉大模型推理服務(wù)架構(gòu)設(shè)計與微服務(wù)化部署。