Pinned Loading

1. NetEase-Media/grps NetEase-Media/grps Public

   【深度学习模型部署框架】支持tf/torch/trt/trtllm/vllm以及更多nn框架，支持dynamic batching、streaming模式，支持python/c++双语言，可限制，可拓展，高性能。帮助用户快速地将模型部署到线上，并通过http/rpc接口方式提供服务。

   C++ 147 13

2. NetEase-Media/grps_trtllm NetEase-Media/grps_trtllm Public

   【grps接入trtllm】通过接入TensorRT-LLM以及Tokenizers.cpp实现纯c++版本高性能LLM服务，兼容OpenAI接口协议，支持chat和function call模式，支持ai agent。

   C++ 43 1

3. ai-painter-wx-miniprogram ai-painter-wx-miniprogram Public

   tensorflow跑在微信小程序上，实现AI识别简笔画，AI绘画。

   JavaScript 32 13

4. model-optimizer model-optimizer Public

   各类深度模型的优化器，包括tvm、tf-tensorrt、tensorrt等。

   Python 9

5. k8s-yaml k8s-yaml Public

   常见kubernetes资源yaml模板

   8 9

6. my_trt_plugin my_trt_plugin Public

   实现自己的tensorrt算子

   C++ 2 1