AI Infra in Rust

AI 基础设施相关的 Rust 社区生态索引。

标签建议

相关入口

收录
AI Infra 索引（Base）

filters:
  and:
    - file.inFolder("GitHub")
    - 'file.ext == "md"'
    - or:
        - 'language == "Rust"'
        - file.hasTag("github/language/rust")
    - or:
        - 'file.tags.join(",").lower().contains("github/topic/ai")'
        - 'file.tags.join(",").lower().contains("github/topic/llm")'
        - 'file.tags.join(",").lower().contains("github/topic/llmops")'
        - 'file.tags.join(",").lower().contains("github/topic/ai-")'
        - 'file.tags.join(",").lower().contains("github/topic/ml")'

formulas:
  repo_link: 'link(url, file.basename)'

properties:
  formula.repo_link:
    displayName: "Repo"
  description:
    displayName: "Description"
  url:
    displayName: "URL"
  owner:
    displayName: "Owner"
  stars:
    displayName: "Stars"
  language:
    displayName: "Language"
  modified:
    displayName: "Modified"

views:
  - type: table
    name: "AI Infra (Rust)"
    order:
      - formula.repo_link
      - description
      - stars
      - owner
      - language
      - modified
      - url
序号 仓库名 所有者 URL 简介 语言 Stars 更新时间 应用场景 对标产品
1 ort pykeio Link Fast ML inference & training for ONNX models in Rust Rust 1,903 Jan 15, 2026 跨平台、硬件加速的机器学习模型推理与训练，支持 ResNet、YOLO、BERT、LLaMA 等模型在边缘设备或数据中心部署。 onnxruntime-rs (前身项目)、sonos/tract (纯 Rust ONNX 引擎)、huggingface/candle (轻量级 Rust 深度学习框架)
2 tokenizers huggingface Link 💥 Fast State-of-the-Art Tokenizers optimized for Research and Production Rust 10,404 Jan 19, 2026 自然语言处理（NLP）的前置处理，包括大语言模型（LLM）的训练与推理数据准备。典型场景：模型分词、词表训练、跨平台部署（WASM/移动端）、Agent 文本处理、数据流水线预处理。 Google SentencePiece, OpenAI tiktoken, Microsoft ONNX Runtime Extensions (Tokenizer)
3 async-openai 64bit Link Rust library for OpenAI Rust 1,731 Jan 11, 2026 Rust 异步 SDK，适用于开发 LLM 应用、AI Agent、CLI 工具或后端服务；支持 Chat、Assistants (v2)、Audio、Embeddings、Images、Realtime、Batch 及 Admin 管理等全套 OpenAI API，并兼容 Azure OpenAI 及 Ollama 等兼容协议。 openai-api-rs (dongri/openai-api-rs), openai-dive (pablopunk/openai-dive), rig (0thtachi/rig)
4 code2prompt mufeedvh Link A CLI tool to convert your codebase into a single LLM prompt with source tree, prompt templating, and token counting. Rust 7,052 Jan 19, 2026 Context Engineering（上下文工程）、LLM 代码辅助开发、自动化代码审查（PR/Commit 分析）、AI Agent 代码摄入框架（MCP 服务）、代码重构与文档自动生成。 Repomix, gpt-repository-loader, GitIngest, repo2file
5 dynamo ai-dynamo Link A Datacenter Scale Distributed Inference Serving Framework Rust 5,800 Jan 20, 2026 数据中心级分布式推理服务框架。适用于生成式 AI 与推理模型的推理、多节点分布式部署、KV 缓存路由、预填充与解码解耦（Disaggregated Serving）、多模态推理及 Agent 架构集成。 vLLM, SGLang, Triton Inference Server, LMDeploy
6 burn tracel-ai Link Burn is a next generation tensor library and Deep Learning Framework that doesn't compromise on flexibility, efficiency and portability. Rust 14,046 Jan 19, 2026 高性能模型推理与训练、边缘计算与嵌入式部署（支持 no_std）、Web 浏览器端推理（Wasm/WebGPU）、大语言模型（LLM）推理加速（通过 Burn-LM）、跨硬件平台 AI 应用（兼容 CUDA, ROCm, Metal, Vulkan 等后端）。 Hugging Face Candle, tch-rs (PyTorch bindings for Rust), dfdx (Rust deep learning library)
7 lance lance-format Link Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB, Polars, Pyarrow, a… Rust 5,965 Jan 20, 2026 多模态 AI 湖仓格式，适用于大规模 ML 训练（高性能 IO 与随机访问）、混合搜索（向量、全文检索、SQL）、多模态数据管理（图像、音视频、嵌入）及特征工程。 Apache Parquet, Apache Iceberg, TileDB, Meta Nimble
8 rust-sdk modelcontextprotocol Link The official Rust SDK for the Model Context Protocol Rust 2,847 Jan 19, 2026 高性能 MCP 服务端与客户端 SDK，适用于构建需要低延迟、高并发的 AI 工具集成（Tools）、资源共享（Resources）及提示词管理（Prompts）。支持 stdio、HTTP 流式传输、WASI 环境及 OAuth2 身份验证。常用于 Agent 框架集成（如 Rig）、桌面端自动化及高吞吐量的 AI 基础设施。 modelcontextprotocol/python-sdk, modelcontextprotocol/typescript-sdk, mcp-rust-sdk (Derek-X-Wang)
9 tiktoken openai Link tiktoken is a fast BPE tokeniser for use with OpenAI's models. Python 17,037 Oct 6, 2025 OpenAI 模型推理前的文本 Token 化与计数；RAG 系统中的长文本切分（Chunking）与上下文窗口管理；LLM 训练数据的预处理；Agent 框架（如 LangChain、LlamaIndex）中的 Token 成本预估；Web/边缘端的文本处理（通过 WASM） HuggingFace Tokenizers, Google SentencePiece, TokenDagger
10 openai-api-rs dongri Link OpenAI API client library for Rust (unofficial) Rust 474 Dec 29, 2025 Rust 异步 SDK，用于集成 OpenAI API（含 Chat, Assistants, Realtime, Embeddings, Image, Audio, Fine-tuning 等）及 OpenRouter 等兼容接口。 async-openai, openai-dive, genai
11 firecrawl firecrawl Link 🔥 The Web Data API for AI - Turn entire websites into LLM-ready markdown or structured data TypeScript 76,057 Jan 20, 2026 主要面向 AI 领域，用于将网页/网站转换为 LLM 友好的 Markdown 或结构化数据。典型场景包括：RAG（检索增强生成）系统的数据摄取、AI Agent 的实时网络搜索、销售管道的潜在客户信息富集、网站内容变更监控以及多模态 AI 训练数据收集。 Crawl4AI, Jina Reader (r.jina.ai), Tavily, Spider Cloud
12 rig 0xPlaygrounds Link ⚙️🦀 Build modular and scalable LLM Applications in Rust Rust 5,580 Jan 20, 2026 Rust 语言环境下的高性能、模块化 LLM 应用开发。适用于构建多轮对话 Agent、RAG（检索增强生成）系统、自动化工作流、合规性 LLM 监控，以及需要 WASM 支持的边缘部署场景。 LangChain (Python/JS), LlamaIndex (Python/JS), langchain-rust, llm-chain, Kalosm
13 refact smallcloudai Link AI Agent that handles engineering tasks end-to-end Rust 3,445 Jan 15, 2026 全流程 AI 软件工程助手，涵盖代码自动补全（基于 Qwen2.5-Coder 与 RAG）、智能重构、Bug 调试、单元测试生成、文档自动化，并支持基于自有代码库的 fine-tuning 训练、私有化部署及多工具集成的自主 Agent 流程。 GitHub Copilot, Cursor, Codeium, Continue.dev, Devin
14 harmony openai Link Renderer for the harmony response format to be used with gpt-oss Rust 4,140 Dec 15, 2025 专门为 OpenAI 的开源权重模型系列 (gpt-oss) 设计的响应格式渲染器与解析器。主要用于定义复杂的对话结构、生成思维链 (CoT) 推理输出、结构化函数/工具调用（包括内置的浏览器和 Python 工具）以及确保指令层级的一致性。适用于构建自定义推理方案、Agent 框架集成和本地大模型部署。 ChatML (OpenAI 早期格式), Llama 3.1 Chat Template, Anthropic Messages API format
15 crabml crabml Link a fast cross platform AI inference engine 🤖 using Rust 🦀 and WebGPU 🎮 Rust 464 Jan 4, 2025 主要用于跨平台（浏览器、桌面、服务器）的 AI 模型推理，支持 WebGPU 硬件加速与 SIMD 指令集优化（NEON, AVX2），适配 GGUF 格式的 Llama、Gemma、Mistral 等主流 LLM 模型。 llama.cpp, candle (Hugging Face), burn (Rust ML framework)
16 LlamaEdge LlamaEdge Link The easiest & fastest way to run customized and fine-tuned LLMs locally or on the edge Rust 1,583 Dec 23, 2025 边缘计算与本地 LLM 推理、OpenAI 兼容的 API 服务、多模态应用（RAG、语音转文字、文字转图像）、跨平台 AI Agent 框架、容器化 AI 部署（Docker/K8s 集成） Ollama, llama.cpp, LocalAI
17 uzu trymirai Link A high-performance inference engine for AI models Rust 1,413 Jan 19, 2026 针对 Apple Silicon 优化的高性能 LLM 推理引擎。典型应用场景包括：移动端/边缘端推理（iOS/macOS/Node.js）、本地隐私部署、投机采样（Speculative Decoding）加速、结构化输出生成、多后端混合计算（Metal/MPSGraph）。 llama.cpp, MLX (Apple), Candle (Hugging Face), MLC-LLM
18 swiftide bosun-ai Link Fast, streaming indexing, query, and agentic LLM applications in Rust Rust 642 Jan 19, 2026 高性能、高并发的 LLM 应用开发，典型场景包括大规模代码库索引与检索（RAG）、自动化代码改进、流式文档处理、具备工具调用能力的自主 AI Agent 以及复杂的图状工作流（Tasks）构建。 Rig.rs (Rust 原生 LLM 框架), LangChain (Python/JS 行业标准框架), LlamaIndex (专注数据检索的 LLM 框架)
19 agentgateway agentgateway Link Next Generation Agentic Proxy for AI Agents and MCP servers Rust 1,593 Jan 19, 2026 企业级 AI Agent 连通性数据平面，支持 MCP (Model Context Protocol) 和 A2A (Agent-to-Agent) 协议。典型场景包括：MCP 服务聚合与联邦、Agent 间跨框架通信、将现有 REST/OpenAPI 转换为 MCP 工具、Agent 通信的统一安全鉴权（RBAC/JWT）与可观测性（Metrics/Tracing）等。 Lunar.dev MCPX, TrueFoundry MCP Gateway, Docker MCP Gateway
20 feature-factory CogitatorTech Link A feature engineering library for Rust 🦀 with Python bindings 🐍 (WIP) Rust 22 Dec 10, 2025 — —
21 Daft Eventual-Inc Link High-performance data engine for AI and multimodal workloads. Rust 5,125 Jan 19, 2026 适用于大规模 AI 和多模态数据处理（图像、视频、音频、PDF、嵌入向量），包括多模态 ETL 流水线、大规模 AI 批量推理、向量数据库数据准备、RAG 数据清洗与转录以及分布式数据工程。 Ray Data, Polars, PySpark (Koalas/Modin)