SemiAnalysisAI/InferenceX

GitHub で見る

Open Source Continuous Inference Benchmark Research Platform — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & soon™ TPUv6e/v7/Trainium2/3 | 开源持续推理基准研究平台 — Kimi K3-Code、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72，即将推出™ TPUv6e/v7/Trainium2/3

スター: 1.7k
フォーク: 303
オープンの初心者向け issue: 0
索引済み issue: 103
平均マージ: 1日 13時間
マージ済み PR（30日）: 284

主要言語: Python
ライセンス: Apache-2.0
最終 GitHub push: 2026年9月20日
最新の索引: 2026年9月20日
コントリビューションガイド: コントリビューションガイド
行動規範: 行動規範がありません
初心者向けラベル: 初心者向けラベルは索引されていません

初心者向けすべて

オープンすべて

オープンの issue を 103 件索引しました

[Question] Is hardware contribution to the official CI cluster supported? オープン

難易度 5/5 1週間以上初心者へのやさしさ 30/100

SemiAnalysisAI/InferenceX#3122 · コメント 3 件 · 2026年9月15日に作成
Runtime JIT compilation contaminates published TTFT and TPOT measurements オープン

難易度 5/5 1週間以上初心者へのやさしさ 28/100

SemiAnalysisAI/InferenceX#2819 · 2026年9月3日に作成
Single-node num_gpus ignores --data-parallel-size, inflating tput_per_gpu オープン

難易度 3/5 1〜2日初心者へのやさしさ 68/100

SemiAnalysisAI/InferenceX#2714 · 2026年8月24日に作成
[Power] Power measurement roadmap オープン

SemiAnalysisAI/InferenceX#2681 · 担当者 1 名 · 2026年8月19日に作成
[CI] Recipe bring-up for /overview combos with no data / [CI] 缺数据 combo 的 recipe bring-up 跟踪オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#2587 · 2026年8月12日に作成
[WIP] refactor/cleanup repo オープン

SemiAnalysisAI/InferenceX#2382 · 担当者 2 名 · 2026年7月28日に作成
Proposal: add Unofficial DeepSeek-V4-Flash 4xH200 SGLang recipe / 提案：新增非官方 DeepSeek-V4-Flash 4×H200 SGLang 配方オープン

難易度 4/5 3〜5日初心者へのやさしさ 25/100

SemiAnalysisAI/InferenceX#2315 · コメント 2 件 · 2026年7月23日に作成
[CI] Same-batch comparability for `/overview` data / `/overview` 数据的同批次可比性オープン

SemiAnalysisAI/InferenceX#2304 · 担当者 1 名 · 2026年7月22日に作成
请问是否有长序列的比较维度？オープン

難易度 5/5 1週間以上初心者へのやさしさ 30/100

SemiAnalysisAI/InferenceX#2287 · コメント 12 件 · 2026年7月20日に作成
measuring power オープン

難易度 5/5 1週間以上初心者へのやさしさ 25/100

SemiAnalysisAI/InferenceX#2250 · 2026年7月16日に作成
Upstream SGLang fix for disaggregated prefill TP-rank desync / 向 SGLang 上游提交分离式预填充 TP rank 不同步修复オープン

難易度 4/5 3〜5日初心者へのやさしさ 45/100

SemiAnalysisAI/InferenceX#2151 · 2026年7月10日に作成
Clean up configuration ownership and redundant defaults after PR #2127 / 清理 PR #2127 后的配置归属与冗余默认值オープン

難易度 5/5 1週間以上初心者へのやさしさ 38/100

SemiAnalysisAI/InferenceX#2150 · 2026年7月10日に作成
Removal of "1 The ATOM engine is promising, however it has yet to serve production tokens. It is still in its infant stage." オープン

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

SemiAnalysisAI/InferenceX#2125 · 2026年7月9日に作成
Refactor common result metadata processing into a shared helper オープン

SemiAnalysisAI/InferenceX#2105 · コメント 1 件 · 担当者 1 名 · 2026年7月6日に作成
Add gate on full-sweep / fail-fast runs to prevent wasted compute オープン

dev velocity enhancement p1

SemiAnalysisAI/InferenceX#2103 · 担当者 2 名 · 2026年7月6日に作成
runners.yaml: add per-cluster directory mappings (centralize paths hardcoded in launch_*.sh) / runners.yaml：添加集群目录映射（集中管理 launch_*.sh 中硬编码的路径）オープン

SemiAnalysisAI/InferenceX#1973 · 担当者 1 名 · 2026年7月1日に作成
Add local "dry run" mode: run all GHA input/script-generation logic without triggering a run / 添加本地「试运行」模式：执行所有 GHA 输入/脚本生成逻辑而不触发实际运行オープン

SemiAnalysisAI/InferenceX#1972 · 担当者 1 名 · 2026年7月1日に作成
Generalize per-subpoint benchmark checkpointing for reruns / 泛化基准测试子点检查点机制以支持重跑オープン

SemiAnalysisAI/InferenceX#1971 · 担当者 1 名 · 2026年7月1日に作成
Template the benchmark scripts / 模板化基准测试脚本オープン

SemiAnalysisAI/InferenceX#1945 · 担当者 1 名 · 2026年6月26日に作成
Quality Evals that stress longer decode / 压力测试长解码的质量评估オープン

難易度 3/5 1〜2日初心者へのやさしさ 48/100

SemiAnalysisAI/InferenceX#1920 · コメント 2 件 · 2026年6月24日に作成
Front End: Select Date Range too often / 前端：日期范围选择过于频繁オープン

難易度 3/5 1〜2日初心者へのやさしさ 58/100

SemiAnalysisAI/InferenceX#1919 · コメント 1 件 · 2026年6月24日に作成
[enhancement] add more info to runners yaml / [enhancement] 在 runners yaml 中添加更多信息オープン

SemiAnalysisAI/InferenceX#1910 · 担当者 1 名 · 2026年6月23日に作成
[enhancement] multiple conc against same server / [enhancement] 同一服务实例运行多个并发度测试オープン

SemiAnalysisAI/InferenceX#1909 · 担当者 1 名 · 2026年6月23日に作成
Publish VLLM and SGLANG configs where possible / 尽可能同时发布 vLLM 和 SGLang 配置オープン

難易度 5/5 1週間以上初心者へのやさしさ 32/100

SemiAnalysisAI/InferenceX#1889 · コメント 2 件 · 2026年6月23日に作成
[codex discussion]: b200 b300 agentx dsv4 vllm and sglang / [codex discussion]: B200 B300 AgentX DSV4 的 vLLM 与 SGLang 方案讨论オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#1880 · 2026年6月21日に作成
M3 mi325 profile run / MiniMax-M3 MI325X 性能剖析运行オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#1765 · コメント 1 件 · 2026年6月15日に作成
Canary only considers one config key / 金丝雀门控仅考虑一个配置键オープン

SemiAnalysisAI/InferenceX#1740 · 担当者 1 名 · 2026年6月13日に作成
[Reproducibility] dsr1 0528 dynamo + mtp on b200 / [Reproducibility] DSR1 0528 Dynamo + MTP 在 B200 上的复现オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#1691 · コメント 9 件 · 2026年6月9日に作成
aiperf: Weka synth buffer should reset context when truncation deletes emitted segments / aiperf：Weka 合成缓冲区截断删除已发出段时应重置上下文オープン

難易度 3/5 1〜2日初心者へのやさしさ 70/100

SemiAnalysisAI/InferenceX#1665 · 2026年6月4日に作成
[Tracking Issue] Synthetic Acceptance for MTP Benchmarks / [Tracking Issue] MTP 基准测试的合成接受长度オープン

in progress p0

SemiAnalysisAI/InferenceX#1651 · コメント 7 件 · 担当者 1 名 · 2026年6月2日に作成
[vLLM] Missing --max-model-len guard for offload-disabled agentic runs causes KV cache OOM on H100 / [vLLM] 禁用 offload 的 agentic 运行缺少 --max-model-len 保护导致 H100 上 KV 缓存 OOM オープン

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

SemiAnalysisAI/InferenceX#1587 · 2026年5月29日に作成
[Reproducibility] Request DeepSeek-R1 H100 2P2D run artifacts and network inventory / [Reproducibility] 请求 DeepSeek-R1 H100 2P2D 运行产物和网络清单オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#1580 · コメント 2 件 · 2026年5月28日に作成
[AI Generated] [Handoff] out of 70+ image updates, 13 stuck Klaud Cold PRs need upstream coordination / scope decisions / [AI Generated] [Handoff] 70 多个镜像更新中 13 个 Klaud Cold PR 卡住，需上游协调或范围决策オープン

SemiAnalysisAI/InferenceX#1511 · 担当者 1 名 · 2026年5月18日に作成
Inference engine startup included in GPU metric capture / 推理引擎启动阶段被纳入 GPU 指标采集オープン

SemiAnalysisAI/InferenceX#1507 · コメント 2 件 · リアクション 2 件 · 担当者 1 名 · 2026年5月18日に作成
[infra] h200-nb_0 / h200-nb_1: enroot /mnt/image-storage full — can't unpack TRT-LLM v1.3.0rc14 image / [infra] h200-nb_0 / h200-nb_1：enroot /mnt/image-storage 已满，无法解压 TRT-LLM v1.3.0rc14 镜像オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#1496 · コメント 1 件 · 2026年5月18日に作成
[Klaud Cold] sglang v0.5.12 DeepGemm regression on B300: CUDA_ERROR_ILLEGAL_ADDRESS in fp8_fp4_gemm_nt TMA descriptor init / [Klaud Cold] SGLang v0.5.12 B300 上 DeepGemm 回归：fp8_fp4_gemm_nt TMA 描述符初始化中 CUDA_ERROR_ILLEGAL_ADDRESS オープン

難易度 4/5 3〜5日初心者へのやさしさ 38/100

SemiAnalysisAI/InferenceX#1463 · コメント 1 件 · 2026年5月18日に作成
[experimental chore/agentx-v0.2-aiperf-testing branch] agentic build_replay_cmd: missing --tokenizer-trust-remote-code breaks Kimi-K2.5 (and other custom-code tokenizer models) / agentic build_replay_cmd 缺少 --tokenizer-trust-remote-code 导致 Kimi-K2.5 等自定义 tokenizer 模型失败オープン

難易度 1/5 1時間未満初心者へのやさしさ 78/100

SemiAnalysisAI/InferenceX#1369 · コメント 3 件 · 2026年5月13日に作成
[experimental chore/agentx-v0.2-aiperf-testing branch] agentic build_replay_cmd: --cache-bust system_prefix mismatched with current aiperf scenario (requires first_turn_prefix) / agentic build_replay_cmd 的 --cache-bust system_prefix 与当前 aiperf 场景不匹配（需要 first_turn_prefix）オープン

難易度 1/5 1〜3時間初心者へのやさしさ 76/100

SemiAnalysisAI/InferenceX#1359 · コメント 1 件 · 2026年5月13日に作成
Packaging and versioning for benchmarking tools and utilities / 基准测试工具和实用程序的打包与版本管理オープン

難易度 5/5 1週間以上初心者へのやさしさ 25/100

SemiAnalysisAI/InferenceX#1302 · 2026年5月8日に作成
mirror to gitcode / 镜像到 gitcode オープン

p2

SemiAnalysisAI/InferenceX#1281 · 担当者 2 名 · 2026年5月5日に作成
[Auto] Docker Image Updates Available - 2026-04-25 / Docker 镜像更新可用 - 2026-04-25 オープン

claude-task docker-update

難易度 3/5 1〜2日初心者へのやさしさ 52/100

SemiAnalysisAI/InferenceX#1154 · コメント 18 件 · 2026年4月25日に作成
B300 multinode seperation / B300 多节点配置分离オープン

SemiAnalysisAI/InferenceX#1093 · 担当者 1 名 · 2026年4月19日に作成
[Feature Request] Add Kubernetes-native runner for distributed inference benchmarking (llm-d) / 添加 Kubernetes 原生运行器用于分布式推理基准测试 (llm-d) オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#1045 · コメント 1 件 · 2026年4月17日に作成
kernels / 内核分析オープン

難易度 4/5 3〜5日初心者へのやさしさ 48/100

SemiAnalysisAI/InferenceX#1005 · コメント 9 件 · 2026年4月5日に作成
collect more shapes / 收集更多矩阵形状オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#1004 · コメント 2 件 · 2026年4月5日に作成
starter task: MVP port mi355 deepseek disagg recipe to mi300 / 入门任务：将 MI355 DeepSeek 分离式配方移植到 MI300 オープン

AMD p0

SemiAnalysisAI/InferenceX#982 · コメント 1 件 · 担当者 1 名 · 2026年3月30日に作成
starter task: MVP port mi355 deepseek disagg recipe to mi325 / 入门任务：将 MI355 DeepSeek 分离式配方移植到 MI325 オープン

AMD p0

SemiAnalysisAI/InferenceX#981 · 担当者 1 名 · 2026年3月30日に作成
disable prefix on random for qwen3.5 & glm mi355 / 禁用 Qwen3.5 和 GLM MI355 上 random 的 prefix 缓存オープン

p0

難易度 2/5 1〜3時間初心者へのやさしさ 55/100

SemiAnalysisAI/InferenceX#971 · コメント 5 件 · 2026年3月29日に作成
b200 fp4 minimax vllm single node / B200 FP4 MiniMax vLLM 单节点オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

SemiAnalysisAI/InferenceX#951 · コメント 7 件 · 2026年3月27日に作成
[frontend] add toggle to select between median, p90, p99, and p99.9 for performance chart x-axes / [前端] 添加切换按钮在性能图表 X 轴选择中位数、p90、p99 和 p99.9 オープン

frontend p2

SemiAnalysisAI/InferenceX#939 · 担当者 1 名 · 2026年3月24日に作成

SemiAnalysisAI/InferenceX

新しい issue をメールで受け取る