大模型训练推理一体化平台 · 全局运行概览（演示数据）
训练完成后仅需调整资源池即可用于推理，无需占用额外资源（训推一体）。
| 事件 | 对象 | 时间 |
|---|---|---|
| 训练任务完成 | Qwen2.5-7B LoRA·客服知识库 | 10:24 |
| 推理服务扩容 | qwen-7b-chat-prod 1→2 副本 | 09:41 |
| 排队提醒 | 全局队列 1 个任务等待 | 09:12 |
| 模型入库 | DeepSeek-R1-Distill-7B v1.0 | 昨日 |
| 断点续训成功 | job-1030-02 从 step 3200 恢复 | 昨日 |
异构算力统一纳管 · 资源池化 · 两级配额 · 全局排队与弹性调度
GPU 分配率 75% · 排队任务 1 · 训推资源一体，用途可即时调整
用于全量微调等长时任务 · 集中式调度优先
QPS 触发扩缩容 · 冷启动 < 90s · 与训练池隔离防抢占
| 队列位 | 任务 | 资源池 | 申请 | 优先级 | 预计等待 |
|---|---|---|---|---|---|
| 1 | DeepSeek-R1-7B 蒸馏优化 | 训练专用池 | 2 卡 | 高 | ~15 分钟 |
| 2 | Qwen2-VL-7B 多模态对齐（续） | 训推共享池 | 1 卡 | 中 | ~40 分钟 |
| 3 | ResNet50 质检模型增量训练 | 训推共享池 | 1 卡 | 低 | 排队中 |
集中式：大模型分布式训练优先聚合同节点多卡，提升通信效率；打散式：小任务碎片化利用空闲卡，减少资源碎片化。
| 层级 | 对象 | 卡时/月 | 已用 | 占比 |
|---|---|---|---|---|
| 租户 | AI 创新部 | 3000 | 1840 | 61% |
| 用户组 | └ 算法一组 | 1200 | 910 | 76% |
| 用户组 | └ 算法二组 | 1050 | 520 | 50% |
| 用户 | └ 李思远 | 500 | 402 | 80% |
| 用户 | └ 陈晓 | 300 | 108 | 36% |
| AI 加速卡 | CPU 架构兼容 | 统一接入 | 纳管监控 | 异构调度 | 分布式训练 | 推理引擎 | 框架 |
|---|---|---|---|---|---|---|---|
| 英伟达 GPU | X86 | ✓ | ✓ | ✓ | ✓ | ✓ | PyTorch TensorFlow PaddlePaddle |
| 燧原 GCU | X86 / ARM | ✓ | ✓ | ✓ | ✓ | ✓ | |
| 天数智芯 GPU | X86 | ✓ | ✓ | ✓ | ✓ | ✓ | |
| 海光 DCU | C86 | ✓ | ✓ | ✓ | ✓ | ✓ | |
| 昇腾 NPU | ARM | ✓ | ✓ | ✓ | ✓ | ✓ | |
| 昆仑芯 | X86 / ARM | ✓ | ✓ | ✓ | ○ | ✓ |
✓ 已适配 ○ 适配中。支持按芯片类型混合组池、统一分配与调度，避免单一芯片供应商锁定。
集群 4 节点（3 管理：一主两备可复用 + 1 训推）· 8 卡位已插 4 卡
| 节点 | 角色 | CPU 架构 | 配置 | 加速卡 | 状态 | K8s |
|---|---|---|---|---|---|---|
| manage-01 | 管理 · 主 | X86 | 2× 至强 6530 · 256G DDR5 | — | 健康 | Ready |
| manage-02 | 管理 · 备 可复用训推 | X86 | 2× 至强 6530 · 256G | — | 健康 | Ready |
| manage-03 | 管理 · 备 可复用训推 | X86 | 2× 至强 6530 · 256G | — | 健康 | Ready |
| train-01 | 训推节点 | X86 | 2× 至强 6530 · 256G · 4U | 4 / 8 卡位 | 健康 | Ready |
| arm-node-01 | 待纳管 | ARM | 鲲鹏 920 · 128G | 昇腾 NPU ×2 | 纳管中 | Joining |
最小 4 台服务器即可成集群部署；支持后续横向扩容与 X86 / ARM / C86 异构混合组池。
PCIe Gen5 x16 · ECC 纠错 + Secure Boot 安全启动 · 整卡功耗 ≤300W · FHFL 双槽风冷被动散热 · 配套软件栈兼容主流深度学习框架与开源大模型推理引擎。
交互式开发环境：VS Code Server / JupyterLab，适配代码调试与算法实验探索
李思远 · 训推共享池 · 1 卡 · 运行 3 天 4 小时
陈晓 · 训推共享池 · 1 卡 · 最近活动 1 小时前
李思远 · 训练专用池 · 2 卡 · 已暂停（数据保留）
工作空间式（调试探索）与表单式（标准化批量）双模式 · 支持断点续训
LoRA 适合轻量场景化微调；全量微调适合领域深度适配，占用卡时更多（将计入两级配额）。
预计消耗：约 46 卡时（当前用户配额剩余 98 卡时）· 任务将进入全局队列自动排队调度。
| 任务 ID | 名称 / 基础模型 | 方式 | 资源 | 状态 | 进度 | 操作 |
|---|---|---|---|---|---|---|
| job-1101-03 | GLM-4-9B 全量微调·金融合规问答 GLM-4-9B DeepSpeed ZeRO-3 |
全量微调 | 2 卡 · 共享池 | 运行中 | 62% · ETA 3.2h |
|
| job-1101-01 | Qwen2.5-7B LoRA微调·客服知识库 Qwen2.5-7B LoRA r16 |
LoRA | 1 卡 · 共享池 | 已完成 | 100% · 41 卡时 |
|
| job-1031-07 | DeepSeek-R1-7B 蒸馏·推理优化 DeepSeek-R1-7B Megatron-LM |
全量 | 2 卡 · 专用池 | 排队中 · 位2 | 等待 ~15min |
|
| job-1030-02 | Qwen2-VL-7B 多模态对齐训练 Qwen2-VL-7B 多模态 |
LoRA | 1 卡 · 共享池 | 已暂停 | 38% · step 3200 |
|
| job-1029-05 | ResNet50 迁移学习·质检缺陷检测 ResNet50 视觉判别 |
迁移学习 | 1 卡 · 共享池 | 失败 | OOM · step 7100 |
| Step | 时间 | eval loss | 操作 |
|---|---|---|---|
| 6200 | 11:02 | 0.612 | |
| 5400 | 10:36 | 0.648 | |
| 4600 | 10:09 | 0.701 |
多形态模型统一部署 · 一键发布 MaaS 服务 · 副本弹性伸缩
| 服务 | 模型 / 类型 | 状态 | 副本 | 并发 | 张量并行 | QPS | P99 | 操作 |
|---|---|---|---|---|---|---|---|---|
| qwen-7b-chat-prod /v1/chat/completions |
Qwen2.5-7B LLM | 运行中 | 2/2 | 256 | 2 | 86 | 420ms | |
| glm-4-9b-finance /v1/chat/completions |
GLM-4-9B LLM | 运行中 | 1/1 | 128 | 1 | 31 | 510ms | |
| qwen2-vl-vision /v1/image/understanding |
Qwen2-VL-7B 多模态 | 运行中 | 1/1 | 64 | 1 | 12 | 730ms | |
| content-safety-bert /v1/classify/safety |
BERT-base 判别式 | 已停止 | 0/2 | 512 | — | — | — |
| 最大序列长度 | 32768 tokens |
| 最大并发序列 | 256 |
| GPU 张量并行数 | 2 |
| GPU 显存利用率 | 0.90 |
| 服务副本数 | 2（弹性 1–4，按 QPS>120 扩容） |
文本 / 图像 / 音频多类型输入快速推理验证 · 结果导出与历史回溯
集中浏览 · 精确搜索 · 版本管理 · 一键部署
上传后自动生成版本号，经完整性与安全扫描（Secure Boot 链路）后进入模型广场。
| 版本 | 格式 | 大小 | 来源 / 时间 | 状态 |
|---|---|---|---|---|
| v1.0-fp16 | safetensors | 15.2 GB | 内置 · 10-12 | 可用 |
| v1.0-awq | INT4 量化 | 5.4 GB | 内置 · 10-12 | 可用 |
| v0.9-rc | safetensors | 15.2 GB | 内置 · 09-28 | 已归档 |
| 参数规模 | 7.6B |
| 上下文长度 | 32,768 tokens |
| 推理显存（fp16 / int4） | 16GB / 6GB |
| MMLU / C-Eval | 74.3 / 84.1 |
| 关联训练任务 | 2 个（LoRA ×2） |
算法代码集中存储 · 版本管理 · 部署参数统一配置 · 全流程记录留痕
| 算法 | 类型 | 框架 | 当前版本 | 被引用 | 更新 | 操作 |
|---|---|---|---|---|---|---|
| lora-sft-train LoRA 监督微调训练算法 | 训练 | PyTorch | v1.2 | 3 个任务 | 10-28 | |
| dpo-align DPO 偏好对齐算法 | 训练 | PyTorch | v0.9 | 1 个任务 | 10-21 | |
| safety-classifier 内容安全审核算法 | 判别式 | Paddle | v2.1 | 1 个服务 | 09-30 | |
| rag-ingest 知识库切片与向量化 | 数据 | TF | v1.0 | — | 09-12 |
版本 v1.2 · tag 2026-10-28 · 分支 main · 支持与 Git 仓库同步
| 镜像 | pytorch:2.3-cuda12.1-peft0.13 |
| 启动命令 | python train.py --config $TASK_CONFIG |
| 环境变量 | LORA_R, LORA_ALPHA, DATASET_URI |
| 资源模板 | 1–4 卡 · 显存 ≥48G |
基于 Prometheus · 硬件资源 / 集群健康 / 训练任务三维监控
| 节点 | 状态 | CPU | 内存 | 用户/服务健康度 |
|---|---|---|---|---|
| manage-01（主） | 健康 | 31% | 54% | 活跃用户 11 · 异常 0 服务 4 · 健康 4 · 告警 1 |
| manage-02（备） | 健康 | 18% | 41% | |
| manage-03（备） | 健康 | 16% | 39% | |
| train-01（训推） | 健康 | 72% | 66% |
| 级别 | 内容 | 时间 |
|---|---|---|
| 警告 | train-01 加速卡 #2 温度 78℃，接近阈值 85℃ | 10:58 |
| 警告 | 训推共享池 GPU 分配率连续 2h > 90% | 09:40 |
| 提示 | manage-02 时钟漂移已自动修复（NTP） | 08:12 |
| 恢复 | qwen-7b-chat-prod 副本 2 就绪，扩容完成 | 09:44 |
| 任务 | GPU | 吞吐 | 状态 |
|---|---|---|---|
| job-1101-03 | 2 卡 · 95% | 1240 tok/s | 正常 |
| job-1030-02 | 1 卡 · 38% | — | 已暂停 |
角色化权限 · 与两级资源配额联动（招标文档标题要求，正文未细化——原型补充设计）
| 用户 | 角色 | 所属组 | 状态 | 月卡时配额 | 最近登录 | 操作 |
|---|---|---|---|---|---|---|
| 张伟 zhangwei | 平台管理员 | — | 正常 | 不限 | 今日 09:02 | |
| 李思远 lisy | 算法工程师 | 算法一组 | 正常 | 500 | 今日 10:24 | |
| 陈晓 chenx | 算法工程师 | 算法一组 | 正常 | 300 | 今日 09:41 | |
| 王强 wangq | 运维工程师 | 平台组 | 正常 | 200 | 昨日 18:33 | |
| 刘敏 lium | 业务调用方 | 业务系统 | 正常 · 仅 API | 按调用量 | 今日 08:55 | |
| 周洁 zhouj | 算法工程师 | 算法二组 | 已停用 | — | 10-18 |
| 权限项 | 平台管理员 | 算法工程师 | 运维工程师 | 业务调用方 |
|---|---|---|---|---|
| 算力资源池 / 调度策略 | ✓ | — | ✓ | — |
| 节点 / 加速卡纳管 | ✓ | — | ✓ | — |
| 工作空间 | ✓ | ✓ | — | — |
| 训练任务（创建/暂停/续训） | ✓ | ✓ | 监控 | — |
| 推理服务（发布/变更/扩缩容） | ✓ | 发布申请 | ✓ | — |
| 在线验证 Playground | ✓ | ✓ | ✓ | ✓ |
| 模型广场（上传/部署） | ✓ | ✓ | — | 浏览 |
| 算法资产 | ✓ | ✓ | — | — |
| 监控运维 | ✓ | 任务视图 | ✓ | 服务状态 |
| 用户 / 配额管理 | ✓ | — | — | — |
| API Key / 调用计量 | ✓ | — | ✓ | 自己的 Key |
| 配额对象 | 层级 | 卡时/月 | GPU 并发上限 | 推理副本上限 | 本月已用 | 操作 |
|---|---|---|---|---|---|---|
| AI 创新部 | 租户 | 3000 | 4 卡 | 6 | 1840（61%） | |
| 算法一组 | 用户组 | 1200 | 2 卡 | 2 | 910（76%） | |
| 算法二组 | 用户组 | 1050 | 2 卡 | 2 | 520（50%） | |
| 李思远 | 用户 | 500 | 2 卡 | 1 | 402（80%） | |
| 陈晓 | 用户 | 300 | 1 卡 | 1 | 108（36%） |
两级配额：租户/组级总额控制 + 用户级细分；超额任务自动进入全局队列低优先级或拒绝，配额变化全量留痕。