Salus是一款基于OpenVINO技术开发的术后AI康复助手，专为2025英特尔人工智能创新应用大赛设计。该项目结合了人工智能、计算机视觉和医疗康复领域的前沿技术，为术后患者提供智能化、个性化的康复训练指导和监督。
- 医疗文档处理：使用olmOCR-7B模型识别医疗报告和要求
- 结构化信息提取：自动提取关键医疗信息
- 多格式支持：支持图片、PDF等多种文档格式
- AI驱动的计划制定：基于文档识别内容及Qwen3-0.6B模型，根据患者术后情况生成个性化康复计划
- Markdown格式输出：使用function-call将康复计划以结构化Markdown文件保存，便于阅读和管理
- 多种康复活动：支持足跟滑动、膝关节屈伸等多种康复训练项目
- 3D姿态估计：使用Intel Human Pose Estimation模型进行实时姿态分析
- 动作标准化评估：智能识别患者动作是否符合康复要求
- 视觉反馈：实时显示姿态识别结果，帮助患者纠正动作
- 科学训练节奏：内置Tabata间歇训练计时器
- 视频同步播放：训练期间自动播放示范视频
- 进度可视化：实时显示训练进度和剩余时间
- 医疗专业咨询：基于华佗GPT-o1-7B模型提供康复相关问答
- 个性化指导：根据患者情况提供针对性建议
- 多轮对话：支持连续对话，理解上下文语境
| 模型名称 | 用途 | 量化版本 | 框架 |
|---|---|---|---|
| 华佗GPT-o1-7B | 康复计划生成 | INT4 | OpenVINO |
| Qwen3-0.6B | 智能对话 | INT4 | OpenVINO |
| Human Pose Estimation 0001 | 姿态识别 | INT8 | OpenVINO |
| Human Pose Estimation 3D 0001 | 3D姿态分析 | FP32 | OpenVINO |
| olmOCR-7B | 文档识别 | INT4 | OpenVINO |
以上模型已发布huggingface
https://huggingface.co/ukyotachibana/Qwen3-0.6B-INT4
https://huggingface.co/ukyotachibana/HuatuoGPT-o1-7B-INT4
https://huggingface.co/ukyotachibana/olmOCR-7B-0225-preview-INT4
https://huggingface.co/ukyotachibana/human-pose-estimation-3d-0001-INT4
https://huggingface.co/ukyotachibana/human-pose-estimation-0001-INT8
后端框架：
- FastAPI - 高性能Web API框架
- OpenVINO - Intel AI推理优化工具套件
- OpenCV - 计算机视觉处理
- openvino_genai - 大语言模型推理库
前端技术：
- HTML5/CSS3 - 现代Web界面
- JavaScript - 交互逻辑实现
- WebRTC - 实时视频流处理
部署环境：
- Python 3.11+
- Windows/Linux兼容
- 英特尔CPU/GPU优化
salus/
├── .venv/ # Python虚拟环境
├── prototype/ # 原型开发文件
│ ├── chatbot-huatuogpto1.py
│ ├── chatbot-qwen3.py
│ ├── pose-estimation-inference.py
│ └── ocr-olm.py
├── rehab_plans/ # 康复计划存储
├── uploads/ # 上传文件目录
├── rehab_trainer_app.py # 康复训练主应用
├── rehab_planner.py # 康复计划生成器
├── ocr_server.py # OCR服务
├── openai_api_server.py # OpenAI兼容API服务
├── start_rehab_trainer.py # 康复训练启动脚本
├── start_rehab_server.py # 康复规划启动脚本
├── start_ocr_server.py # OCR服务启动脚本
└── requirements.txt # 依赖包列表
- Python 3.11或更高版本
- 英特尔CPU（推荐第11代酷睿或更新）
- 8GB RAM（推荐16GB）
- 支持OpenVINO的操作系统（Windows 10/11, Ubuntu 18.04+）
1.克隆项目
git clone https://github.com/roventine/salus
cd salus
2.创建虚拟环境
python -m venv .venv
.venv\Scripts\activate # Windows
# source .venv/bin/activate # Linux/Mac
3.安装依赖
pip install -r requirements.txt
4.下载AI模型
确保以下模型文件已正确放置：
- /repo/OpenVINO/HuatuoGPT-o1-7B-int4-ov/ - 华佗GPT模型
- /repo/OpenVINO/Qwen3-0.6B-int4-ov/ - Qwen3模型
- /repo/OpenVINO/intel/human-pose-estimation-3d-0001/ - 姿态估计模型
- /repo/allenai/olmOCR-7B-0225-preview/INT4/ - OCR模型
python start_ocr_server.py
访问 http://localhost:8003 使用OCR功能：
- 上传文档：支持拖拽或选择文件上传
- 智能识别：AI自动识别文档中的文字内容
- 结果展示：结构化显示识别结果
python start_rehab_server.py
访问 http://localhost:8001 生成康复计划：
- 输入患者信息：填写术后情况和康复需求
- AI分析：Qwen分析并生成个性化计划
- 计划下载：使用function-call生成的计划自动保存为Markdown文件
python start_rehab_trainer.py
访问 http://localhost:8002 开始康复训练：
- 选择训练模式：选择Tabata计时器训练
- 开始训练：点击开始按钮，系统将自动播放示范视频
- 姿态监督：摄像头实时捕捉动作，AI分析姿态正确性
- 查看反馈：根据AI提示调整动作
python openai_api_server.py
提供OpenAI兼容的API接口（端口8000）：
- GET /v1/models - 获取可用模型列表
- POST /v1/chat/completions - 聊天补全接口
- 模型量化：所有模型均采用INT4/INT8量化，显著减少内存占用
- 硬件加速：充分利用英特尔CPU/GPU/NPU的计算能力
- 推理优化：针对英特尔硬件的专门优化，提升推理速度
- 实时姿态识别：10FPS视频流处理
- 快速响应：康复计划生成<5秒
- 低延迟对话：聊天响应时间<2秒
- 高精度OCR：文档识别准确率>95%
- 在
rehab_trainer_app.py中扩展 KneeRehabDetector 类 - 添加新的动作识别逻辑
- 更新前端界面以支持新动作
- 将模型转换为OpenVINO IR格式
- 在相应的服务文件中添加模型加载逻辑
- 更新API接口以支持新模型
- 修改
rehab_planner.py中的提示词模板 - 调整康复计划生成逻辑
- 更新前端表单以收集所需信息
Q: 模型加载失败 A: 检查模型文件路径是否正确，确保所有模型文件完整下载
Q: 摄像头无法访问 A: 确保浏览器已授权摄像头权限，检查设备驱动是否正常
Q: 姿态识别不准确 A: 确保光线充足，人体在摄像头视野范围内，避免背景干扰
Q: 服务启动失败 A: 检查端口是否被占用，确保Python环境和依赖包正确安装
系统运行日志保存在：
- rehab_detection_log.txt - 姿态检测日志
- 控制台输出 - 服务运行状态