添加管控软件和相机的通讯

This commit is contained in:
lidg
2026-10-27 22:16:55 +08:00
parent 23674e0ede
commit 4d23a71dd6
25 changed files with 2964 additions and 294 deletions
@@ -0,0 +1,252 @@
# 方案二:按模块实施 R40 → VisionGuide → R60
更新:2026-10-27。状态:模块 A–F 已实施,ssp 的 Qt 5.14.1 / MinGW 32 位工程已编译,VisionGuide 独立 MSVC x64 工程已编译;PLC、IPC、生产流程已完成无硬件模拟测试。未连接真实 PLC/相机/机器人;现场验收尚待完成。实际交付与测试见 `docs/visionguide-integration-status.md`。
## 1. 已确定目标与边界
- ssp:`E:/QTCode/ssp/ssp`,保留 Qt Creator 4.11.0、Qt 5.14.1、MinGW、C++11。
- VisionGuide:`E:/QTCode/VisionGuide/VisionGuide_Qt/source`,独立 MSVC x64 进程,使用本项目源码和算法,不调用 demo/相机资料中的 SDK。
- 信号表:`E:/QTCode/ssp/项目信号表/小轴信号.xlsx`,Sheet1。
- 自动生产位姿来源已确定:机器人到位后由 ssp 读取 R40 起始的 XYZABC,作为本次拍照位姿传给 VisionGuide。
- 按用户最新约定,五个握手信号按顺序使用 Modbus 线圈 850–854;PLC/机器人控制 850、851,ssp 控制 852–854。
- 仅料架取料 RackPick 触发拍照;正面检测位取回、反面检测位取回和放料均不触发。用户已确认 851 有效表示机器人停稳且 R40 已更新。
- VisionGuide 执行左相机测量并计算抓取 XYZABC,返回两组坐标;ssp 仅把有效的机器人抓取坐标写到 R60。
- 启动/初始化:连接左右相机 → 应用现有相机参数 → 左右相机各执行一次自动白平衡 → 校验模型及料盘配置 → 就绪。不是每次测量都重做白平衡。
- 相机测量固定使用用户指定值:左相机、高精细化 least_squares_high、截止5秒、MinScore=0.70、Greediness=0.80、YOLO中心选择、相机显示模型原点、抓取偏移4.40mm。
- 4.40mm沿模型+Z应用一次,不能被“模型原点显示”取消,也不能在ssp回写时再次补偿。
- 第一版保留原视觉调试界面,不抽取通用视觉库,不传输实时视频。正常生产坐标不依赖人工输入框。
## 2. 阶段0:事实依据、允许API与未决项
### 2.1 源码和本地API
| 依据 | 复用方式/已确认事实 |
| --- | --- |
| ssp modbus/modbustcpmanager.cpp:150、175 | 已有 readRReal/writeRReal,0x3000+R编号,低16位字先,memcpy转换float;现有用户修改要保留 |
| ssp modbus/modbustcpmanager.h 的 Request | 已支持 count 和 QVector<quint16>,可最小扩展整组读写,无需另写Modbus栈 |
| ssp modbus/modbustcpmanager.cpp:305 | Qt客户端统一配置 retryCount,新增视觉提交命令需区分发送前失败和写后应答不明 |
| ssp services/deviceservice.cpp:62、694 | 拥有现有PLC连接,沿用异步回调和队列;这里封装R40/R60与视觉线圈握手 |
| ssp services/productionservice.cpp:911 | processProductionAction()维持进行中动作,视觉握手宜作为该动作期间的子流程 |
| ssp services/productionworker.cpp:10 | ProductionService在生产线程内创建 |
| ssp pages/dashboardpage.cpp:298 | 析构会等待生产线程,新增退出流程不能要求GUI在wait期间回复 |
| VisionGuide MeasurementOptionsPanel.cpp:274、352、381 | start/complete/calculateGrasp是现有流程,抓取计算尚未自动串联,busy时calculateGrasp直接返回 |
| VisionGuide MeasurementGuidanceSetup.cpp:148、188 | 料盘恢复会覆盖offset,远程快照必须明确采用4.40并检查实际生效值 |
| VisionGuide CameraPanel.cpp:228、259 | 复用相机参数与白平衡逻辑;目前成功状态不完整,需返回左右分别成功/失败 |
| VisionGuide CameraManager.cpp:319 | applyWhiteBalanceOnce仅提交BalanceWhiteAuto=Once,不证明算法已经完成;按SDK能力核验状态 |
| VisionGuide MainWindow.cpp:85 | 新测量页创建位置,适合接线IPC,不走旧OPC测量链 |
| VisionGuide CameraManager.cpp:247 | 采图会阻塞,通信不得依赖GUI线程立即响应 |
允许的 Qt 5.14.1 API已核对本机头文件:
- QtNetwork/qlocalserver.h:listen、newConnection、nextPendingConnection、UserAccessOption。
- QtNetwork/qlocalsocket.h:connectToServer、connected/disconnected、QIODevice::readyRead、error(QLocalSocket::LocalSocketError)。不是较新版本的QLocalSocket::errorOccurred。
- QtCore/qprocess.h:start(program, arguments)、setWorkingDirectory、setProcessEnvironment、errorOccurred、finished(int,ExitStatus)。
- QtSerialBus使用现有QModbusDataUnit/QModbusTcpClient异步路径。坐标使用功能码0x03读保持寄存器、0x10写多个保持寄存器;五个握手信号复用readCoil/readCoils和writeCoil,使用0x01读线圈、0x05写单线圈。
头文件根目录:C:/Qt/Qt5.14.1/5.14.1/mingw73_32/include。
### 2.2 地址映射
顺序XYZABC由用户给定;信号表列出REAL[6]和逐项Modbus起始地址。每个REAL占两个16位寄存器。
| 分量 | 当前机器人R起点 | Modbus起点 | 抓取反馈R起点 | Modbus起点 |
| --- | --- | --- | --- | --- |
| X | R40 | 12328 | R60 | 12348 |
| Y | R42 | 12330 | R62 | 12350 |
| Z | R44 | 12332 | R64 | 12352 |
| A | R46 | 12334 | R66 | 12354 |
| B | R48 | 12336 | R68 | 12356 |
| C | R50 | 12338 | R70 | 12358 |
来源:Sheet1 C75:H87。反馈R62等由R60起点和逐项Modbus地址推导。
**待确认:**注释写R40–R52/R60–R72但又注明12个INT;按逐项起点计算实际12字应为R40–R51/R60–R71。方案按“6个REAL/12个字”描述,但真机读写长度在确认前不执行。现有代码低字在前是软件事实,不能替代PLC实测。
相关握手信号按用户最新要求统一采用线圈访问。原信号表位置(Sheet1 C50:H54)仅保留用于追溯,不作为线圈地址使用:
| 信号 | 原表标注(仅追溯) | 实施访问类型 | Modbus线圈地址 |
| --- | --- | --- | --- |
| 机器人接收结果成功 | D100.14 | Coil / bool | 850,PLC/机器人控制 |
| 请求相机拍照 | D100.15 | Coil / bool | 851,PLC/机器人控制 |
| 相机拍照比对 | D106.0 | Coil / bool | 852,ssp 控制 |
| 相机数据比对错误 | D112.12 | Coil / bool | 853,ssp 控制 |
| 相机比对通过 | D112.15 | Coil / bool | 854,ssp 控制 |
不再为这五个信号设计 D 寄存器整字读改写或掩码写。用户同意先实现如下顺序,后续可按现场协议修改:851 到位请求 → ssp 置 852 → R40 读取/视觉计算 → R60 整组写入确认 → ssp 置 854 → 等待 850 → 等待 850、851 均复位 → ssp 清 852–854。失败置 853 的路径不会发布 854;未确认写入则进入人工核对,不自动重发。
### 2.3 真机实施前需要补齐的信息
1. 确认上述12字范围及REAL高低字序;与机器人界面的正数、负数和小数样本对照。
2. 用户已确认 851 有效保证机器人已停稳且 R40 已更新;现场还需核验拍照期间保持稳定,一次 Modbus 块读本身不提供 PLC 扫描快照。
3. 850–854 地址、置位方和上述握手顺序已确认先按此实施;现场需验证接收位保持时间足够供 ssp 轮询观察,以及机器人只在 854 有效后消费 R60。
4. R40单位、坐标系、工具和ABC顺序须匹配新流程的mm/deg、world、TOOL1、Rz(A)Ry(B)Rx(C);不一致时先定义转换。
5. 实际曝光、增益、带宽沿用当前有效配置,不发明数值。料盘高度策略及示教沿用对应料盘配置;若当前配置不完整,返回未就绪。
6. 仅 RackPick 料架取料拍照已确定。ssp 实物料盘与 VisionGuide 测量配置编号的映射仍待确认,不能假定同号。现有主生产 PLC 地址有占位定义,与本表并非全部一致;本次不顺手重配全部信号。
前四项是连接真机读写/握手前的明确依赖。通信、模块接口、模拟测试和离线回归可以先开展;本计划不把未回复的问题视为已确认。
## 3. 模块A:ssp—PLC通信
**责任:**从PLC获取当前拍照位姿、写入抓取目标并提供握手数据,VisionGuide不直接连PLC。
**文件:**
- 修改 modbus/modbustcpmanager.h/.cpp:扩展连续R REAL读写,复用已有队列和编解码。
- 修改 services/deviceservice.h/.cpp:新增业务接口和握手状态读取。
- 修改 modbus/modbusaddress.h/.cpp、config/configmanager.h/.cpp、config.ini:增加R坐标地址、五个具名线圈地址及超时配置。未配置线圈用明确的未配置状态表示,不能默认到地址0;未配置时禁止相关真机访问。R地址配置避免同时保存R编号和绝对地址导致重复加0x3000。
- 新增 models/visionresult.h:集中放小型RobotPose/任务/结果值结构,不做通用协议框架。
拟新增接口名称(不是当前已存在):
- ModbusTcpManager::readRReals(startR, count, callback)。
- ModbusTcpManager::writeRReals(startR, values, callback)。
- DeviceService::readRobotPhotoPose(callback)。
- DeviceService::writeRobotGraspPose(pose, callback)。
- DeviceService::readVisionHandshake(callback)。
- 结果提交/失败通知接口在握手顺序确认后定义。
**细节:**
- R40一次读取12个字,解码6个REAL;R60一次功能码0x10写12个字。避免六次单轴操作导致混合新旧坐标。
- 模块入口检查地址边界、数量、回调/接收返回值、有限数值。VisionGuide内部double回写float32时检查溢出,记录精度变化;JSON不用截成界面三位小数。
- 单位保持mm/deg,复用memcpy,不用违反别名规则的指针强转。Modbus字内字节序由Qt处理,PLC的高低16位字顺序单独按确认值处理。
- 五个握手信号均用bool线圈接口,读取使用readCoil/readCoils,写入使用writeCoil。仅在实际映射连续且范围已确认时合并读取;每次写入只操作协议规定由ssp控制的目标线圈。
- 按协议先准备无效状态/握手 → 写整组R60 → 确认数据写入 → 发布结果有效 → 等机器人接收。不能把Modbus应答当机器人已取到目标。
- 发送后超时进入“写入/提交状态不确定”,禁止直接继续动作或换新坐标重发。数据重写只在确认缓冲尚未消费时允许;结果提交不盲目自动重试。重试策略只改相关视觉请求,不改变所有既有PLC命令。
- 停止/cancel无法撤销已经发送的Modbus写入,需核对PLC状态;取消后尚在本地队列的视觉写入不得继续发出。
**验证:**模拟PLC测试地址、完整XYZABC、负数/小数/极值、数量错误、NaN/Inf、字序、整组写、五个线圈的独立读写、不影响其他线圈和应答丢失。接真机后读取R40对照示教器;R60受控验证必须在握手确认后进行。
## 4. 模块B:ssp—VisionGuide通信
**责任:**启动/连接独立视觉程序、发送测量请求、返回结构化结果、超时和会话管理,不读写PLC。
**文件:**新增 services/visionservice.h/.cpp;修改 config/configmanager.h/.cpp、config.ini、ssp.pro(QT += network)。
通信固定QLocalSocket;QProcess管理自身启动的进程。视觉状态与PLC visionReady分开。客户端归属GUI线程,全部异步;ProductionWorker用queued signal传递值对象,不跨线程调用socket。
协议:4字节大端长度+UTF-8 JSON,上限1MiB。命令hello/get_status/initialize/measure/cancel/show_window/shutdown。每条含protocol_version、request_id、server_session_id。一个在途测量,busy不排队;重复编号不重复采集,重连不自动重发。
measure请求最小包含:
- 工件/任务上下文、料盘编号、来自R40的XYZABC。
- R40读取时刻、来源plc_r40、静止/拍照请求的关联信息;这不是硬件曝光时间戳。
- camera_mode=left_only、refinement=least_squares_high、deadline_ms=5000、min_score=.70、greediness=.80、yolo_selection=center、pose_display=model_origin、grasp_offset_mm=4.40。
- require_robot_pose=true;world/tool/角度约定经现场确认后传入。
结果最小包含:
- 相同request/session/workpiece/tray以及视觉run编号。
- 相机模型原点坐标、pose_type、score、source=LEFT、camera_valid。
- 左路计算的抓取XYZABC、world/tool/旋转约定、robot_valid、所用参数和标定/料盘指纹。
- capture_begin/end、measure_elapsed_ms、grasp_elapsed_ms、status及error_code/message。
- 独立报告资源是否空闲。camera_valid不代表robot_valid,两者不可替代。
5秒严格对应用户设置的**测量页采图/识别截止**,不包括进程启动、加载模型、PLC读写及机器人接收。抓取计算、IPC与整次交易另外设置有界等待;不得默默把全部流程限成5秒或在超时后使用旧结果。具体整体等待值根据联调确定。
**验证:**用假服务端/客户端测试分包、多包、异常字段、版本/会话不符、重复请求、取消、迟到结果、启动失败和重连。只解析并发信号,不因收到JSON就在此模块直接写R60。
## 5. 模块C:VisionGuide通信
**责任:**接收ssp命令并路由给现有业务,主动返回状态和结果。
**文件:**新增 VisionIpcServer.h/.cpp;修改 main.cpp、MainWindow.h/.cpp、VisionGuide.pro、tools/Stage-QtCreatorRuntime.ps1。
- QLocalServer单控制连接,同用户访问;参数--ipc-name/--background。保留QApplication和原窗口,不新增Windows服务。
- 服务端及socket在专用QThread里创建/销毁,避免现有同步采图阻塞心跳;通过queued signal传递值类型消息。
- initialize、measure和cancel由MainWindow协调调用实际业务函数,不能靠查找按钮模拟click,也不读取界面显示文字当结果。
- 就绪分为通信在线、初始化中、相机已配置、模型已加载、料盘机器人配置有效;心跳存活不代表算法有进展。
- 请求接受后返回accepted,正常/失败/超时/取消只发布一个终态。取消/超时先使请求失效,底层退出前维持busy;不QThread::terminate。
- 自动控制期间,旧测量、OPC UA、相机参数和标定入口统一门控。显示窗口不会自动允许抢占资源。
- 部署新增对应MSVC版本Qt5Network DLL。后台启动错误输出并退出,不弹隐藏模态框;只正常关闭有明确归属的实例。
**验证:**真实IPC连接、新程序会话、采图期间心跳、单客户端、重复请求不重测、UI/旧OPC无法同时采图、关闭/断线清理。
## 6. 模块D:VisionGuide初始化与测量
**文件:**修改 CameraPanel.h/.cpp、CameraManager.h/.cpp(仅必要的参数/完成状态反馈)、MeasurementOptionsPanel.h/.cpp、MeasurementGuidanceSetup.cpp;MainWindow负责组织。
### 初始化
复用现有代码,公开一个返回逐项状态的初始化入口:
连接左、右相机 → 分别应用曝光/增益/带宽参数 → 左、右各发一次自动白平衡 → 确认初始化结果 → 模型/标定/料盘有效 → ready。
onApplyParams当前忽略部分返回值,需汇总左右结果,任一失败不能宣称两台均就绪。applyWhiteBalanceOnce只写Once,按SDK现有能力确认白平衡完成及必要采集条件;不能直接把“写命令成功”当“白平衡完成”。重复initialize在同一已成功相机连接代次幂等,不反复白平衡;重新连接后重新完成该相机初始化。驱动安装属于部署前提,不在每次启动自动安装驱动。
### 测量与机器人坐标
将start/complete/calculateGrasp最少量提取为原按钮和远程入口共用的调用路径:
检查左右初始化结果和左路算法就绪 → 按请求料盘取配置 → 固定R40拍照位姿及参数快照 → 用左相机新采图 → 原YOLO/精细化匹配 → 用本次R40位姿计算左路抓取XYZABC → 返回两组结果。
- 左相机模式不启用双目融合,右相机已连接不等于本次参与识别。
- 精细化显式用least_squares_high,不用很高或标准。现有默认MinScore=.60、Greediness=.85必须改为自动任务的.70/.80。
- 载入料盘配置后明确将本次偏移设为4.40;检查实际生效值,不能被历史profile覆盖。原标定/法向/固定D/高度策略按选中料盘保留,不假设新的高度规则。
- R40位置显示到界面仅供核对,计算直接使用快照,不依赖输入框后来改值。相机模型原点与抓取点是不同输出。
- 原calculateGrasp在busy时返回,需提取接收快照并返回结果的函数,不在complete里调用原按钮槽后假定成功。
- 复用新测量页的坐标规则,不混用旧CoordTransformPanel或旧OPC的相机回退结果。仅相机成功返回失败/partial,不给ssp写R60资格。
- 旧请求、超时结果及取消结果不得从线程回调重新变有效;绘图/归档放在结果之后,不因保存图像失败重复测量。
**验证:**同一左图、R40位姿样本、料盘和参数,与原手动操作结果逐项比较;确认高/0.70/0.80/5秒/原点/4.40确实生效,偏移只应用一次。连接和白平衡用真机单独验证,离线测试不假装硬件已就绪。
## 7. 模块E:ssp生产流程
**文件:**修改 services/productionservice.h/.cpp、services/productionworker.h/.cpp、services/deviceservice.h/.cpp,以及 pages/dashboardpage.h/.cpp、widget.h/.cpp的线程接线。
保留已有取放料主状态,在实际需要视觉的动作执行期间增加私有VisionStage子阶段,不为每个网络步骤新增数据库顶层状态:
```
等待有效拍照请求/到位静止
→ 读取R40完整XYZABC
→ 提交VisionGuide
→ 等待并校验相机和抓取结果
→ 写R60整组XYZABC
→ 按协议发布结果有效
→ 等待机器人接收确认
→ 完成清零/重新允许下一请求
→ 继续原动作反馈轮询
```
业务主线依据机器人到位后的拍照请求推进,不能先阻塞取料命令等待视觉,否则机器人可能永远到不了拍照点。用户已确认 851 请求拍照有效表示机器人停稳且 R40 已更新,因此仅在料架取料中以 851 触发;850 作为机器人接收反馈。PLC/机器人复位 850、851 后 ssp 清除 852–854,具体顺序按本版已同意的握手执行。
- 拍照请求持续高只产生一个周期,busy期间不重复采图;等待确认和请求复位后才允许下一次。
- 启动/重连遇到已经为高的请求或旧接收位,先恢复核对,不当成新请求或新确认。不能让上一周期ack完成本周期。
- 测量上下文绑定当前工件、料盘、步骤、请求号、进程会话和本地generation。视觉回调与PLC回调都检查它;IPC请求号并不自动形成PLC侧交易号。
- R60提交前检查工件仍有效、未暂停/停止、PLC/视觉会话一致、robot_valid和来源正确。读取失败、测量失败或超时不写目标、不发布成功。
- 请求尚未提交PLC时暂停/停止可作废;R60/有效位已经发出后不能假装取消撤销了机器人动作,需进入恢复核对。写入超时不能当作“肯定没写入”。
- 进程重启不自动续用内存坐标,进入已有RecoveryChecking/ManualConfirm并核对PLC。首版不增加自动跨重启续跑;若将来要求则另加持久化交易阶段。
- 单一DeviceService队列拥有PLC访问,VisionService只处理IPC;GUI与生产线程用queued信号传值,结果元类型注册。生产线程退出不得等待已阻塞GUI的IPC确认。
**验证:**模拟完整动作过程:到位/请求 → R40 → 视觉 → R60 → 有效 → ack/复位,验证持续高只测一次、旧ack不能成功、新工件不能用旧结果、R60写失败不发布有效、暂停/停止每个阶段正确进入终止或恢复状态。
## 8. 模块F:ssp界面、配置与部署
**文件:**新增 pages/visionpage.h/.cpp,修改 widget.h/.cpp、pages/dashboardpage.h/.cpp、config/configmanager.h/.cpp、config.ini、ssp.pro。
页面显示三组数据:R40拍照XYZABC、相机识别位姿、R60目标抓取XYZABC;并显示请求/工件/料盘、参数、耗时、初始化分项、PLC读写/机器人确认状态和失败原因。自动模式R40位姿只读。手动诊断测量与自动生产互斥,诊断结果不自动写R60。
配置按职责保存:ssp管理exe路径/IPC/PLC映射和等待;用户指定测量参数在一个权威配置中定义并随请求发送,VisionGuide校验、回显有效参数。曝光、增益、标定和料盘设置仍由VisionGuide管理。不重复维护两个互相覆盖的默认参数源。
保持PLC visionReady含义,独立显示视觉进程/初始化ready。日志记录每次交易R40、参数、相机结果、R60、握手结果和错误,不把每个心跳写入业务日志。失败后旧值可灰显但不能显示为本次可用。
部署保持完整VisionGuide包结构,清理子进程继承的错误Qt插件环境,不混用MSVC/MinGW DLL。ssp仍在旧Creator编译,VisionGuide单独构建。正常退出只关闭自己启动的视觉进程,外部实例只断开。
**验证:**旧Creator打开并构建ssp、数据库/原PLC行为回归、窗口不卡顿、状态不混淆、独立部署、缺失DLL/模型/相机的明确诊断。
## 9. 实施顺序及每步验收
| 步骤 | 实施模块 | 交付与验证 |
| --- | --- | --- |
| 0 | 协议准备 | 固定五个线圈地址、word order、R40冻结和线圈握手顺序;记录现有构建/单REAL行为,保留用户改动 |
| 1 | A:PLC底层 | 连续6 REAL编解码及块请求、握手读接口;模拟PLC验证。未确认的真机写位暂不执行 |
| 2 | B+C:双端通信 | 假结果跑通握手/参数/结果/取消/重连;检查32位ssp到64位VisionGuide |
| 3 | D:初始化 | 两台连接、参数应用、白平衡一次及ready状态;真机按步骤验证 |
| 4 | D:测量 | 固定用户参数,自动串联左路识别和抓取计算;离线对比原程序 |
| 5 | E:ssp流程 | 视觉子流程、R40读取和R60提交/确认;模拟机器人循环及每阶段故障测试 |
| 6 | F:界面配置 | 三组坐标、状态、错误、日志和启动退出;原界面/数据库/PLC回归 |
| 7 | 综合验证 | 确认点表协议后真实到位读取R40,真实视觉计算,受控写R60并验证接收和复位 |
阶段0的未决硬件项只阻止依赖它们的真实读写/握手,接口设计、模拟测试、双端通信和离线算法对比可继续。最终验收必须区分:编译通过、模拟通过、离线一致、真机坐标读写通过、机器人动作确认通过;不能用其中一项代替全部。
## 10. 成功标准
1. ssp原Qt Creator/Qt/MinGW构建成功,VisionGuide保持独立MSVC x64。
2. 左右相机初始化可报告各阶段成功/失败,正常测量不重复白平衡。
3. 固定左相机、高、5秒、.70/.80、中心、原点、4.40参数实际生效。
4. R40一组真实坐标绑定唯一一次采图;机器人坐标与原VisionGuide同输入结果一致。
5. 只有本次有效左路抓取坐标整组写入R60,经正确有效握手和机器人接收后才能认为本轮完成。
6. 超时/暂停/停止/断线/旧请求/写应答丢失均不会把旧坐标当新成功,也不会误触发重复测量或动作。
7. 既有用户修改保留,范围外逻辑不顺手重构,不自动commit。
+57
View File
@@ -0,0 +1,57 @@
# VisionGuide 独立进程接入交付记录
日期:2026-10-27。已实现软件,未运行真实 PLC、相机或机器人。
## 已实现模块
- ssp–PLC:R40/R60 各六个 REAL、12 个寄存器整组读写;低字在前/高字在前编解码校验;视觉写入无自动重试;区分未发送、确认成功、发送后状态不明。保留原单 REAL API。
- ssp–VisionGuide:异步 QLocalSocket、QProcess、四字节大端长度与 JSON、会话/请求/工件/料盘/代次校验、取消与迟到结果拒绝;单个测量在途。
- VisionGuide:独立线程通信;左右相机参数及一次白平衡初始化;新测量页左相机识别后自动计算抓取;冻结 R40 位姿及料盘参数;原 UI/OPC 与自动流程互斥。
- ssp 生产:只在 RackPick 料架取料中执行视觉子流程。先确认旧握手全低,再发原取料运动命令,收到 851 才读取 R40;有效结果写 R60,写应答确认后才置 854;等 850 及 850/851 复位,再清 ssp 输出,继续原动作反馈。
- 界面及恢复:新增“视觉引导”页显示三组坐标、初始化及流程状态;与生产线程 queued 传值。暂停/停止立即作废旧请求;提交后不确定状态保持人工恢复锁,停止到 Idle 也不能直接开启新订单。恢复按钮要求现场核对,先读 850/851,再清 ssp 输出并重读全部握手;旧坐标不重发。
## 线圈及固定参数
| 线圈 | 含义 | 控制方 |
|---|---|---|
| 850 | 机器人接收结果成功 | PLC/机器人 |
| 851 | 请求拍照,机器人已停稳且 R40 已更新 | PLC/机器人 |
| 852 | 相机拍照比对中 | ssp |
| 853 | 相机数据比对错误 | ssp |
| 854 | 相机比对通过,R60 可用 | ssp |
测量固定:左相机、高精细化、5 秒采图/识别截止、MinScore 0.70、Greediness 0.80、YOLO 中心选择、相机显示模型原点、模型 +Z 抓取偏移 4.40 mm。偏移只在 VisionGuide 应用一次。整体通信和机器人确认使用独立超时。
## 构建和验证
| 项目 | 结果与位置 |
|---|---|
| ssp 全工程(32 位) | Qt 5.14.1 / MinGW 7.3 32 位编译链接成功;`tmp/build-ssp-vision-client/ssp.exe`,日志 `production-build.log` |
| ssp 全工程(64 位,当前保存的 Kit) | Qt 5.14.1 / MinGW 7.3 64 位完整编译链接成功;`tmp/build-ssp-vision-64/ssp.exe`,PE 类型 AMD64;日志 `tmp/build-ssp-vision-64/build.log`。产物旁已复制根目录 `config.ini`,未运行该 exe |
| VisionGuide 全工程 | Qt 5.14.1 msvc2017_64 库 + 本机 VS2022 v143 编译器成功;`E:/QTCode/VisionGuide/VisionGuide_Qt/source/build-ssp-integration/bin/VisionGuide.exe`。本机未验证 VS2017 v141 编译器 |
| PLC 测试 | `tests/vision_plc`,11 passed;`tmp/vision_plc_build/final-results.txt` |
| ssp IPC 测试 | `tests/vision_ipc`,11 passed;`tmp/build-vision-ipc/test-results.txt` |
| 生产流程测试 | `tests/vision_production`,28 passed、0 failed;`tmp/build-vision-production/final-results.txt`;无硬件且无业务数据库连接 |
| 32 位 ssp / 64 位服务通信 | 6 passed;`tmp/build-cross-client/final-results.txt`;真实双端通信代码、假相机业务 |
| VisionGuide IPC | 8 passed;`E:/QTCode/VisionGuide/VisionGuide_Qt/source/build-ssp-ipc-test/results-final.txt` |
| VisionGuide 抓取/资源门控 | 7 passed;`E:/QTCode/VisionGuide/VisionGuide_Qt/source/build-ssp-grasp-test/results-final-ready.txt` |
生产测试包含真实异步 Modbus 管理器与本地 FakePlc,覆盖 R60/854 已排队而暂停槽尚未执行时的发送前门控。内存订单/报警夹具仅用于验证流程,没有做 PostgreSQL 全库回归。相机识别质量、真实白平衡完成和机器人目标消费尚未现场验收。没有通过 GUI 操作 Qt Creator;验证为对应 Qt/MinGW 的 qmake 和 make 构建。用户现有 `ssp.pro.user` 保存的活动 Kit 为 MinGW 64 位,本次保留该文件既有修改,并补齐 32/64 位两套构建验证。
## 配置与使用
1. Qt Creator 4.11.0 继续打开 `ssp.pro`,选择原 Qt 5.14.1 MinGW kit;新增 Qt Network 仍是 Qt 5.14 API。
2. 将根目录 `config.ini` 放到生成的 `ssp.exe` 同目录。当前测试构建目录已复制一份;Creator 使用其他构建目录时也要复制,默认配置读取 exe 同目录。
3. `vision/executablePath` 指向完整 VisionGuide 运行目录中的 exe。当前构建路径可用于开发;部署后按实际路径修改。保留其 `visionguide.package.json`、`qt.conf` 和完整模型/标定资源关系,不能把 MSVC DLL 混入 ssp 的 MinGW 目录。
4. 初次先在视觉页面启动/连接 VisionGuide,执行初始化。调试时“显示窗口”后“断开”可释放自动控制;自动生产期间诊断互斥。启动/初始化按钮会调用实际相机,需在设备测试阶段操作。
5. `enabled=false`、`contractConfirmed=false` 保留,料盘映射不猜测。上线前填写 `[visionTrayMap]`,核对 REAL 字序、单位 mm/deg、world/TOOL1、`Rz(A)Ry(B)Rx(C)` 和12字范围后再开启。多个 ssp 料盘可按现场需要映射到同一视觉配置。
视觉故障后若活动订单的 PLC 步骤仍处于取料/上料等无法明确恢复的状态,人工恢复会保留锁定并提示先终止当前任务、核对机器人后再恢复,不会进入旧的 Loading 空状态或先发 PLC 启动。仅已明确进入现有正面/反面检测步骤时可接回原恢复流程。
VisionGuide 原测量页已有 1–99 料盘配置选择,现场文件目前保存配置 1 和 2;它是标定/法向/示教/高度设置编号,不自动等同 ssp 实物料盘号。本次未修改其用户配置。
## 待现场验收
确认以上坐标约定和料盘映射,读 R40 对照示教器,检查两台初始化与白平衡、固定参数和抓取结果一致,再受控执行 R60 写入及握手。PLC 应保持请求/接收电平供轮询观察;本版没有 PLC 交易序号,未观察到完整握手会进入人工核对,不以旧确认推进。
未自动提交 Git;原 `ssp.pro.user` 和既有单 REAL 修改保留。
+64
View File
@@ -0,0 +1,64 @@
# ssp / VisionGuide 本机通信协议 v1
两端使用 Qt 5.14 的 QLocalSocket / QLocalServer。每帧为 4 字节无符号大端长度,随后为 UTF-8 JSON object;长度必须为 1..1048576。支持分包和连续多帧,非法帧断开。一次只允许一个控制客户端、一个测量。消息不含图像。
## 公共字段
所有请求/响应含 `protocol_version:1`、字符串 `type`、字符串 `request_id`、字符串 `server_session_id`。服务进程每次启动产生新 session。`hello` 请求的 session 为空;响应提供本进程 session。后续请求必须使用该 session。所有 request_id 不重复使用;断线不自动重发,旧 session / 已终止请求的结果不可使用。
响应 `status` 为 `ok`、`accepted`、`error`、`cancelled` 或 `timeout`,包含 `ready` 和 `resource_busy` 两个独立 bool。失败含字符串 `error_code`、`message`。`accepted` 不是终态;每个测量最多一个终态。终态取消不代表底层已退出,资源未释放时 `resource_busy` 仍为 true。
## 命令
| type | 含义 |
| --- | --- |
| hello | 协议握手及进程 session;不初始化设备 |
| get_status | 返回 ready/resource_busy 以及可选 initialization 对象 |
| initialize | 左右相机及算法初始化;accepted 后返回 ok/error |
| measure | 本次拍照、识别、抓取计算;accepted 后返回终态 |
| cancel | 带 target_request_id,取消该测量;cancel 本身独立应答,测量返回 cancelled |
| show_window | 显示原视觉调试窗口 |
| shutdown | 正常关闭(ssp 只对自己启动的进程发送) |
服务端主动状态消息使用 `type:"status"`、`request_id:""`、当前 session。业务失败不丢失关联上下文。相同测量编号不得重新采图。
状态响应还提供字符串 `server_process_id`。ssp 只有在该值与自身 QProcess 启动的子进程 PID 一致时才发送 shutdown;连接外部实例时退出仅断开。
## measure 请求
```json
{
"protocol_version":1,"type":"measure","request_id":"unique-id","server_session_id":"session",
"context":{"workpiece_id":"42","task_id":"run/action","tray_no":1,"generation":"1"},
"robot_pose":[1.0,2.0,3.0,4.0,5.0,6.0],
"pose_source":"plc_r40","pose_read_at":"2026-10-27T10:00:00.000Z",
"convention":{"frame":"world","tool":"TOOL1","rotation":"Rz(A)Ry(B)Rx(C)","linear_unit":"mm","angular_unit":"deg"},
"parameters":{"camera_mode":"left_only","refinement":"least_squares_high","deadline_ms":5000,"min_score":0.70,"greediness":0.80,"yolo_selection":"center","pose_display":"model_origin","grasp_offset_mm":4.40},
"require_robot_pose":true
}
```
`robot_pose` 是恰好 6 个有限数,顺序 XYZABC。`pose_source` 自动生产为 `plc_r40`,手动只读诊断为 `diagnostic`。context 的 id 为非空字符串,tray_no 为 1..99 整数。context 整体须原样返回。服务端检查固定 parameters 和 convention 后使用冻结快照,不以 UI 后来改动覆盖快照。5 秒仅为采图/识别截止;客户端整次请求另设超时。
## measure 成功响应
公共字段中 `type:"measure"`、`status:"ok"`;再含以下字段:
| 字段 | 内容 |
| --- | --- |
| context | 请求 context 原样返回 |
| camera_pose / robot_pose | 各 6 个有限 double;相机原点位姿 / 机器人抓取 XYZABC |
| camera_valid / robot_valid | 独立 bool,成功自动提交必须两者 true |
| source / pose_type | `LEFT` / `model_origin` |
| score | 有限数且不低于请求 min_score |
| parameters / convention | 本次实际使用值,必须与请求匹配 |
| calibration_fingerprint | 非空标定/料盘配置指纹 |
| run_id | 非空视觉运行标识 |
| capture_begin / capture_end | UTC ISO 时间字符串 |
| measure_elapsed_ms / grasp_elapsed_ms | 非负整数 |
只得到 camera_pose 时返回 error/partial 类错误,`robot_valid:false`,绝不复制相机坐标冒充机器人坐标。客户端只发布经过校验的结构化结果;R60 写入由生产流程决定。
## ssp 线程接口
VisionService 及其 QLocalSocket/QProcess 在 GUI 线程中创建使用。生产线程通过 queued connection 传 `QJsonObject` 值快照:`measure(request)`、`cancel(requestId)`,接收 `measurementFinished(result)`、`availabilityChanged(ready,busy,session)`。无阻塞等待,退出不依赖生产线程等 GUI 回答。`setProductionActive(bool)` 使诊断入口与生产互斥;自动请求使用 `measure`,页面使用 `diagnose`。