# 方案二:按模块实施 R40 → VisionGuide → R60 更新:2026-10-27。状态:模块 A–F 已实施,ssp 的 Qt 5.14.1 / MinGW 32 位工程已编译,VisionGuide 独立 MSVC x64 工程已编译;PLC、IPC、生产流程已完成无硬件模拟测试。未连接真实 PLC/相机/机器人;现场验收尚待完成。实际交付与测试见 `docs/visionguide-integration-status.md`。 ## 1. 已确定目标与边界 - ssp:`E:/QTCode/ssp/ssp`,保留 Qt Creator 4.11.0、Qt 5.14.1、MinGW、C++11。 - VisionGuide:`E:/QTCode/VisionGuide/VisionGuide_Qt/source`,独立 MSVC x64 进程,使用本项目源码和算法,不调用 demo/相机资料中的 SDK。 - 信号表:`E:/QTCode/ssp/项目信号表/小轴信号.xlsx`,Sheet1。 - 自动生产位姿来源已确定:机器人到位后由 ssp 读取 R40 起始的 XYZABC,作为本次拍照位姿传给 VisionGuide。 - 按用户最新约定,五个握手信号按顺序使用 Modbus 线圈 850–854;PLC/机器人控制 850、851,ssp 控制 852–854。 - 仅料架取料 RackPick 触发拍照;正面检测位取回、反面检测位取回和放料均不触发。用户已确认 851 有效表示机器人停稳且 R40 已更新。 - VisionGuide 执行左相机测量并计算抓取 XYZABC,返回两组坐标;ssp 仅把有效的机器人抓取坐标写到 R60。 - 启动/初始化:连接左右相机 → 应用现有相机参数 → 左右相机各执行一次自动白平衡 → 校验模型及料盘配置 → 就绪。不是每次测量都重做白平衡。 - 相机测量固定使用用户指定值:左相机、高精细化 least_squares_high、截止5秒、MinScore=0.70、Greediness=0.80、YOLO中心选择、相机显示模型原点、抓取偏移4.40mm。 - 4.40mm沿模型+Z应用一次,不能被“模型原点显示”取消,也不能在ssp回写时再次补偿。 - 第一版保留原视觉调试界面,不抽取通用视觉库,不传输实时视频。正常生产坐标不依赖人工输入框。 ## 2. 阶段0:事实依据、允许API与未决项 ### 2.1 源码和本地API | 依据 | 复用方式/已确认事实 | | --- | --- | | ssp modbus/modbustcpmanager.cpp:150、175 | 已有 readRReal/writeRReal,0x3000+R编号,低16位字先,memcpy转换float;现有用户修改要保留 | | ssp modbus/modbustcpmanager.h 的 Request | 已支持 count 和 QVector,可最小扩展整组读写,无需另写Modbus栈 | | ssp modbus/modbustcpmanager.cpp:305 | Qt客户端统一配置 retryCount,新增视觉提交命令需区分发送前失败和写后应答不明 | | ssp services/deviceservice.cpp:62、694 | 拥有现有PLC连接,沿用异步回调和队列;这里封装R40/R60与视觉线圈握手 | | ssp services/productionservice.cpp:911 | processProductionAction()维持进行中动作,视觉握手宜作为该动作期间的子流程 | | ssp services/productionworker.cpp:10 | ProductionService在生产线程内创建 | | ssp pages/dashboardpage.cpp:298 | 析构会等待生产线程,新增退出流程不能要求GUI在wait期间回复 | | VisionGuide MeasurementOptionsPanel.cpp:274、352、381 | start/complete/calculateGrasp是现有流程,抓取计算尚未自动串联,busy时calculateGrasp直接返回 | | VisionGuide MeasurementGuidanceSetup.cpp:148、188 | 料盘恢复会覆盖offset,远程快照必须明确采用4.40并检查实际生效值 | | VisionGuide CameraPanel.cpp:228、259 | 复用相机参数与白平衡逻辑;目前成功状态不完整,需返回左右分别成功/失败 | | VisionGuide CameraManager.cpp:319 | applyWhiteBalanceOnce仅提交BalanceWhiteAuto=Once,不证明算法已经完成;按SDK能力核验状态 | | VisionGuide MainWindow.cpp:85 | 新测量页创建位置,适合接线IPC,不走旧OPC测量链 | | VisionGuide CameraManager.cpp:247 | 采图会阻塞,通信不得依赖GUI线程立即响应 | 允许的 Qt 5.14.1 API已核对本机头文件: - QtNetwork/qlocalserver.h:listen、newConnection、nextPendingConnection、UserAccessOption。 - QtNetwork/qlocalsocket.h:connectToServer、connected/disconnected、QIODevice::readyRead、error(QLocalSocket::LocalSocketError)。不是较新版本的QLocalSocket::errorOccurred。 - QtCore/qprocess.h:start(program, arguments)、setWorkingDirectory、setProcessEnvironment、errorOccurred、finished(int,ExitStatus)。 - QtSerialBus使用现有QModbusDataUnit/QModbusTcpClient异步路径。坐标使用功能码0x03读保持寄存器、0x10写多个保持寄存器;五个握手信号复用readCoil/readCoils和writeCoil,使用0x01读线圈、0x05写单线圈。 头文件根目录:C:/Qt/Qt5.14.1/5.14.1/mingw73_32/include。 ### 2.2 地址映射 顺序XYZABC由用户给定;信号表列出REAL[6]和逐项Modbus起始地址。每个REAL占两个16位寄存器。 | 分量 | 当前机器人R起点 | Modbus起点 | 抓取反馈R起点 | Modbus起点 | | --- | --- | --- | --- | --- | | X | R40 | 12328 | R60 | 12348 | | Y | R42 | 12330 | R62 | 12350 | | Z | R44 | 12332 | R64 | 12352 | | A | R46 | 12334 | R66 | 12354 | | B | R48 | 12336 | R68 | 12356 | | C | R50 | 12338 | R70 | 12358 | 来源:Sheet1 C75:H87。反馈R62等由R60起点和逐项Modbus地址推导。 **待确认:**注释写R40–R52/R60–R72但又注明12个INT;按逐项起点计算实际12字应为R40–R51/R60–R71。方案按“6个REAL/12个字”描述,但真机读写长度在确认前不执行。现有代码低字在前是软件事实,不能替代PLC实测。 相关握手信号按用户最新要求统一采用线圈访问。原信号表位置(Sheet1 C50:H54)仅保留用于追溯,不作为线圈地址使用: | 信号 | 原表标注(仅追溯) | 实施访问类型 | Modbus线圈地址 | | --- | --- | --- | --- | | 机器人接收结果成功 | D100.14 | Coil / bool | 850,PLC/机器人控制 | | 请求相机拍照 | D100.15 | Coil / bool | 851,PLC/机器人控制 | | 相机拍照比对 | D106.0 | Coil / bool | 852,ssp 控制 | | 相机数据比对错误 | D112.12 | Coil / bool | 853,ssp 控制 | | 相机比对通过 | D112.15 | Coil / bool | 854,ssp 控制 | 不再为这五个信号设计 D 寄存器整字读改写或掩码写。用户同意先实现如下顺序,后续可按现场协议修改:851 到位请求 → ssp 置 852 → R40 读取/视觉计算 → R60 整组写入确认 → ssp 置 854 → 等待 850 → 等待 850、851 均复位 → ssp 清 852–854。失败置 853 的路径不会发布 854;未确认写入则进入人工核对,不自动重发。 ### 2.3 真机实施前需要补齐的信息 1. 确认上述12字范围及REAL高低字序;与机器人界面的正数、负数和小数样本对照。 2. 用户已确认 851 有效保证机器人已停稳且 R40 已更新;现场还需核验拍照期间保持稳定,一次 Modbus 块读本身不提供 PLC 扫描快照。 3. 850–854 地址、置位方和上述握手顺序已确认先按此实施;现场需验证接收位保持时间足够供 ssp 轮询观察,以及机器人只在 854 有效后消费 R60。 4. R40单位、坐标系、工具和ABC顺序须匹配新流程的mm/deg、world、TOOL1、Rz(A)Ry(B)Rx(C);不一致时先定义转换。 5. 实际曝光、增益、带宽沿用当前有效配置,不发明数值。料盘高度策略及示教沿用对应料盘配置;若当前配置不完整,返回未就绪。 6. 仅 RackPick 料架取料拍照已确定。ssp 实物料盘与 VisionGuide 测量配置编号的映射仍待确认,不能假定同号。现有主生产 PLC 地址有占位定义,与本表并非全部一致;本次不顺手重配全部信号。 前四项是连接真机读写/握手前的明确依赖。通信、模块接口、模拟测试和离线回归可以先开展;本计划不把未回复的问题视为已确认。 ## 3. 模块A:ssp—PLC通信 **责任:**从PLC获取当前拍照位姿、写入抓取目标并提供握手数据,VisionGuide不直接连PLC。 **文件:** - 修改 modbus/modbustcpmanager.h/.cpp:扩展连续R REAL读写,复用已有队列和编解码。 - 修改 services/deviceservice.h/.cpp:新增业务接口和握手状态读取。 - 修改 modbus/modbusaddress.h/.cpp、config/configmanager.h/.cpp、config.ini:增加R坐标地址、五个具名线圈地址及超时配置。未配置线圈用明确的未配置状态表示,不能默认到地址0;未配置时禁止相关真机访问。R地址配置避免同时保存R编号和绝对地址导致重复加0x3000。 - 新增 models/visionresult.h:集中放小型RobotPose/任务/结果值结构,不做通用协议框架。 拟新增接口名称(不是当前已存在): - ModbusTcpManager::readRReals(startR, count, callback)。 - ModbusTcpManager::writeRReals(startR, values, callback)。 - DeviceService::readRobotPhotoPose(callback)。 - DeviceService::writeRobotGraspPose(pose, callback)。 - DeviceService::readVisionHandshake(callback)。 - 结果提交/失败通知接口在握手顺序确认后定义。 **细节:** - R40一次读取12个字,解码6个REAL;R60一次功能码0x10写12个字。避免六次单轴操作导致混合新旧坐标。 - 模块入口检查地址边界、数量、回调/接收返回值、有限数值。VisionGuide内部double回写float32时检查溢出,记录精度变化;JSON不用截成界面三位小数。 - 单位保持mm/deg,复用memcpy,不用违反别名规则的指针强转。Modbus字内字节序由Qt处理,PLC的高低16位字顺序单独按确认值处理。 - 五个握手信号均用bool线圈接口,读取使用readCoil/readCoils,写入使用writeCoil。仅在实际映射连续且范围已确认时合并读取;每次写入只操作协议规定由ssp控制的目标线圈。 - 按协议先准备无效状态/握手 → 写整组R60 → 确认数据写入 → 发布结果有效 → 等机器人接收。不能把Modbus应答当机器人已取到目标。 - 发送后超时进入“写入/提交状态不确定”,禁止直接继续动作或换新坐标重发。数据重写只在确认缓冲尚未消费时允许;结果提交不盲目自动重试。重试策略只改相关视觉请求,不改变所有既有PLC命令。 - 停止/cancel无法撤销已经发送的Modbus写入,需核对PLC状态;取消后尚在本地队列的视觉写入不得继续发出。 **验证:**模拟PLC测试地址、完整XYZABC、负数/小数/极值、数量错误、NaN/Inf、字序、整组写、五个线圈的独立读写、不影响其他线圈和应答丢失。接真机后读取R40对照示教器;R60受控验证必须在握手确认后进行。 ## 4. 模块B:ssp—VisionGuide通信 **责任:**启动/连接独立视觉程序、发送测量请求、返回结构化结果、超时和会话管理,不读写PLC。 **文件:**新增 services/visionservice.h/.cpp;修改 config/configmanager.h/.cpp、config.ini、ssp.pro(QT += network)。 通信固定QLocalSocket;QProcess管理自身启动的进程。视觉状态与PLC visionReady分开。客户端归属GUI线程,全部异步;ProductionWorker用queued signal传递值对象,不跨线程调用socket。 协议:4字节大端长度+UTF-8 JSON,上限1MiB。命令hello/get_status/initialize/measure/cancel/show_window/shutdown。每条含protocol_version、request_id、server_session_id。一个在途测量,busy不排队;重复编号不重复采集,重连不自动重发。 measure请求最小包含: - 工件/任务上下文、料盘编号、来自R40的XYZABC。 - R40读取时刻、来源plc_r40、静止/拍照请求的关联信息;这不是硬件曝光时间戳。 - camera_mode=left_only、refinement=least_squares_high、deadline_ms=5000、min_score=.70、greediness=.80、yolo_selection=center、pose_display=model_origin、grasp_offset_mm=4.40。 - require_robot_pose=true;world/tool/角度约定经现场确认后传入。 结果最小包含: - 相同request/session/workpiece/tray以及视觉run编号。 - 相机模型原点坐标、pose_type、score、source=LEFT、camera_valid。 - 左路计算的抓取XYZABC、world/tool/旋转约定、robot_valid、所用参数和标定/料盘指纹。 - capture_begin/end、measure_elapsed_ms、grasp_elapsed_ms、status及error_code/message。 - 独立报告资源是否空闲。camera_valid不代表robot_valid,两者不可替代。 5秒严格对应用户设置的**测量页采图/识别截止**,不包括进程启动、加载模型、PLC读写及机器人接收。抓取计算、IPC与整次交易另外设置有界等待;不得默默把全部流程限成5秒或在超时后使用旧结果。具体整体等待值根据联调确定。 **验证:**用假服务端/客户端测试分包、多包、异常字段、版本/会话不符、重复请求、取消、迟到结果、启动失败和重连。只解析并发信号,不因收到JSON就在此模块直接写R60。 ## 5. 模块C:VisionGuide通信 **责任:**接收ssp命令并路由给现有业务,主动返回状态和结果。 **文件:**新增 VisionIpcServer.h/.cpp;修改 main.cpp、MainWindow.h/.cpp、VisionGuide.pro、tools/Stage-QtCreatorRuntime.ps1。 - QLocalServer单控制连接,同用户访问;参数--ipc-name/--background。保留QApplication和原窗口,不新增Windows服务。 - 服务端及socket在专用QThread里创建/销毁,避免现有同步采图阻塞心跳;通过queued signal传递值类型消息。 - initialize、measure和cancel由MainWindow协调调用实际业务函数,不能靠查找按钮模拟click,也不读取界面显示文字当结果。 - 就绪分为通信在线、初始化中、相机已配置、模型已加载、料盘机器人配置有效;心跳存活不代表算法有进展。 - 请求接受后返回accepted,正常/失败/超时/取消只发布一个终态。取消/超时先使请求失效,底层退出前维持busy;不QThread::terminate。 - 自动控制期间,旧测量、OPC UA、相机参数和标定入口统一门控。显示窗口不会自动允许抢占资源。 - 部署新增对应MSVC版本Qt5Network DLL。后台启动错误输出并退出,不弹隐藏模态框;只正常关闭有明确归属的实例。 **验证:**真实IPC连接、新程序会话、采图期间心跳、单客户端、重复请求不重测、UI/旧OPC无法同时采图、关闭/断线清理。 ## 6. 模块D:VisionGuide初始化与测量 **文件:**修改 CameraPanel.h/.cpp、CameraManager.h/.cpp(仅必要的参数/完成状态反馈)、MeasurementOptionsPanel.h/.cpp、MeasurementGuidanceSetup.cpp;MainWindow负责组织。 ### 初始化 复用现有代码,公开一个返回逐项状态的初始化入口: 连接左、右相机 → 分别应用曝光/增益/带宽参数 → 左、右各发一次自动白平衡 → 确认初始化结果 → 模型/标定/料盘有效 → ready。 onApplyParams当前忽略部分返回值,需汇总左右结果,任一失败不能宣称两台均就绪。applyWhiteBalanceOnce只写Once,按SDK现有能力确认白平衡完成及必要采集条件;不能直接把“写命令成功”当“白平衡完成”。重复initialize在同一已成功相机连接代次幂等,不反复白平衡;重新连接后重新完成该相机初始化。驱动安装属于部署前提,不在每次启动自动安装驱动。 ### 测量与机器人坐标 将start/complete/calculateGrasp最少量提取为原按钮和远程入口共用的调用路径: 检查左右初始化结果和左路算法就绪 → 按请求料盘取配置 → 固定R40拍照位姿及参数快照 → 用左相机新采图 → 原YOLO/精细化匹配 → 用本次R40位姿计算左路抓取XYZABC → 返回两组结果。 - 左相机模式不启用双目融合,右相机已连接不等于本次参与识别。 - 精细化显式用least_squares_high,不用很高或标准。现有默认MinScore=.60、Greediness=.85必须改为自动任务的.70/.80。 - 载入料盘配置后明确将本次偏移设为4.40;检查实际生效值,不能被历史profile覆盖。原标定/法向/固定D/高度策略按选中料盘保留,不假设新的高度规则。 - R40位置显示到界面仅供核对,计算直接使用快照,不依赖输入框后来改值。相机模型原点与抓取点是不同输出。 - 原calculateGrasp在busy时返回,需提取接收快照并返回结果的函数,不在complete里调用原按钮槽后假定成功。 - 复用新测量页的坐标规则,不混用旧CoordTransformPanel或旧OPC的相机回退结果。仅相机成功返回失败/partial,不给ssp写R60资格。 - 旧请求、超时结果及取消结果不得从线程回调重新变有效;绘图/归档放在结果之后,不因保存图像失败重复测量。 **验证:**同一左图、R40位姿样本、料盘和参数,与原手动操作结果逐项比较;确认高/0.70/0.80/5秒/原点/4.40确实生效,偏移只应用一次。连接和白平衡用真机单独验证,离线测试不假装硬件已就绪。 ## 7. 模块E:ssp生产流程 **文件:**修改 services/productionservice.h/.cpp、services/productionworker.h/.cpp、services/deviceservice.h/.cpp,以及 pages/dashboardpage.h/.cpp、widget.h/.cpp的线程接线。 保留已有取放料主状态,在实际需要视觉的动作执行期间增加私有VisionStage子阶段,不为每个网络步骤新增数据库顶层状态: ``` 等待有效拍照请求/到位静止 → 读取R40完整XYZABC → 提交VisionGuide → 等待并校验相机和抓取结果 → 写R60整组XYZABC → 按协议发布结果有效 → 等待机器人接收确认 → 完成清零/重新允许下一请求 → 继续原动作反馈轮询 ``` 业务主线依据机器人到位后的拍照请求推进,不能先阻塞取料命令等待视觉,否则机器人可能永远到不了拍照点。用户已确认 851 请求拍照有效表示机器人停稳且 R40 已更新,因此仅在料架取料中以 851 触发;850 作为机器人接收反馈。PLC/机器人复位 850、851 后 ssp 清除 852–854,具体顺序按本版已同意的握手执行。 - 拍照请求持续高只产生一个周期,busy期间不重复采图;等待确认和请求复位后才允许下一次。 - 启动/重连遇到已经为高的请求或旧接收位,先恢复核对,不当成新请求或新确认。不能让上一周期ack完成本周期。 - 测量上下文绑定当前工件、料盘、步骤、请求号、进程会话和本地generation。视觉回调与PLC回调都检查它;IPC请求号并不自动形成PLC侧交易号。 - R60提交前检查工件仍有效、未暂停/停止、PLC/视觉会话一致、robot_valid和来源正确。读取失败、测量失败或超时不写目标、不发布成功。 - 请求尚未提交PLC时暂停/停止可作废;R60/有效位已经发出后不能假装取消撤销了机器人动作,需进入恢复核对。写入超时不能当作“肯定没写入”。 - 进程重启不自动续用内存坐标,进入已有RecoveryChecking/ManualConfirm并核对PLC。首版不增加自动跨重启续跑;若将来要求则另加持久化交易阶段。 - 单一DeviceService队列拥有PLC访问,VisionService只处理IPC;GUI与生产线程用queued信号传值,结果元类型注册。生产线程退出不得等待已阻塞GUI的IPC确认。 **验证:**模拟完整动作过程:到位/请求 → R40 → 视觉 → R60 → 有效 → ack/复位,验证持续高只测一次、旧ack不能成功、新工件不能用旧结果、R60写失败不发布有效、暂停/停止每个阶段正确进入终止或恢复状态。 ## 8. 模块F:ssp界面、配置与部署 **文件:**新增 pages/visionpage.h/.cpp,修改 widget.h/.cpp、pages/dashboardpage.h/.cpp、config/configmanager.h/.cpp、config.ini、ssp.pro。 页面显示三组数据:R40拍照XYZABC、相机识别位姿、R60目标抓取XYZABC;并显示请求/工件/料盘、参数、耗时、初始化分项、PLC读写/机器人确认状态和失败原因。自动模式R40位姿只读。手动诊断测量与自动生产互斥,诊断结果不自动写R60。 配置按职责保存:ssp管理exe路径/IPC/PLC映射和等待;用户指定测量参数在一个权威配置中定义并随请求发送,VisionGuide校验、回显有效参数。曝光、增益、标定和料盘设置仍由VisionGuide管理。不重复维护两个互相覆盖的默认参数源。 保持PLC visionReady含义,独立显示视觉进程/初始化ready。日志记录每次交易R40、参数、相机结果、R60、握手结果和错误,不把每个心跳写入业务日志。失败后旧值可灰显但不能显示为本次可用。 部署保持完整VisionGuide包结构,清理子进程继承的错误Qt插件环境,不混用MSVC/MinGW DLL。ssp仍在旧Creator编译,VisionGuide单独构建。正常退出只关闭自己启动的视觉进程,外部实例只断开。 **验证:**旧Creator打开并构建ssp、数据库/原PLC行为回归、窗口不卡顿、状态不混淆、独立部署、缺失DLL/模型/相机的明确诊断。 ## 9. 实施顺序及每步验收 | 步骤 | 实施模块 | 交付与验证 | | --- | --- | --- | | 0 | 协议准备 | 固定五个线圈地址、word order、R40冻结和线圈握手顺序;记录现有构建/单REAL行为,保留用户改动 | | 1 | A:PLC底层 | 连续6 REAL编解码及块请求、握手读接口;模拟PLC验证。未确认的真机写位暂不执行 | | 2 | B+C:双端通信 | 假结果跑通握手/参数/结果/取消/重连;检查32位ssp到64位VisionGuide | | 3 | D:初始化 | 两台连接、参数应用、白平衡一次及ready状态;真机按步骤验证 | | 4 | D:测量 | 固定用户参数,自动串联左路识别和抓取计算;离线对比原程序 | | 5 | E:ssp流程 | 视觉子流程、R40读取和R60提交/确认;模拟机器人循环及每阶段故障测试 | | 6 | F:界面配置 | 三组坐标、状态、错误、日志和启动退出;原界面/数据库/PLC回归 | | 7 | 综合验证 | 确认点表协议后真实到位读取R40,真实视觉计算,受控写R60并验证接收和复位 | 阶段0的未决硬件项只阻止依赖它们的真实读写/握手,接口设计、模拟测试、双端通信和离线算法对比可继续。最终验收必须区分:编译通过、模拟通过、离线一致、真机坐标读写通过、机器人动作确认通过;不能用其中一项代替全部。 ## 10. 成功标准 1. ssp原Qt Creator/Qt/MinGW构建成功,VisionGuide保持独立MSVC x64。 2. 左右相机初始化可报告各阶段成功/失败,正常测量不重复白平衡。 3. 固定左相机、高、5秒、.70/.80、中心、原点、4.40参数实际生效。 4. R40一组真实坐标绑定唯一一次采图;机器人坐标与原VisionGuide同输入结果一致。 5. 只有本次有效左路抓取坐标整组写入R60,经正确有效握手和机器人接收后才能认为本轮完成。 6. 超时/暂停/停止/断线/旧请求/写应答丢失均不会把旧坐标当新成功,也不会误触发重复测量或动作。 7. 既有用户修改保留,范围外逻辑不顺手重构,不自动commit。