课程知识

任何视觉应用的第一步都是"拿到图像"。这部分决定了后续所有算法的输入质量。

关键概念

• 相机与镜头：视野（FOV）、工作距离、像素分辨率三者的关系决定检测精度。
• 触发方式：硬触发（光电传感器）与软触发（软件命令），AOI 产线多用硬触发保证节拍同步。
• 通信：GigE Vision、USB3 Vision 是主流工业相机接口。

对应 VisionPro 工具

• CogAcqFifoTool —— 图像采集工具，管理相机、触发、曝光、增益
• CogImageFileTool —— 从文件读取图像，开发调试时常用

PatMax 是康耐视的明星技术，用于在图像中找到已知图案的位置、角度和缩放。它是 AOI 中最常用的"定位"工具——先找到产品在哪，再在正确的位置做检测。

核心能力

• 几何特征匹配：基于边缘几何关系而非像素灰度，对光照变化、部分遮挡、噪声都有很强鲁棒性。
• 输出位姿：返回 X、Y、角度、缩放，作为后续工具的坐标系基准。
• PatMax RedLine：更快的版本，专为高节拍产线优化。

关键参数

• 接受阈值（Accept Threshold）：匹配分数低于此值判为未找到。设太高会漏检，太低会误检。
• 角度/缩放搜索范围：范围越大越慢，应按实际工况收窄。
• 训练图像与掩膜：训练时选一张高质量模板图，掩膜用于排除不稳定区域（如反光、可变文字）。

C# API 要点（Advanced 课程内容）

• 创建 CogPatMaxRedLineTool，设置 InputImage
• 用 Pattern.Train() 训练，或从已保存的模式加载
• Run() 后通过 Results 读取 CogPMAlignResult 的位姿

Blob 工具把图像按灰度阈值二值化，找出连通的"斑点"区域，再统计每个区域的面积、周长、重心、外接矩形等特征。适合检测有无、计数、尺寸、缺陷。

处理流程

• 分割（Segmentation）：按阈值把图像分成前景/背景
• 连通性分析：把相邻的前景像素归为一个斑点（4 连通或 8 连通）
• 测量（Measure）：对每个斑点计算面积、重心、包围盒等
• 筛选：按面积、形状等条件过滤掉噪声

关键参数

• 阈值模式：固定阈值（HardFixedThreshold）、相对阈值、自动阈值
• 极性（Polarity）：找亮点（LightBlobs）还是找暗点（DarkBlobs）——这是最常被忽略、却最容易出错的地方
• 面积范围：AreaMin / AreaMax 过滤噪点和过大区域
• 区域（Region）：限定搜索范围，提升速度与稳定性

C# API 对应

• CogBlobTool、SegmentationParams、MeasureParams
• 结果：CogBlobResultCollection，每个 CogBlobResult 含 Area、CenterOfMassX/Y、GetBoundingBox()

Fixture 不是物理夹具，而是"坐标系对齐"：用定位工具（如 PatMax）的结果建立一个跟随产品移动的坐标系，让后续所有工具都相对产品定位，而不是相对图像原点。

为什么必须用 Fixture

• 产品在视野中的位置和角度每次都会变
• 如果 ROI 固定在图像坐标，产品一动，ROI 就偏了
• 用 Fixture 后，ROI 跟着产品走，检测才稳定

实现方式

• VisionPro 中：把 PatMax 工具的 GetPose() 结果赋给下游工具的 InputImage 的坐标系（Coordinate Space）
• 概念上：图像坐标 → Fixture 坐标 → 工具在 Fixture 坐标下定义 ROI

Caliper 沿一条搜索线寻找边缘点（灰度突变处），是最基础的测量工具。多个 Caliper 的边缘点可以拟合成直线、圆，再交给 Geometry 工具计算距离、角度、交点。

Caliper 关键参数

• 搜索方向：沿投影线扫，找由暗到亮或由亮到暗的边缘
• 边缘极性：上升沿 / 下降沿 / 任意
• 对比度阈值：边缘两侧灰度差的下限，太低会误检噪声
• 滤波与拟合：单点、直线拟合、圆拟合

Geometry 工具

• 由 Caliper 结果构造直线、圆、椭圆
• 计算两线夹角、点到线距离、线线交点
• AOI 中常见的尺寸测量（如引脚间距、孔径）都靠这套组合

直方图工具统计图像灰度分布，用于判断图像亮度是否合适、自动确定阈值、做对比度拉伸。

常见用途

• 评估照明：看灰度是否集中在中间区域，是否过曝或欠曝
• 自动阈值：用直方图双峰之间的谷值作为 Blob 阈值
• 对比度增强：直方图均衡化，提升弱对比缺陷的可检测性

标定建立"像素坐标"与"物理坐标（毫米）"之间的映射关系。没有标定，测出来的都是像素数，无法换算成实际尺寸。

常见标定类型

• 棋盘格标定（Checkerboard）：用标准棋盘格，计算像素/毫米比例，可校正镜头畸变
• N 点标定（N-Point）：用若干已知物理坐标的点，建立仿射变换
• 手眼标定（Hand-Eye）：相机与机器人/运动平台之间的坐标变换，用于引导抓取

典型输出

• 像素当量（mm/pixel）
• 仿射或透视变换矩阵
• 镜头畸变系数

OCRMax 读取字符（Read），OCVMax 验证字符是否与预期一致（Verify）。AOI 中用于检测丝印、批号、二维码旁的明码字符。

关键概念

• 字符集训练：需要为每种字体训练字符样本
• 分割：把字符串分割成单个字符
• 置信度：每个字符的识别置信度，低于阈值应告警

照明是机器视觉中最容易被忽视、却对结果影响最大的环节。好的照明能让缺陷"自己跳出来"，差的照明再怎么调算法也救不回来。

常见光源类型

• 环形光：通用照明，适合大部分平面检测
• 背光（Backlight）：从物体背面打光，形成剪影，测尺寸、轮廓最准
• 同轴光（Coaxial）：检测镜面、反光表面的划痕
• 低角度光（Dark Field）：掠射表面，突出凸起、划痕、纹理
• 穹顶光（Dome）：均匀漫射，适合曲面、高反光物体

选择原则

• 先明确"要检测什么缺陷"，再选能最大化该缺陷对比度的照明
• 能用背光就不用前光（背光轮廓最稳定）
• 考虑环境光干扰，必要时加遮光罩

检测出结果之后，要把它传给 PLC、MES 或上位机。VisionPro 提供 Communications Explorer 配置 I/O 和 TCP/IP。

通信方式

• 数字 I/O：OK/NG 信号、触发信号，最基础
• TCP/IP：传结构化结果（坐标、测量值、判定）
• PLC 协议：通过 OPC UA、Modbus 等与产线控制器对接

结果分析

• 记录每次检测的分数、测量值，做趋势分析
• 用统计（CPK、直方图）评估工艺稳定性
• 把 NG 图像存档，用于后续复判和算法迭代

传统工具依赖人工设定阈值和规则；深度学习则从样本中自动学习特征。康耐视把轻量级的深度学习称为 Edge Learning，在设备端（而非云端）完成推理。

VisionPro Deep Learning 的三大工具

• 红色工具（Red / Analyze）：缺陷检测、异常检测，分有监督与无监督模式
• 蓝色工具（Blue / Locate & Read）：定位、字符读取
• 绿色工具（Green / Classify）：图像分类

与规则算法的取舍

• 缺陷形态规则、对比度高 → 传统工具更快更稳
• 缺陷形态多变、难以用规则描述 → 深度学习更合适
• 深度学习需要足够的标注样本，且需要 GPU 训练