基于 庐山派 K230 + 官方可触摸屏 (ST7701 800×480) 的脱机视觉追踪程序,面向全国大学生电子设计竞赛。 核心能力:LAB 颜色阈值色块追踪,并通过 USART2 把目标坐标实时发给 STM32 主控;附带几何形状识别模式(赛前准备)。
本仓库对应程序
threshold_lvgl.py的 v4.0 优化 + 特别调试版,在比赛现场调试时新增了:配置持久化、调试 HUD、串口链路自检、错误兜底显示。
| K230 引脚 | 复用功能 | 连接目标 |
|---|---|---|
| GPIO05 | UART2_TXD | STM32 PB11 (RX) |
| GPIO06 | UART2_RXD | STM32 PB10 (TX) |
- 屏幕:ST7701,800×480,RGB565,OSD 层数 = 2(OSD1=相机/掩膜,OSD2=LVGL 覆盖层)。
- 串口参数:波特率 115200 / 8N1。
| 模式 | 触发按钮 | 说明 | 是否发坐标 |
|---|---|---|---|
| VIEW(默认) | — | 仅显示 + 检测框 | 否 |
| TRACK | Track |
色块追踪 + 平滑锁定 + 发坐标(比赛主功能) | 是 |
| SHAPE | Shape |
几何形状识别 + 轮廓描边 + 发中心 | 是 |
| MASK | MASK |
LAB 阈值编辑器:拖滑块实时看二值掩膜,逐步收紧到只命中目标 | 否 |
辅助按钮:
ROI:在全屏 / 左半 / 右半 / 中央 四个 ROI 预设间循环,缩小搜索范围提升帧率与抗干扰。Save:把当前 阈值 + ROI 落盘到 SD 卡,下次开机自动加载(断电不丢)。DBG:开关 调试 HUD(FPS / 剩余内存 / 串口 TX·ERR 计数 / 最近坐标 / 当前阈值)。TEST:发一帧 串口自检帧(FLAG.bit3=1),用于验证 K230→STM32→PC 串口链路(详见 §5)。
坐标帧固定 10 字节:
0x3C 0x3B [XH][XL] [YH][YL] [FLAG] [CRC] 0x01 0x01
- 坐标:大端 16 位。
TEST自检帧坐标填(0x7FFF, 0x7FFF)以示区分。 FLAG位定义:bit0= valid(目标有效)bit1= hit(命中/锁定)bit2= shape_mode(0=色块追踪,1=形状识别)bit3= test(自检帧,仅供链路验证,主控应忽略或回显)
CRC:对[XH][XL][YH][YL][FLAG]五字节做 CRC-8(poly=0x07,初值 0,与代码crc8()一致)。- 末两字节固定
0x01 0x01作帧尾。
- 上电进入 VIEW,把目标物体放在视野内。
- 按
MASK进入阈值编辑器;默认阈值是全白(整个 LAB 空间都命中)。 - 拖动 6 个滑块
Lmin/Lmax/Amin/Amax/Bmin/Bmax,观察二值掩膜,逐步收紧到只覆盖目标、背景尽量为黑。 - 按
MASK退出编辑器,按ROI选合适搜索区(可选)。 - 按
Save落盘;之后每次开机自动加载,无需重新标定。 - 比赛时按
Track开追踪;STM32 侧即可收到坐标帧。
调试时按
DBG打开 HUD,可实时看到 FPS、内存、串口收发计数与当前阈值,方便判断性能瓶颈与链路状态。
现场最易出问题的是串口接线/波特率/电平。用 TEST 按钮 + PC 端脚本快速验证:
pip install pyserial
python tools/uart_link_test.py # 列出可用串口
python tools/uart_link_test.py COMx 115200按下 K230 屏上的 TEST,PC 端应打印类似:
[TEST] x=32767 y=32767 flag=0x0b(valid,hit,test) crc=OK
收到即说明 K230→STM32→PC 通路通畅(注意:本脚本监听的是接到 PC 的那一路串口,需确保 STM32 把 K230 的数据回传或直连 PC 抓包)。
脱机阈值追踪/
├── threshold_lvgl.py # 主程序(可运行入口,拷到 K230 运行)
├── README.md # 本说明
├── config/
│ └── threshold_default.json # 出厂默认阈值/ROI 示例(运行时 Save 会写到 SD 卡 /sdcard/threshold_config.json)
├── tools/
│ └── uart_link_test.py # PC 端串口自检脚本
├── docs/
│ └── DEBUG_GUIDE.md # 特别调试手册(HUD 解读 / 常见故障 / 优化点)
└── .gitignore
- 脱机 vs 联调:
TO_IDE = True时画面同时推给 IDE 便于联调;纯脱机比赛可改False省资源。 - 形状识别精度:无
cv2时用roundness+ 长宽比几何近似,精度有限;若固件带cv2则走approxPolyDP精确轮廓(屏上cv2:Y表示可用)。 - K230 LVGL 限制:无
set_hidden(用set_pos移出屏幕外隐藏面板),无 checkbox(用按钮底色切换表示选中)。 - 性能:
find_blobs已做 2×2 像素跳采;配合 ROI 可进一步提帧率。HUD 的 FPS 是观察窗口。 - 错误兜底:摄像头初始化失败(FPC 松动/供电不足)时屏幕会显示
CAMERA INIT FAILED而非黑屏,便于现场定位。