智能感知技术

57Darling02--次发布于修改于

智能感知技术笔记

课程目标

掌握智能运输中常用传感器感知原理；
掌握智能运输系统中常见的感知方法、感知技术、感知设备的原理、体系结构，特别是对目前以新型智能传感器为基础的新型感知技术的掌握和运用；
掌握智能运输中感知信号的处理、分析与、识别方法和辅助决策算法；
引导学生运用信号与系统、计算智能基础、微机原理与接口技术、人工智能等相关知识，研究、分析及设计智能运输中特定的项目需求，培养学生科研实践能力；
通过课程实践环节，培养和锻炼学生的研究能力、表达能力和团队合作精神及在团队中发挥作用的能力。

（1）卷面成绩100分，以卷面成绩的50%计入课程总评成绩。

（2）主要考核

概述（非重点）
传感器的基本原理
感知系统感知原理
算法处理与决策原理
感知信号处理方法以及决策方法

考试题型为：填空题、简答题、判断题、计算题、分析应用题等。其中,建议对应课程目标1比重20%，课程目标2的比重20%，课程目标3的比重20%，课程目标4的比重25%，课程目标5比重占15%

作者注：考前一晚突击而成，平时也没怎么上课🥲。临时报佛脚写的复习笔记，基本有难度的部分、看一遍看不懂的、堵老师不出的部分都懒得写了。重点目录根据老师最后一节复习课内容（甚至还是好哥们听了回放给我截的图）而来。

重点目录

智能感知概述
- 如何理解智能感知
  - 从传感到认知，智能感知主要突出两个关键点，即“感”和“知” 。
- 智能感知在智能运输系统应用的重要的技术
- 智能感知及智能感知技术的特征
- 智能感知技术的发展
  - 在线通过式数字激光轮对测量系统
  - 钢轨探伤
  - 轨道几何参数检测
  - 网络化检测
现代交通中的传感器
- 什么是传感器?传感器的组成结构
- 传感器的发展方向
- 磁频传感器种类、原理及其在现代交通中的用途
- 惯性传感器种类、原理及其在现代交通中的用途
- 视觉传感器
  - 什么是计算机视觉
  - 图像传感器的类型:CCD和CMOS视觉传感器中CMOS 和 CCD 的原理、优缺特点及其在交通系统的典型应用场景
- 毫米波雷达
  - 毫米波雷达种类、原理及其在现代交通系统的应用
  - 毫米波雷达在智能交通中的应用优势
  - 在智能交通中主要应用的雷达传感器效应，测距和测速的公式
- 激光雷达
  - 激光雷达的工作原理，在智能交通中的应用效应，测距和测速的公式
  - 激光雷达点云性能、处理点云的关键步骤
  - 激光雷达点云配准和聚类算法原理
  - 激光雷达点云
  - 激光雷达点云与其它传感器融合的主要流程
- 激光雷达点云在智能感知的应用
  - 点云的分割算法类型
  - 运动估计与跟踪点云处理算法类型
  - 点云在智能交通中应用挑战及应对策略
  - 通过点云数据构建栅格地图流程
边缘计算和网络推断加速
- 边缘计算系统的架构
- 多边缘协同的类型
- 多边缘协同的推断加速的类型架构及其特点
- 超分辨率技术的作用、应用场景及其评价指标
SLAM 视觉系统
- SLAM 视觉系统的概念和架构
- SLAM 视觉系统的组成部分、工作流程及工作原理
- SLAM 视觉系统的应用场所
- 视觉 SLAM 与激光雷达 SLAM 的优缺点

智能感知概述

如何理解智能感知

从传感到认知，智能感知主要突出两个关键点，即“感”和“知” 。
“感”是通过视觉、听觉、触觉等能力实现与自然界的交互， “知”是将检测到的信息提升至可记忆、理解、规划、决策等层次。物理世界的信号通过传感器，借助人工智能、物联网、图像识别、云计算等前沿技术，映射到数字世界

特征和发展：

自动化、网络化 “云-边-端”架构、智能化、自主化

自动化检测手段由手工——>自动
网络化
“云-边-端”架构云端负责大数据处理和智能分析；边缘部分负责本地数据采集、预处理和传输；终端则负责采集和发送本地数据
以太网总线技术—CAN、485等
4G/5G ’
卫星互联网
智能化
自主化

能感知技术应用

在线通过式数字激光轮对测量系统
钢轨探伤
轨道几何参数检测
网络化检测

现代交通中的传感器

什么是传感器?传感器的组成结构

国家标准定义：

能感受被测量并按规律转换为可用信号的装置（GB7665-87），典型结构包含：
敏感元件：地感线圈/压电晶体（直接感知物理量）
转换元件：信号调理电路（如ADXL345内置12位ADC）

能 感受规定的被测量 并按照一定的规律 转换成可用信号 的器件或装置，通常由敏感元件和转换元件组成

传感器的发展方向

探索新现象，研发新型传感器
理论创新
物理现象、化学反应和生物效应等是各种传感器工作的基本原理，因而探索和发现新现象与新效应是研制新型传感器的最重要的工作，亦是研制新型传感器的前提与技术基础。
采用新技术、新工艺、新材料，提高现有传感器的性能
性能提升
传感器制造新工艺的发明与应用往往将催生新型传感器诞生，或相对原有同类传感器可大幅度提高某些指标。
研究和开发集成化、微型化与智能化传感器
降体积、加功能、组合功能
- 把同一功能敏感器件微型化、多敏感器件阵列化，排成一维的构成线型阵列传感器，排成二维的构成面型阵列传感器；
- 把传感器功能延伸至信号放大、滤波、线性化、电压/电流信号转换电路等；
- 把不同功能敏感器件微型化再组合构成能检测两个以上参量的集成传感器。

磁频传感器种类、原理及其在现代交通中的用途

电磁感应式（环形线圈感应式）

运用环形线圈作为检测传感器,检测车辆通过或存在于检测区域。多个线圈检测到的信息经控制单元传给控制中心，组成整个车辆检查系统。如下图所示：

原理：

基于电磁感应定律，通过线圈与磁场的相对运动或磁场变化产生感应电动势

涡流式（高频反射式）

原理

涡流效应：金属导体置于变化着的磁场中，导体内就会产生感应电流，称之为电涡流或涡流。这种现象称为涡流效应。

车体感应电流-->线圈电感量减少-->检测器内部电路振荡频率变化——>电路振荡频率变化——>计数脉冲数量——>交通量计算（方波整形）

车辆经过线圈后使车体产生感应电流，这一感应电流使得线圈电感量减少。当车辆进入线圈磁场范围时，检测器的谐振电路的电感量变化，检测器内部电路振荡频率随着线圈电感量的变化而变化，通过计数脉冲数量判断电路振荡频率的变化从而判断车辆的有无，然后计算相关的交通参数

环形线圈等效电路分析（不想看，看了也记不住）

等效电路如下：

当车辆进入线圈时，系统满足：

{\begin{cases} I_{1} (R_{1} + j ω L_{1}) - j ω M I_{2} = \dot{E} \\ I_{2} (R_{2} + j ω L_{2}) - j ω M I_{1} = 0 \end{cases}

关键推导步骤：

解方程得线圈受金属导体涡流影响后的等效阻抗：

Z = R_{1} + R_{2} \frac{ω^{2} M^{2}}{R_{2}^{2} + ω^{2} L_{2}^{2}} + j ω (L_{1} - L_{2} \frac{ω^{2} M^{2}}{R_{2}^{2} + ω^{2} L_{2}^{2}})

品质因数变化量：

Δ Q = Q_{0} \frac{1 - \frac{L_{2} ω^{2} M^{2}}{L_{1} Z_{2}^{2}}}{1 + \frac{R_{2} ω^{2} M^{2}}{R_{1} Z_{2}^{2}}}

被测参数的变化可引起线圈的Z、L、Q 变化，所以反射式涡流式传感器可以选择Z、L、Q中任一参数构成测量电路。由于电感量的变化表现为调谐电路频率的变化、相位的变化和阻抗的变化，检测电感变化量一般来说有3种方式：
第一种是利用相位锁存器和鉴相器，对相位的变化进行检测；
第二种方式是利用由环形线圈构成回路的耦合电路对其振荡频率进行检测；
第三种是利用电压倍压器和检波器对环形线圈谐振电路的阻抗变化进行检测。

地磁传感器（不看英文部分）

其他类型：（爱来自豆包）

磁阻式
- 基于磁阻效应（如 AMR、GMR、TMR），利用磁性材料的电阻随磁场变化的特性检测磁场强度或位移。
- 典型应用：角度传感器、编码器、磁头读取。
霍尔效应式
- 利用霍尔元件在磁场中产生的霍尔电压变化检测磁场强度，常用于电流、位置、转速测量。
- 典型应用：霍尔电流传感器、无刷电机转子位置检测。
磁反射式（磁栅 / 磁编码式）
- 通过磁性标尺（如磁栅尺）与磁头之间的相对运动，利用磁信号反射或耦合原理检测位移。
- 典型应用：精密机床位移测量、直线电机位置反馈。

用途

利用线圈对车的感应，在控制单元加上计数器来统计车流量
基于环形线圈的道路占有率统计
基于环形线圈的速度测量
车辆识别分类

惯性传感器种类、原理及其在现代交通中的用途

线加速度传感器（加速度传感器）
- 压电式加速度传感器
- MEMS 式加速度传感器
- 伺服式式加速度传感器（不作为重点）
角加速度传感器（陀螺仪）

压电式传感器

正压电效应（顺压电效应）：某些电介质，当沿着一定方向对其施力而使它变形时，内部就产生极化现象，同时在它的一定表面上产生电荷，当外力去掉后，又重新恢复不带电状态的现象。当作用力方向改变时，电荷极性也随着改变。
逆压电效应（电致伸缩效应）：当在电介质的极化方向施加电场，这些电介质就在一定方向上产生机械变形或机械压力，当外加电场撤去时，这些变形或应力也随之消失的现象。
电—（正）—>机械能
机械能—（逆）—>电能

压电晶体受到外力作用时，在两个极面上积聚数量相等、极性相反的电荷形成了电场。

因此，可把压电传感器看成一个视为两极板上聚集异性电荷，中间为绝缘体的电容器。其电容量为

其极间电压为

压电材料

石英晶体
- 优点: 性能非常稳定，机械强度高，绝缘性能也相当好。缺点：石英材料价格昂贵，且压电系数比压电陶瓷低得多。因此一般仅用于标准仪器或要求较高的传感器中。
压电陶瓷
- 钛酸钡压电陶瓷
  - 特点：具有很高的介电常数和较大的压电系数（约为石英晶体的50倍）
  - 不足: 温度稳定性和机械强度不如石英晶体。
- 锆钛酸铅压电陶瓷
  - 压电系数更大，各项机电参数受温度影响小，时间稳定性好。应用最广

测量电路

前置放大器作用：（电荷或电压）

放大传感器的输出信号
把传感器的高输出阻抗变换成低阻抗输出（阻抗变换器）

由于压电元件产生的电量很小，所以为了测量必须加一放大器；另外，由于其自身的绝缘电阻很高，要求测量电路的前级输入端有足够高阻抗，所以前置放大器输入阻抗要高，以免电荷快速泄漏。

补：输出阻抗是在出口处测得的阻抗输出阻抗，是指电路负载从电路输出端口反着看进电路时电路所等效的阻抗，其实主要是针对能量源或者输出电路来说的，是能量源在输出端测到的阻抗。阻抗越小，驱动更大负载的能力就越高。

1. 压电式加速度传感器

当传感器受到振动时，质量块将感受与传感器基座相同的振动，并受到与加速度方向相反的惯性力：该惯性力作用在压电陶瓷片上产生电荷为：

q = d \cdot F = d \cdot m \cdot a

电荷量将直接反映加速度的大小。它的灵敏度与压电材料的压电系数和质量块的质量有关。

2. 压电式压力传感器

3. 压电式超声波传感器

MEMS 式加速度传感器

MEMS（微机电系统，Micro-ElectroMechanicalSystem），是指利用半导体制造工艺和材料，将传感器、执行器、机械结构、信号处理和控制电路，甚至接口、通信和电源等集成于一体的微型器件或系统。其内部结构一般在微米甚至纳米量级。具有体积小、集成化、智能化、低成本等优点。

原理：....

放了

角加速度传感器

陀螺仪也称角速率传感器，是用来测量物体转动角速度或角位移的传感器。按照制作原理及结构可将其大致分为转子陀螺仪、光学陀螺仪、振动陀螺仪三类。

应用：

国防军事应用中，高精度微机械陀螺将可用于导弹、航空航天、超音速飞行器等高精度需求的军用产品中。
在一些新的领域中，如车载导航系统、天文望远镜、工业机器人、计算机鼠标、照相机甚至是机器人玩具等中低端上应用需求的产品中得到应用。

MEMS陀螺仪

原理：

MEMS型的陀螺仪是利用科里奥利力，对MEMS内部施加一个X方向的激励信号，滑块左右振荡运动；
当质量块相对于振荡的系统产生Z轴方向的旋转运动时，由于Y方向的科里奥利力，质量块就产生Y方向的运动，通过计算电容的变化，就可以计算出对应的角加速度值。

科里奥利力核心方程：

F_{c} = 2 m (ω \times v)

具体没看懂，也不想看

视觉传感器

什么是计算机视觉

通过计算手段模拟生物视觉系统的信息处理机制，实现从图像 / 视频数据到环境语义理解的跨层级抽象与推理。

计算机视觉：
从广义上说，计算机视觉就是“赋予机器自然视觉能力”的学科。自然视觉能力，就是指生物视觉系统体现的视觉能力。
从狭义上讲，计算机视觉是以图像（视频）为输入，以对环境的表达和理解为目标，研究图像信息组织、物体和场景识别、进而对事件给予解释的学科。

跳过部分：

图像基础
- RGB色系
- 图像的质量：清晰度相关的因素
  - 亮度
  - 对比度
  - 尺寸大小
  - 细微层次
  - 颜色饱和度
- 视频处理
  - 码流
  - 标准
  - YUV电视信号表色系
  - YCbCr颜色空间
  - RGB 与YCbCr 转换矩阵
- 视频采样
- 编码压缩
2D图像成像原理
相机结构

图像传感器的类型

色度类型（彩色或单色）

快门类型（全局快门或滚动快门）

结构类型（CCD或CMOS）

CCD （charge coupled device）电荷耦合器件
CMOS (Complementary Metal Oxide Semiconductor ) 互补金属氧化物半导体

CCD

每个像素单元（感光二极管）在曝光后生成电荷包，但不直接将电荷转换为电压信号。而是通过电荷耦合效应，将所有像素的电荷包以串行方式逐行转移到一个共享的水平移位寄存器，最终传输至唯一的浮动扩散放大器进行电压转换和模数转换（ADC）。

全局同步性：所有像素同时开始和结束曝光（全局快门），避免因逐行曝光导致的运动物体形变。
电荷保真度高：电荷在转移过程中受噪声干扰较小（因信号路径单一且固定），适合低光照环境（噪点少）。
速度瓶颈：电荷转移需逐行进行，帧率受限于移位寄存器的速度，难以实现高速连续拍摄。

原文：CCD传感器（电荷耦合器件）同时开始和停止所有像素的曝光。这就是所谓的全局快门。CCD然后将此曝光电荷传输到水平移位寄存器，然后将其发送到浮动扩散放大器。注：2015年，索尼宣布计划在2026年前停止 CCD生产并终止对CCD的支持。

应用

原理优势：CCD 的全局快门可实现所有像素同步曝光，能瞬间 “冻结” 高速运动物体（如时速 100km/h 的车辆），避免因滚动快门导致的图像变形（如车辆倾斜、车牌模糊）。
应用场景
- 高速公路超速抓拍：利用全局快门快速捕捉车牌细节，配合雷达测速实现精准取证。
- 路口闯红灯检测：同步记录车辆跨线瞬间的完整图像，避免因滚动快门的逐行曝光导致车身 “断裂” 或位置偏差。
原理优势：CCD 的电荷传输效率高，噪声控制能力强（尤其是暗电流噪声），在低光照下仍能保持较高的信噪比（SNR），图像纯净度优于早期 CMOS。
应用场景
- 隧道内车辆检测：低光照下清晰识别车辆轮廓、车牌及异常行为（如停车、逆行）。
- 夜间卡口监控：配合补光灯，减少噪点对车牌识别的干扰。
现状：随着 CMOS 技术的进步（如背照式结构、全局快门普及），CCD 的低光优势逐渐被高端 CMOS 替代，但部分 legacy 系统仍在使用。

CMOS

每个像素单元内置独立的放大器和模数转换器（ADC）。曝光后，像素直接将电荷转换为电压信号，并通过列总线并行输出至芯片外的处理电路。

原文：CMOS一次只能开始和停止一个像素行的曝光，这就是所谓的滚动快门。随着时间的推移，这种情况已经发生了变化，现在市场上有许多全球快门CMOS传感器。CMOS传感器对每个像素列使用更小的ADC，从而允许比CCD更高的帧速率。多年来，CMOS传感器经历了重大改进，使大多数现代CMOS传感器在图像质量、图像速度和整体价值方面与CCD相等或优于CCD

并行处理优势：像素信号独立输出，帧率可达数千帧 / 秒（如高速工业相机），远超 CCD 的几百帧 / 秒上限。
功耗更低：无需驱动复杂的电荷转移电路，功耗仅为 CCD 的 1/10~1/100。
早期缺陷：
- 电荷 - 电压转换噪声：每个像素的放大器特性差异可能导致固定模式噪声（FPN）。
- 滚动快门效应：早期 CMOS 采用逐行曝光（滚动快门），拍摄高速运动物体时可能出现 “果冻效应”（如倾斜的行驶车辆）。
现代改进：
- 全局快门 CMOS：通过像素内集成电荷存储单元，实现所有像素同时曝光，消除滚动快门（如索尼 Pregius 系列）。
- 片上 ADC 技术：缩小 ADC 体积，提升像素密度和信噪比（如背照式 CMOS）。

应用

1.大规模城市道路监控（如安防、流量统计）

原理优势
- 滚动快门 + 低成本：早期 CMOS 的滚动快门逐行曝光虽对高速物体有变形风险，但成本仅为 CCD 的 1/5-1/3，适合大规模部署（如城市道路千万级摄像头）。
- 全局快门普及：现代 CMOS 已广泛支持全局快门（如索尼 Pregius 系列），兼顾高速抓拍与成本优势。
应用场景
- 城市安防摄像头：覆盖主干道、商圈等场景，实时传输视频流至指挥中心，用于治安监控和交通流量分析。
- 交通流量统计：高帧率（如 200fps+）实时追踪多车道车辆轨迹，计算密度、速度等参数。
关键优势：单芯片集成 ADC 和信号处理电路，功耗低（约为 CCD 的 1/10），适合太阳能供电的野外设备。

2. 智能车载视觉（ADAS、自动驾驶）

原理优势
- 高动态范围（HDR）：CMOS 支持片上 HDR 技术（如多曝光像素），在强光（如隧道出口）或逆光场景下保留更多细节，避免过曝或欠曝。
- 实时处理兼容性：帧率高（可达 500fps），便于与车载 AI 芯片（如 NVIDIA Orin）实时联动，实现车道偏离预警（LDW）、自动紧急制动（AEB）等功能。
应用场景
- 前视摄像头：识别车道线、行人、交通信号，配合毫米波雷达实现环境感知。
- 环视摄像头：拼接 360° 全景影像，用于自动泊车和盲区监测。
技术趋势：车规级 CMOS（如安森美 AR0234）需通过 AEC-Q100 认证，具备抗振动、宽温（-40℃~105℃）等特性，逐步替代传统 CCD 车载摄像头。

3. 移动执法与特种车辆（如电子警察、应急指挥车）

原理优势
- 轻量化与低功耗：CMOS 传感器体积小（可集成至火柴盒大小的模组），适合安装于移动执法设备（如肩扛式摄像机、无人机）。
- 灵活快门模式：支持全局快门（抓拍）与滚动快门（视频流）动态切换，适应不同场景需求。
应用场景
- 警用无人机巡检：实时回传高清视频，全局快门模式下抓拍违章停车、拥堵点。
- 应急指挥车监控：低功耗设计支持长时间开机，配合 5G 传输现场画面。

雷达

根据波长不同，交通中雷达传感器可分为：

a. 微波雷达传感器----测速

b. 毫米波雷达传感器----测距、测速、测角

典型的雷达系统组成：雷达系统主要由发射机、天线、接收机、信息处理、定时控制，显示等设备组成

原理：

脉冲多普

当目标向雷达天线靠近时,反射信号频率将高于发射机频率;反之,当目标远离天线而去时,反射信号频率将低于发射机频率。

线性调频连续波

发射电磁波的频率呈线性变化，其回波信号也呈线性变化，通过测量当前发射频率与接受频率之差，可得到探测物体的距离

毫米波雷达

属于雷达传感器的一种，按波长分类，与微波雷达并列，工作波长为1~10mm，频段通常为77GHz、79GHz等。

毫米波雷达是以波长介于1~10mm的电磁波为工作波段的雷达系统。毫米波雷达兼具了微波雷达和光电雷达的优点，探测距离一般在0-200米之间。毫米波雷达发射出去的电磁波是一个锥状的波束，这个波段的天线主要以电磁辐射为主。

原理

FMCW雷达发射的信号被称为 "chirp" 。调频信号是正弦波，其频率随时间线性增加，如振幅-时间图所示（'A-t'图）。

发射频率随时间线性变化的“chirp”信号，通过

接收信号与发射信号的频率差计算目标距离
相位差计算目标速度
多天线相位差计算目标角度。

距离检测：利用中频信号频率 $f_{I F} = \frac{2 S d}{c}$ ，通过傅里叶变换将时域信号转换为频域，峰值位置对应距离，分辨率 $d_{r e s} = \frac{c}{2 B}$ （ $B$ 为带宽， $S$ 表示chirp信号的斜率）。
速度检测：利用连续信号相位差 $Δ ϕ = \frac{4 π v T_{c}}{λ}$ ，通过多普勒FFT计算速度，最大可测速度 $v_{m a x} = \frac{λ}{4 T_{c}}$ ，分辨率 $v_{r e s} = \frac{λ}{2 T_{f}}$ （ $T_{f}$ 为帧时间）。
角度检测：利用多接收天线相位差 $ω = \frac{2 π d \sin θ}{λ}$ ，通过角度FFT计算到达角（AoA），分辨率 $θ_{r e s} = \frac{λ}{N d \cos θ}$ （ $N$ 为天线数， $d$ 为天线间距）。

现代交通系统应用

车辆领域：前向防撞预警、盲点监测、自适应巡航（ACC）、自动紧急制动（AEB）。
交通监测：车流量检测、速度测量、车道占有率分析。
无人机与智能设备：无人机避障、低空目标监测、智能交通设施（如红绿灯联动）。

在智能交通中的应用优势

优势	具体表现
全天候性能	不受光线、雨雪、雾霾等恶劣天气影响，可全天时工作。
探测能力强	探测距离远（可达250m），测速精度高，分辨率较高，能有效区分静止和运动目标。
稳定性与抗干扰	信号穿透力强，抗电磁干扰能力优于视觉传感器，适用于复杂交通环境。
多参数检测	可同时获取目标的距离、速度、角度信息，支持多目标跟踪。
成本与适配性	成本低于激光雷达，硬件成熟度高，易于集成到现有交通设施和车辆中。

劣势：无法直接识别物体属性（如车型、颜色），探测角度较小，部分场景易受信号干扰。

三、智能交通中主要应用的雷达传感器效应及公式

主要传感器效应
- 多普勒效应：用于测速，目标运动导致反射信号频率偏移，频率变化量与速度成正比。
- FMCW调频效应：通过线性调频信号的频率差测量距离，相位差测量速度和角度。
测距与测速公式
- 测距公式： $d = \frac{c \cdot f_{I F}}{2 S}$ 其中： $c$ 为光速， $f_{I F}$ 为中频信号频率， $S$ 为调频信号斜率。
- 测速公式： $v = \frac{λ \cdot ω}{4 π T_{c}}$ 其中： $λ$ 为波长， $ω$ 为相位差角频率， $T_{c}$ 为信号周期。
  补充：
  1.中频公式 $f_{I F} = \frac{2 S d}{c}$ 2.相位差公式 $ω = \frac{4 π Δ d}{λ} = \frac{4 π v T_{c}}{λ}$

毫米波雷达需与视觉、激光雷达等传感器融合，以弥补无法识别物体属性的不足，实现更全面的交通感知。
角度检测依赖多天线阵列，天线数量和间距直接影响角度分辨率和视场角（FOV）。

激光雷达

一、工作原理、应用效应及公式

工作原理
- TOF测距法（飞行时间法）
  发射激光脉冲，通过测量光往返时间差计算距离，公式：
  $d = \frac{1}{2} \cdot c \cdot Δ t$ 其中， $c$ 为光速， $Δ t$ 为时间差。
  应用：主流自动驾驶激光雷达方案，如Velodyne 64线雷达。
- FMCW测距法（线性调频连续波）
  发射频率线性变化的激光，通过测量发射与接收信号的频率差（中频信号）计算距离，原理同毫米波雷达，公式： $d = \frac{c \cdot f_{I F}}{2 S}$ 其中， $f_{I F}$ 为中频频率， $S$ 为调频斜率。
  优势：精度毫米级，可同时测速（多普勒效应），抗干扰强；缺点：技术复杂、成本高。
- 三角测距法
  通过激光发射器与接收器的几何三角关系计算距离，公式：
  $d = \frac{s \cdot f}{x \cdot \sin β}$ 其中， $s$ 为基线距离， $f$ 为焦距， $x$ 为像点偏移， $β$ 为激光入射角。
  应用：室内近距离场景（如扫地机器人），自动驾驶中较少使用。
  双目视觉其实也可归结为是三角测距
- AMCW测距法（相位调制连续波）
  通过调制激光振幅相位差间接测量时间，公式：
  $d = \frac{ϕ}{2 π} \cdot T \cdot c$ 其中， $ϕ$ 为相位差， $T$ 为调制周期。
  优势：精度高，适合固态激光雷达；缺点：功率高、人眼安全隐患。
智能交通应用效应
- 高精度环境建模：通过点云构建三维场景，用于SLAM（同步定位与建图）。
- 障碍物检测与跟踪：利用点云密度和反射率识别车辆、行人、道路设施。
- 抗干扰感知：主动发光，不受环境光照影响，但受雨雪、雾霾等介质干扰（1550nm激光穿透性优于905nm）。
测速公式（FMCW多普勒效应）
$v = \frac{λ \cdot ω}{4 π T_{c}}$ 其中， $λ$ 为激光波长， $ω$ 为相位差角频率， $T_{c}$ 为信号周期。

二、点云性能与处理关键步骤

点云性能参数
- 视场角（FOV）：水平/垂直探测范围（如120°×25°），决定覆盖范围。
- 线数与分辨率：线数越高（如128线），点云越密集；角分辨率越小（如0.1°），细节越清晰。
- 探测距离与反射率：典型范围100~300米，需有效探测10%反射率物体（如黑色车辆）。
- 点频与帧率：点频（每秒点数）影响实时性，帧率（Hz）影响动态场景捕捉。
处理关键步骤
- 数据采集：激光雷达发射激光，接收反射光并生成原始点云（含XYZ坐标和反射强度）。
- 预处理：
  - 去噪：剔除离群点（如统计滤波、半径滤波）。
  - 滤波：降采样（如体素栅格滤波），减少计算量。
- 特征提取：
  - 几何特征：点云密度、曲率、高度差。
  - 语义特征：通过深度学习（如PointNet）提取物体类别信息。
- 聚类与分割：将点云划分为不同物体（如DBSCAN算法基于密度聚类）。
- 目标检测与跟踪：识别障碍物并预测运动轨迹（如基于深度学习的VoxelNet）。

三、点云配准与聚类算法原理

配准算法（点云对齐）
- ICP（迭代最近点）
  原理：通过迭代寻找源点云与目标点云的最近点对，最小化均方误差，优化旋转和平移矩阵。
  步骤：
  1. 选择对应点对（如随机采样或k近邻）；
  2. 计算最优变换矩阵；
  3. 迭代直至收敛（误差小于阈值）。
    应用：激光雷达与地图匹配、多传感器空间配准。
聚类算法（障碍物分割）
- DBSCAN（密度聚类）
  原理：基于密度识别核心点，通过密度可达性连接点形成簇，能识别任意形状簇并标记噪声点。
  关键参数：
  - $ϵ$ ：邻域半径；
  - MinPts：核心点所需最小点数。
    步骤：
  1. 遍历点云，标记核心点；
  2. 从核心点出发，扩展密度可达点形成簇；
  3. 剩余点标记为噪声。
    优势：无需预设簇数量，能处理噪声；缺点：密度变化场景效果差。

四、点云与其它传感器融合流程

传感器自校准
- 激光雷达与摄像头/毫米波雷达分别校准，确保内部参数（如激光雷达外参、摄像头焦距）准确。
空间配准（坐标系对齐）
- 人工标记法：在标定板上设置激光雷达可探测点和摄像头可见特征点，通过最小二乘法求解旋转矩阵 $R$ 和平移向量 $t$ 。
- 自动配准法：基于边缘特征（如激光雷达点云边缘与图像轮廓）的全局优化算法（如ICP变种）。
时间同步
- 统一各传感器时间戳，通过硬件触发（如PTP协议）或软件插值（如线性插值）确保数据同步性。
融合算法
- 前融合：原始数据层融合（如将点云投影到图像像素，生成BEV鸟瞰图）。
- 后融合：各传感器独立检测目标，通过卡尔曼滤波等算法融合结果。
- 深度学习融合：端到端网络（如PointPillar）直接处理多模态数据，提升检测精度。

五、激光雷达类型与发展趋势

类型	特点	应用场景
机械扫描	精度高、点云稠密，成本高（数十万级），体积大，可靠性低（车规级要求高）。	研发车、高精地图采集车
混合固态	转镜/MEMS振镜扫描，成本中等，体积小，可靠性提升（如禾赛AT128）。	量产车（过渡方案）
纯固态	Flash方案（面阵发射）或OPA相控阵，无运动部件，成本低，适合车规级。	未来量产车（长期趋势）

趋势：低成本、小型化、固态化，结合FMCW与OPA技术实现高分辨率与抗干扰能力，推动车规级普及。

激光雷达点云在智能感知的应用

一、点云分割算法类型

基于边缘的分割
- 原理：通过计算点云几何特征（法向量、曲率）变化检测边缘点，划分不同区域。
  - 法向量计算：对每个点的邻域点拟合平面，平面法向量即为该点法向量。
  - 曲率计算：基于邻域法向量夹角平均值估计，曲率大于阈值判定为边缘点。
- 应用：适用于道路边缘、障碍物轮廓提取。
基于区域的分割
- 原理：从种子点出发，按法向量和距离相似性合并相邻点形成区域。
  - 相似性度量： $S (p, R) = w_{1} \cos^{- 1} ({\vec{n}}_{R} \cdot {\vec{n}}_{p}) + w_{2} d (p, R)$ ，权重系数平衡法向量与距离影响。
- 应用：复杂场景中分割道路、车辆等目标。
基于属性的分割
- 原理：提取点云几何、强度、颜色等特征，通过机器学习模型（如SVM）分类。
  - 特征向量：包含坐标、法向量、曲率、反射强度等。
- 应用：精细分类行人、车辆类型。
基于模型的分割
- 原理：匹配点云与已知物体模型（如车辆长方体模型），通过ICP算法优化变换矩阵。
  - 目标函数： $min_{T} \sum_{i = 1}^{n} ∥ p_{j} - T (m_{i}) ∥^{2}$ ，最小化模型与点云匹配误差。
- 应用：检测结构化目标（如车辆、建筑物）。

二、运动估计与跟踪点云处理算法类型

卡尔曼滤波
- 原理：基于线性高斯模型，通过预测和更新步骤估计目标状态（位置、速度）。
  - 预测步骤： ${\hat{x}}_{k | k - 1} = F_{k} {\hat{x}}_{k - 1 | k - 1} + B_{k} u_{k}$ ，状态转移结合控制输入。
  - 更新步骤：利用观测数据修正状态估计，计算卡尔曼增益 $K_{k}$ 调整误差。
- 应用：单目标跟踪，抑制噪声效果显著。
图优化方法
- 原理：将状态（如目标位置、姿态）建模为图节点，约束关系（运动、观测）为边，最小化全局误差函数。
  - 误差函数：基于运动模型和观测数据定义，通过梯度下降等算法优化节点状态。
- 应用：多目标跟踪、复杂场景下非线性系统状态估计。

三、点云在智能交通中应用挑战及应对策略

应用挑战
- 恶劣天气干扰：雨、雪、雾导致噪声点激增、信号衰减、传感器置信度降低。
- 数据采集与泛化：极端天气数据稀缺，模型易过拟合；动态干扰（如雨雪运动）影响目标参数提取。
- 多传感器协同：传感器校准误差、实时性要求高、计算负载大。
应对策略
- 数据增强与去噪：
  - 模拟天气噪声（如Mie散射理论建模雨滴反射），利用GAN生成带噪声点云。
  - 采用半径滤波、统计滤波或深度学习网络（如PointNet去噪）去除离群点。
- 域自适应与融合：
  - 域自适应算法弥合晴天与恶劣天气数据分布差异。
  - 多传感器融合（前融合、BEV特征融合）提升鲁棒性，如LSS算法将图像特征投影至BEV空间与点云融合。
- 轻量化与硬件加速：设计轻量级模型（如MobilePointNet），利用FPGA加速BEV池化和Transformer计算。

四、点云数据构建栅格地图流程

数据采集与预处理
- 传感器选择：激光雷达（高精度点云）、摄像头（语义分割）、毫米波雷达（测速）协同采集。
- 同步与标定：通过时间戳对齐（PTP协议）和空间标定（外参矩阵）统一坐标系。
栅格划分与初始化
- 分辨率设定：局部路径规划采用10cm高分辨率，大范围导航用低分辨率（如50cm）。
- 地图范围：静态全局栅格（道路结构）与动态局部栅格（车辆周围50-100米）结合。
占据栅格建图
- 概率模型：基于Log-Odds表示维护栅格占据概率，初始值0.5（未知），通过贝叶斯滤波更新：
  $I_{t} (m_{i, j}) = I_{t - 1} (m_{i, j}) + \log \frac{P (z_{t} | m_{i, j} = 1)}{P (z_{t} | m_{i, j} = 0)}$
- 观测模型：激光雷达射线投射判断占据状态，摄像头语义分割辅助标注可行驶区域。
动态栅格更新与语义标注
- 动态处理：卡尔曼滤波预测移动物体轨迹，多帧融合（滑动窗口）减少噪声。
- 语义标注：投影摄像头语义结果（如车道线）至栅格，激光强度标注反光物体（如交通标志），分层表达（物理层、语义层、动态层）。
关键算法优化
- 自适应分辨率：复杂场景（如路口）动态提高分辨率，直道降低分辨率。
- 三维扩展与压缩：八叉树结构存储3D体素，稀疏存储（Hash表索引）减少内存占用。

边缘计算和网络推断加速

边缘计算系统的架构

部署于设备的系统
- 特点：直接在终端设备运行视频分析，无需网络传输，稳定性高；但受限于设备算力，仅能使用轻量级模型，精度较低。
- 技术：模型压缩（如MobileNets、YOLO-LITE）、背景去除、视频压缩（降低分辨率、ROI编码）。
设备-边缘协同系统
- 特点：设备端采集数据并预处理（如轻量级目标追踪），边缘服务器执行高精度分析；平衡实时性与精度，依赖网络通信。
- 技术：模型选择（轻量级与重量级模型结合）、结果缓存、动态调整视频流配置（分辨率、码率）。
设备-边缘-云协同系统
- 特点：多层级协作，适应复杂任务；通信代价高，易受网络波动影响，需高效任务卸载策略。
- 技术：任务卸载（向上卸载至云/边缘、平级拆分至多设备）、视频帧过滤（仅传输关键帧）、云-边-端协同优化（如VideoEdge模型）。

多边缘计算系统的架构

分布式计算：多个边缘设备协同工作，每个设备负责模型的一部分计算任务。
动态任务分配：根据设备的计算能力和网络状况，动态调整任务分配，以优化系统性能
数据传输优化:通过压缩和高效编码技术，减少设备间的数据传输量，降低延迟。

多边缘协同的类型

基于模型切割的协同
- 横向切割：按网络层分配任务（如YOLO模型的Backbone在车载设备，Head在路侧单元）。
- 纵向切割：按任务或通道拆分（如图像分类与目标检测模块分离）。
- 动态切割：根据输入复杂度或资源状态实时调整切割位置（如早停机制）。
基于数据切割的协同
- 垂直切割：按数据特征划分（如摄像头提取视觉特征，雷达处理点云）。
- 水平切割：按样本或时间划分（如分块并行处理视频帧）。
- 细粒度交叉划分：多维度递归划分数据，适配异构设备（如自动驾驶多传感器融合）。
基于混合切割的协同
- 结合模型与数据切割：动态组合多种划分方法，如模型分层部署+数据分块处理。
- 联邦学习协同：边缘节点本地训练，共享梯度更新，保护隐私（如横向联邦学习聚合交通流量模型）。

多边缘协同的推断加速架构及其特点

类型	架构特点	优势	应用场景
模型切割	将模型分层部署至不同边缘节点，如浅层特征在设备端，深层语义分析在边缘服务器。	减少单设备算力压力，提升实时性。	智能驾驶（车载+路侧协同）
数据切割	数据分块并行处理，如按区域切割视频帧并分配至多个边缘节点。	降低延迟，支持高吞吐量任务。	实时交通监控（多摄像头数据融合）
混合切割	结合模型分层与数据分块，动态调整任务分配，如联邦学习+动态卸载。	平衡精度、延迟与隐私保护。	跨区域交通流量预测
联邦学习	边缘节点本地训练，云端聚合梯度，如交通数据联合建模。	保护数据隐私，提升全局模型泛化能力。	敏感数据场景（如车牌识别）

超分辨率技术的作用、应用场景及其评价指标

作用
- 提升图像/视频质量：从低分辨率数据重建高分辨率内容，补充细节，改善计算机视觉任务性能（如目标检测、车牌识别）。
- 降低传输成本：边缘端传输低分辨率数据，服务器/边缘设备执行超分辨率，减少带宽消耗。
应用场景
- 智能交通：交通监控（提升视频清晰度）、车牌识别（增强细节）、自动驾驶（多传感器数据融合）。
- 实时流媒体：边缘服务器实时超分辨率处理，优化用户观看体验。
- 移动设备：手机端实时超分，提升拍照或视频通话质量（如MobiSR框架）。
评价指标
- PSNR（峰值信噪比）：基于像素差异，数值越高表示失真越小，计算简单但忽略感知因素。
- SSIM（结构相似性）：评估亮度、对比度、结构的相似性，更符合人类视觉感知，取值范围0-1，越接近1质量越好。

总结：边缘计算通过分层架构与多边缘协同优化推断效率，超分辨率技术进一步提升数据质量，三者结合在智能交通、实时监控等场景中实现低延迟、高精度的智能决策。

SLAM视觉系统

一、概念和架构

概念：
视觉SLAM（Simultaneous Localization and Mapping）是通过摄像头（单目/双目/RGB-D等）获取环境信息，同步实现自身定位与地图构建的技术。核心任务包括位姿估计、特征匹配、回环检测和地图优化。

架构：

前端：处理传感器数据，包括特征提取（如ORB、SIFT）、数据关联、初始位姿估计。
后端：通过图优化（如g2o、Ceres Solver）优化前端结果，结合回环检测消除累积误差，构建全局一致地图。

二、组成部分、工作流程及原理

组成部分：

传感器模块：相机（视觉信息）、IMU（惯性数据）、激光雷达（可选，辅助测距）。
视觉里程计（VO）：前端核心，通过相邻帧特征匹配估计相机运动，存在累积误差（漂移）。
优化与地图管理：后端通过图优化或滤波方法（如EKF、粒子滤波）优化位姿和地图点。
回环检测：检测是否回到历史位置，通过词袋模型或深度学习纠正全局误差。
建图模块：生成局部/全局地图，支持稀疏（特征点）或稠密（点云/网格）重建。

工作流程：
传感器数据采集 → 预处理（去噪、同步） → 前端特征提取与匹配 → 初始位姿估计 → 后端优化（图优化/BA） → 回环检测校正 → 地图构建与更新。

工作原理：

基于特征的方法：提取ORB/SIFT等特征点，通过几何约束（如对极几何）计算位姿。
直接法：利用像素灰度优化位姿，无需显式特征（如光流法）。
深度学习：端到端网络直接回归位姿（如PoseNet）或辅助回环检测。
多传感器融合：结合IMU、激光雷达等数据，通过紧耦合/松耦合方法提升鲁棒性。

三、应用场所

智能交通/自动驾驶：实时定位、动态障碍物检测、高精地图构建（如特斯拉视觉方案）。
AR/VR：空间锚点创建、混合现实交互。
无人机/机器人：自主导航、三维重建（如农业植保、物流配送）。
特种场景：医疗内窥镜、水下/太空探测（环境感知与路径规划）。

四、视觉SLAM vs. 激光雷达SLAM

维度	视觉SLAM	激光雷达SLAM
成本	低（仅需相机）	高（激光雷达硬件昂贵）
环境适应性	受光照、动态物体影响大（需抗干扰优化）	抗光照干扰，对动态物体鲁棒性更高
数据特性	纹理丰富，语义信息多，但深度需估计（单目）	直接获取精确三维坐标，几何信息可靠
计算复杂度	高（特征匹配、深度学习）	中（点云配准，如ICP）
典型应用	消费级机器人、自动驾驶（如特斯拉）	工业场景、高精度测绘（如扫地机器人）

总结：视觉SLAM成本低、数据丰富但依赖环境条件；激光雷达SLAM精度高、鲁棒性强但成本受限。实际应用中常采用多传感器融合（如视觉+IMU+激光雷达）以平衡性能与成本。

智能感知技术

智能感知技术笔记 ​

重点目录 ​

智能感知概述 ​

如何理解智能感知 ​

特征和发展： ​

能感知技术应用 ​

现代交通中的传感器 ​

什么是传感器?传感器的组成结构 ​

传感器的发展方向 ​

磁频传感器种类、原理及其在现代交通中的用途 ​

电磁感应式（环形线圈感应式） ​

原理： ​

涡流式（高频反射式） ​

原理 ​

地磁传感器（不看英文部分） ​

用途 ​

惯性传感器种类、原理及其在现代交通中的用途 ​

压电式传感器 ​

压电材料 ​

测量电路 ​

MEMS 式加速度传感器 ​

原理：.... ​

角加速度传感器 ​

MEMS陀螺仪 ​

视觉传感器 ​

什么是计算机视觉 ​

图像传感器的类型 ​

CCD ​

应用 ​

CMOS ​

应用 ​

雷达 ​

毫米波雷达 ​

原理 ​

现代交通系统应用 ​

在智能交通中的应用优势 ​

三、智能交通中主要应用的雷达传感器效应及公式 ​

激光雷达 ​

一、工作原理、应用效应及公式 ​

二、点云性能与处理关键步骤 ​

三、点云配准与聚类算法原理 ​

四、点云与其它传感器融合流程 ​

五、激光雷达类型与发展趋势 ​

激光雷达点云在智能感知的应用 ​

一、点云分割算法类型 ​

二、运动估计与跟踪点云处理算法类型 ​

三、点云在智能交通中应用挑战及应对策略 ​

四、点云数据构建栅格地图流程 ​

边缘计算和网络推断加速 ​

边缘计算系统的架构 ​

多边缘计算系统的架构 ​

多边缘协同的类型 ​

多边缘协同的推断加速架构及其特点 ​

超分辨率技术的作用、应用场景及其评价指标 ​

SLAM视觉系统 ​

一、概念和架构 ​

二、组成部分、工作流程及原理 ​

三、应用场所 ​

四、视觉SLAM vs. 激光雷达SLAM ​

57Darling02