团队合影

部分项目介绍

1. 医学影像血管分割 FreeCOS: Self-Supervised Learning from Fractals and Unlabeled Images for Curvilinear Object Segmentation（ICCV2023）

Curvilinear object segmentation is critical for many applications. However, manually annotating curvilinear objects is very time consuming and errorprone, yielding insufficiently available annotated datasets for existing supervised methods and domain adaptation methods. This paper proposes a selfsupervised curvilinear object segmentation method (FreeCOS) that learns robust and distinctive features from fractals and unlabeled images. The keycontributions include a novel Fractal- parametric Fractal LFDA synthesis (FFS) module and a geometric information alignment (GIA) approach. FFS generates curvilinear structures based on the system and integrates the generated structures into unlabeled images to obtain synthetic training images via Fourier Domain Adaptation. GIA reduces the intensity differences between the synthetic and unlabeled images by comparing the intensity order of a given pixel to the values of its nearby neighbors. Such image alignment can explicitly remove the dependency on absolute intensity values and enhance the inherent geometric characteristics which are common in both synthetic and real images. In addition, GIA aligns features of synthetic and real images via the prediction space adaptation loss (PSAL) and the curvilinear mask contrastive loss (CMCL). Extensive experimental results on four public datasets, i.e., XCAD, DRIVE, STARE and CrackTree demonstrate that our method outperforms the state-of-the-art unsupervised methods, self-supervised methods and traditional methods by a large margin.

2. 视觉立体匹配 IGEV-Stereo & IGEV-MVS (CVPR 2023)

Recurrent All-Pairs Field Transforms (RAFT) has shown great potentials in matching tasks. However, all-pairs correlations lack non-local geometry knowledge and have difficulties tackling local ambiguities in ill-posed regions. In this paper, we propose Iterative Geometry Encoding Volume (IGEV-Stereo), a new deep network architecture for stereo matching. The proposed IGEV-Stereo builds a combined geometry encoding volume that encodes geometry and context information as well as local matching details, and iteratively indexes it to update the disparity map. To speed up the convergence, we exploit GEV to regress an accurate starting point for ConvGRUs iterations. Our IGEV-Stereo ranks 1 st on KITTI 2015 and 2012 (Reflective) among all published methods and is the fastest among the top 10 methods. In addition, IGEV-Stereo has strong cross-dataset generalization as well as high inference efficiency. We also extend our IGEV to multi-view stereo (MVS), i.e. IGEV-MVS, which achieves competitive accuracy on DTU benchmark.

3. 视觉-雷达里程计SDV-LOAM：LiDAR-Inertial Odometry with Sweep Reconstruction)（TPAMI2023）

SDV-LOAM (LiDAR-Inertial Odometry with Sweep Reconstruction) is a cascaded vision-LiDAR odometry and mapping system, which consists of a LiDAR-assisted depth-enhanced visual odometry and a LiDAR odometry. At this stage, the released code is just the vision module of SDV-LOAM. The implementation of our vision module is based on DSO, while we change it from monocular direct method to LiDAR-assisted semi-direct method with ROS interface. All the contributions of our vision module proposed in SDV-LOAM can be found in this code.

4. 雷达-惯导-轮速计融合里程计LIW-OAM: Lidar-Inertial-Wheel Odometry and Mapping（ICRA2013)

LIW-OAM (Lidar-Inertial-Wheel Odometry and Mapping) is an accurate and robust bundle adjustment (BA) based LiDAR-inertial-wheel odometry and mapping system that can provide accurate pose esmation and dense point cloud map results. Compared with our previous work SR-LIO, LIW-OAM can further improve the accuracy of pose estimation and guarantee the real-time performance.

个人主页：https://sites.google.com/view/xinyang/home

1. 图像特征计算，国家自然科学基金优秀青年基金，主持，200万，2022/01-2024/12

2. 基于CT影像的胰腺癌早期诊断人工智能方法研究，国家自然科学基金国际（地区）合作项目，主持，100万，2021/01-2024/12

3. 基于多参数核磁的前列腺癌自动检测与诊断方法研究，国家自然科学基金面上项目，主持，65万，2019/01-2022/12

4. 移动增强现实中基于视觉—惯性传感器的混合跟踪方法研究，国家自然科学基金青年项目，主持，26万，2015/01-2018/12

5. 共建增强现实联合实验室, 华中科技大学—亮风台联合实验室, 主持，300万，2018/10-2021/10

团队近2年奖励列表：

1. 2023年中国SLAM技术挑战赛冠军，参赛队员：汪萧翔、袁子康等，指导教师：杨欣

2. 2023年挑战杯湖北省特等奖：基于滤波与递归优化融合的机器视觉深度感知系统，参赛队员：许刚伟、贾浩等，指导教师：杨欣、卫平、赵广超等

3. 2023年互联网+湖北省金奖：实时高精端云协同空间感知系统，参赛队员：贾浩、程俊达等，指导教师：杨欣、陶文兵、朱盈盈等

4. KITTI2015立体匹配排行榜：我们的IGEV-Stereo 2022年8月~2023年5月排名第一，截至至2023年8月29日,IGEV-Stereo开源方法中精度排名第2，比排名第1方法CroCo-Stereo速度快5倍以上，误差高0.02%

5. KITTI2012立体匹配排行榜：我们的CGF-ACV目前开源方法中排名第一（截至至2023年8月29日）

6. KITTI里程计排行榜：我们的SDV-LOAM目前开源方法中排名第三（截至至2023年8月29日）

研究成果简介：

1. 高精度、低时延空间计算

空间计算是新一代互联网，即空间互联网，的关键核心技术，是增强现实、移动机器人、智能驾驶等国家战略支柱产业的重要支撑。空间计算基于对物理空间的几何结构和机器运动的理解，实现人机交互和万物互联从二维平面到三维空间的升级，其核心要素包括：定位、深度估计和三维重建，以实现机器数字空间与真实物理空间的映射与对齐。然而，相比于高性能计算平台集群，移动计算平台硬件算力弱、传感器噪声大，并且实际应用中往往面临高动态、弱纹理复杂场景，且存在光照视角变化、遮挡等挑战，导致现有空间计算技术难以实现高精度、高鲁棒性、低时延的性能需求。针对上述问题，项目团队创新研发以下技术成果：

1）基于视觉-雷达-惯导等多传感器融合的运动估计理论与方法：多传感器融合能有效提升定位与建图精度，但不同传感器的状态估计会经常出现状态不一致的情况，影响融合精度和鲁棒性。本项目利用惯导约束取决于自身噪声参数，而与场景复杂程度无关的特性，从理论上推到并建立多状态量间的半弹性约束方程。进一步，基于迭代卡尔曼滤波理论框架，发明了基于半弹性约束的多传感器融合定位与建图新方法，绝对轨迹误差(ATE)比当前国际前沿算法Fast-LIO降低35%，且在4个公开数据集上都取得了最佳的状态估计结果。且在4个公开数据集上都取得了最佳的状态估计结果。此外，由于激光雷达采样频率(10Hz)与惯导采样频率(30Hz以上)间存在显著差异，导致惯导预积分在两次雷达状态估计间存在漂移，降低半弹性约束效果，我们发明了点云分割重组新方法，突破输入点云10Hz的频率限制，缩短迭代卡尔曼滤波的更新间隔，从而提升云端点云注册的鲁棒性。获得2023年全国SLAM大赛激光雷达视觉里程计冠军。

2）基于滤波与递归优化融合的深度估计方法：将代价滤波理论引入到递归优化框架中，有效去除代价体中噪声的同时自适应聚合上下文信息。相比现有先进方法精度提升20%。利用高置信度信息传播方法，自适应挑选少量稀疏代价体中可靠信息并传播至临近区域，实现利用稀疏表达代替稠密代价体，极大减少计算开销。利用注意力机制增强重要的图像特征，压缩冗余图像特征，减少模型参数。上述技术成果实现以下效果。精度高：将滤波理论和递归优化结合到神经网络中，在国际权威室外驾驶场景KITTI排行榜和高分辨率场景的SPRING排行榜上，精度排名均为世界第一。速度快、模型轻量：基于信息传播技术有效实现代价体信息稀疏化，进而提高计算速度。相比百度、牛津相关技术速度提升10-40倍、比港中文相关技术内存开销减少12倍。鲁棒性强：与国外先进的RAFT方法比，本作品能在病态区域如弱对比度和玻璃反光面区域表现良好，精度提高20%。

2. 高精度、高泛化性医学影像分析

医疗健康是国家稳定的基础。80%临床诊断依赖于医学影像诊断，然而，我国优质医生资源极度稀缺且分布不均衡，导致大量患者因得不到及时准确的影像诊断而延误治疗。这不仅仅是一项技术或经济问题，更会带来严重的社会问题，如此次的新冠疫情。医学影像智能诊疗是优化医疗资源的重要技术手段。其中，智能描述影像中的典型信息，即图像特征表示，是智能影像诊疗的核心基础。然而医学影像有显著区别于自然场景图像的自身特点，使得现有方法难以得到高性能特征表示。1）由于成像局限性医学影像目标边界往往非常模糊。同时医生经验差异等因素等都会造成目标区域标注的差异非常大，使得结果难以度量，进而导致特征学习难。2）样本数量少。由于某些疾病病例数量有限及收集标注成本高等因素，医学影像数据集样本数量远少于自然场景图像。基于少量训练样本学到特征区分性差，泛化性能低。3）医学影像像素规模可高达10^7~10^8，举个直观的例子，一位病人的胸部增强CT数据至少有300张切片，且包含动脉期、静脉期等不同相位期数据。大像素规模导致特征计算效率低，是自然场景图像的百倍甚至更高，难以满足术中导航等高实时性应用需求。如何实现差异标注、少量样本、大规模像素下高区分性、高效率图像特征表示是亟待解决的关键科学问题。团队围绕这一关键科学问题，从结构距离度量下特征学习、多特征协同学习、和高效特征表示三方面探索解决特征学习难、区分性差、计算效率低问题，并在医学影像辅助检测与量化等应用取得关键技术突破。

我们的技术获得了MICCAI挑战赛19年脊椎点检测和20年动脉瘤检测冠军和亚军。在疫情爆发初期，协助武汉市中心医院实现低剂量CT新冠肺炎病灶智能量化，能更加准确的度量预测结果与实际病灶间距离，有效提升病灶分割精度，同时将阅片时间缩短80%，极大缓解一线医生紧缺问题，同时大大降低病人等待过程中交叉感染风险。进一步联合华为云搭建新冠肺炎智能量化系统，落地近百家医院。以“AI抗疫”为题，指导学生参加中国国际“互联网+”大赛，获得全国金奖。