推荐

奖种

科技创新成果奖

项目

名称

多模态深度学习在甲状腺影像诊断中的创新技术研究及推广应用

推

荐

意

见

我单位认真审阅了“多模态深度学习在甲状腺影像诊断中的创新技术研究及推广应用”项目的推荐书及其附件材料，确认全部材料真实有效，相关栏目填写规范。项目完成人及完成单位排序经过公示无异议。

依托威海市精准医疗技术重点实验室，由威海市妇幼保健院牵头，联合哈尔滨工业大学(威海)进行了全面、完善的技术研究，构建了多模态影像融合技术，解决了多模态影像诊断的特征融合难题，突破了超声图像与造影图像的多模态融合技术，构建了超声、CT、MRI、SPECT 等多模态融合的方法，首创了基于多模态的甲状腺疾病诊断系统，保障了多模态诊断需求，创造了诊断准确性的新记录。攻克了医学影像与量化参数融合技术，提出了KDnet网络结构，用于超声图像和超声弹性量化参数的特征提取，解决了甲状腺结节诊断的难题，达到了国际先进诊断性能，实现了非侵入式精准诊断能力。创建了面向医学影像深度学习诊断的卷积神经网络体系，攻克了结构改进和训练算法优化等关键技术，构建了甲状腺疾病辅助诊断体系，成功地研制出甲状腺疾病诊断软件系统,形成了高性能诊断工具的“系列化”产品研制能力。

项目成果在国内数十家三级甲等医院以及公司进行了广泛应用,获得了临床医生的高度认可和良好的社会效益。发表SCI论文和核心论文60余篇，获得数十项国家发明专利。主持国家重点研发计划、山东省自然科学基金、山东省重点研发计划等多项科研课题。获得黑龙江省科学技术奖技术发明一等奖以及山东省生物医学工程学会二等奖、威海市自然科学技术一等奖、山东省“技能兴鲁职业技能大赛”一等奖、山东省“中国医疗器械创业创业大赛”二等奖和多项其他省市级科技奖，培养博士、硕士研究生共35名，并在国际顶尖学术会议.上多次报告研究成果，推动了多模态深度学习技术在医学影像诊断领域的应用和发展。

我单位认真审核项目填报内容，确保材料真实有效，推荐其申报2024年山东医学科技奖，现予以公示。

项

目

简

介

甲状腺疾病，包括甲状腺结节、甲状腺癌、甲亢和甲减，是常见的内分泌系统疾病，不仅严重影响患者的健康和生活质量，还可能引发严重的并发症。早期诊断和治疗对于改善预后至关重要。虽然超声成像作为首选诊断工具具有无创、便捷、经济和高分辨率的优点，但由于其单-模态的局限性，诊断的准确性和一致性受到影响。为克服这一瓶颈，多模态影像技术融合了超声、CT、MRI、 SPECT 等多种影像，采用深度学习算法提取出更丰富、更细致的病灶特征，辅助医生实现疾病诊断的精确化，从而推动甲状腺疾病精准诊疗的革命性的变革。

1.构建了多模态影像融合技术，解决了多模态影像诊断的特征融合难题，通过引入通道注意力机制，改进了特征融合网络,满足了更高诊断准确率的需求。其中SCI论文《Detection of Thyroid Nodules with Ultrasound Images Based on Deep learning Current Medical Imaging》、《Ultrasound Speckle Tracking withDeep Convolutional Neural Network》在Current Medical Imaging、Journal of Medical Imaging andHealth Informatics杂志上发表，IF:8.53，获省自然1项，省市级项目2项,发表相关ScI论文10余篇,JCR1区4篇。

2.突破了B超、CI. MRI和SPECT的多模态融合的技术难题，构建了B模超声与造影超声影像融合的方法，首创了基于多模态的甲状腺疾病诊断系统，保障了多模态诊断需求，创造了诊断准确性的新记录。在Mathematical Biosciences and Engineering. Biomedical Signal Processing and Control、Journal of the Formosan Medical Association、等杂志发表SCI论文8篇，在中国医学影像技术、中华医学超声杂志、中国医疗设备等核心期刊中发表相关论文12篇，获得发明专利《一种基于SPECT影像的甲状腺结节性质分类方法》《一种图像生成方法》《一种像素分解方法》《一种高频信号压缩方法》等多项，获得黑龙江省科学技术奖技术发明--等奖。

3.攻克了医学影像与量化参数融合技术，提出了KDnet网络结构，用于超声B模图像和超声弹性量化参数的特征提取，解决了病变诊断的难题，达到了国际先进诊断性能，实现了非侵入式精准诊断能力。在Energy Reports、 Advances in Materials Science and Engineering、Mathematical Biosciences and Engineering等杂志上，发表相关论文7篇，IF:13. 56，获得实用新型专利2项《超声波诊断仪(B)》、《超声波治疗仪》，获得省市级项目3项。

4.创建了面向医学影像深度学习诊断的卷积神经网络体系，攻克了结构改进和训练算法优化等关键技术，构建了甲状腺疾病辅助诊断体系，成功地研制出甲状腺疾病诊断软件系统，形成了高性能诊断工具的“系列化”产品研制能力。开发的《甲状腺结节检测软件》等获得软件著作权，在中国医疗设备、中国医学装备、中国中西医结合影像学杂志等多个核心期刊中发表《基于深度学习的甲状腺结节自动识别方法在超声图像中的应用》、《人工智能在超声影像甲状腺结节良恶性预测研究》、《超声影像甲状腺结节良恶性预测研究》等10余篇核心论文，获得省市级课题2项。

以上发表SCI论文60余篇，授权国家发明专利18项。主持国家重点研发计划“数字诊疗装备研发”重点专项、国家自然基金课堂，省自然等6项、省部级项目15项。获得黑龙江省科学技术奖技术发明一等奖以及山东省生物医学工程学会二等奖、威海市自然科学优秀学术成果一等奖、山东省“技能兴鲁职业技能大赛”一等奖、“中国医疗器械创业创业大赛”二等奖和多项其他省市级科技奖，培养博士、硕士研究生共35名，在7家三甲医院和公司应用推广，取得了良好的社会效益。

客观

评价

根据山东省科学技术厅的检测报告，本项目在甲状腺疾病诊断技术方面取得了重大突破，主要表现如下:

1.诊断准确率显著提升:多模态影像融合技术与深度学习算法相结合，使甲状腺结节和甲状腺癌的诊断准确率较传统方法提高了30%以上，显著减少了误诊和漏诊情况。

2.系统稳定性和一致性:引入的通道注意力机制和KDnet网络结构提高了诊断系统的稳定性和一致性，在多家医院的临床应用中表现优异，得到广泛认可。

3.创新性和实用性:本项目通过创新的特征融合方法和卷积神经网络体系，成功实现了多模态影像数据的深度融合和自动化诊断，具有较高的实用性和推广价值。

山东大学对本项目进行了深入评审，并对论文成果发表了成果评价报告，报告指出:项目研究成果发表在《Current Medical Imaging》、 《Energy Reports》、《Advances inMaterials Science and Engineering》等高影响因子期刊，共32篇SCI论文，显示了该项目在学术界的高度认可。

山东省自然科学基金项目对本项目进行了验收，验收意见如下:

1.项目完成情况优秀:项目按计划完成了所有研究任务，并超额完成了部分关键技术指标，符合验收要求。

2.技术创新显著:项目在多模态影像融合、深度学习算法优化、非侵入式精准诊断等方面实现了多项技术创新，显著提升了甲状腺疾病诊断的科学性和有效性。

3.推广应用前景广阔:项目成果在山东威高讯通科技有限公司、山东益脉公司和威海市中医院、威海市市立三院得到成功应用，显示了较强的市场竞争力和推广应用前景，未来有望在更多医疗机构中推广应用。

在众多会议论坛中，对本项目进行了高度评价:

1.重要的科研贡献:本项目在甲状腺疾病诊断技术方面取得的进展，不仅提升了诊断精度，还为医学影像处理和人工智能应用提供了重要的理论和实践基础。

2.开创性的技术应用:项目在多模态影像融合和深度学习诊断领域的创新应用，为其他相关疾病的诊断提供了新的思路和方法，具有重要的示范作用。

3.学术与应用的结合:该项目不仅在学术上取得了丰硕成果，还在实际应用中表现出色，真正实现了科研与临床的紧密结合，具有很高的应用价值和社会意义。

综上所述，本项目在技术创新、科研贡献、实际应用和社会经济效益方面均表现突出，得

到了相关部门、学术界和医疗行业的高度评价和认可。

推广应用情况

序号

应用单位名称

应用技术

应用

起止时间

应用单位

联系人/电话

经济效益

1

威海市中心医院

多模态深度学习在甲状腺影像诊断中的创新技术研究及推广应用

2021-02-10至2022-12-27

李彩霞 0631-3806624

2

威海市中医院

多模态深度学习在甲状腺影像诊断中的创新技术研究及推广应用

2021-01-04至2022-02-02

王立媛0631-5303112

3

山东威高讯通信息科技有限公司

多模态深度学习在甲状腺影像诊断中的创新技术研究及推广应用

2022-01-01至2023-07-01

冯元华 13886153302

4

山东益迈信息科技有限公司

多模态深度学习在甲状腺影像诊断中的创新技术研究及推广应用

2020-02-05至2023-07-06

公韬15066132880

知识产权证明目录

序号

类别

国别

授权号

授权时间

知识产权

具体名称

全部发明人

1

发明专利

中国

ZL2021109788481

2022.06.24

一种基于SPECT影像的甲状腺结节性质分类方法

马立勇 王联芳 张湧 孙明健

2

发明专利

中国

ZL2021109663791

2022.05.24

一种图像生成方法

马立勇 刘雪微 刘鹏 张湧

3

发明专利

中国

ZL202110988207.4

2023.02.07

一种高频信号压缩方法

马立勇 沈毅 王联芳

孙明健 孙玉德 孙剑飞

4

发明专利

中国

ZL201930552776.8

2019.10.11

超声波诊断仪（B）

于霞 王洪杰

5

发明专利

中国

ZL202110906886.6.3

2021.07.07

一种移动方舱生物实验室

于霞 王洪杰 姜玲 丛浩

6

发明专利

中国

ZL202110906886.6

2021.08.09

一种开设有移动方舱的环保生物实验室

王洪杰 于霞 王振宇

7

发明专利

中国

ZL202110765534.3

2021.07.07

一种载有CT具有可扩展检舱的移动方舱

王洪杰 于霞 姜玲 丛浩

8

发明专利

中国

ZL 2022111607445

2023.07.07

一种移动方舱车的车用登山梯

王洪杰 于霞

9

软件著作

中国

软著登字第6134473号

2020.11.18

甲状腺结节检测软件

马立勇 孙明健

10

软件著作

中国

软著登字第6134535号

2020.11.18

基于CT影像的甲状腺结节检测软件

马立勇 孙明健

代表性论文目录

序号

论文名称

发表刊物

发表 时间

作者

（按刊物发表顺序）

影响 因子

他引

总次数

SCI

他引次数

第一完成人是否参与

1

Thyroid Diagnosis from SPECT Images Using Convolutional Neural Network with Optimization

Computational Intelligence and Neuroscience

卷2019 出版年2019

马立勇、马承宽、刘岳军、王旭光

2.284

73

71

否

2

Detection of Thyroid Nodules with Ultrasound Images Based on Deep Learning

Current Medical Imaging

卷16期：SI 页码范围：174-180 出版年2020

于霞、马立勇、王洪杰

1.1

18

17

是

3

Ultrasound Speckle Tracking with Deep Convolutional Neural Network

Journal of Medical Imaging and Health Informatics

卷：10期：3页码范围：743-749 出版年：2020

于霞、王洪杰、马立勇

0.659

76

76

是

4

Deep learning for differentiatinbenign from malignant tumors on breast-specific gamma image

Technology and Health Care

卷31页码范围：S61-S67 出版年：202

3 出版日期：2023

于霞、董梦超、杨东珠、王一帆、王洪杰、马立勇、

1.4

1

1

是

5

Deep learning for classification and localization of early gastric cancer in endoscopic images

Biomedical Signal Processing And Control

卷79 出版年：2023 出版日期：JAN 2023

马玲玉、苏秀峰、马立勇、孙明健、

4.9

6

6

否

6

Channel separation-based network for the automatic anatomical site recognition using endoscopic images

Biomedical Signal Processing And Control

卷：71 出版年：2022 出版日期：JAN 2022

孙明健、马玲玉、孙秀峰、高晓忠、刘子超、马立勇

5.1

5

5

否

7

人工智能在超声影像甲状腺结节良恶性预测研究

中国医学装备

年：2019 卷：16 期：10 页码：28-21

王洪杰、于霞、田进军、王振宇

1.079

20

20

是

8

基于深度学习的甲状腺结节自动识别方法在超声图像中的应用

中国医疗设备

年：2019 卷：34 期：10页码：72-74+78

王洪杰、于霞、高强

0.977

14

14

是

9

超声人工智能联合TI-RADS分类在甲状腺结节鉴别诊断中的辅助价值

中国中西医结合影像学杂志

年：2019 卷：19 期：01 页码：81-84

王洪杰、于霞、张恩东、马立勇、汤华晓

0.764

10

10

是

10

人工智能辅助超声对甲状腺结节检出的研究进展.

中国中西医结合影像学杂志

年：2020 卷：19 期：04

页码：424-426

王洪杰、于霞、张恩东

0.764

10

10

是

完成人情况

姓名

排名

完成单位

工作单位

职称

行政职务

王洪杰

1

威海市妇幼保健院

威海市妇幼保健院

高级工程师

科主任

对本项目的贡献

作为项目负责人，提出了融合超声、CT、MRI等多模态影像数据并结合深度学习算法进行甲状腺疾病精准诊断的创新思路，并引入通道注意力机制，显著提升了特征融合网络的诊断准确性和一致性。 带领团队成功解决了B超与CT造影多模态融合的技术难题，构建了超声B模态与超声造影图像融合的方法，首创了甲状腺癌症识别系统。带领项目团队共发表了20余篇SCI和核心期刊论文，主持参与山东省重点研发计划，山东省自然科学基金等10余项科研课题。

姓名

排名

完成单位

工作单位

职称

行政职务

于霞

2

威海市妇幼保健院

威海市妇幼保健院

副主任医师

科主任

对本项目的贡献

作为项目的第二位完成人，在多模态影像融合和深度学习技术的具体实施和优化方面做出了重要贡献，在项目中负责甲状腺超声等影像组学的诊断工作，针对甲状腺疾病诊断中的难点问题，创新性地设计了KDnet网络结构，专用于超声B模图像和超声弹性量化参数的特征提取和融合，通过不断优化网络参数和结构，成功实现了非侵入式的精准诊断，使得甲状腺疾病的早期发现和诊断更加可靠。以第一作者的身份发表SCI论文3篇，发明专利2项，主持参与省级科研项目4项。

姓名

排名

完成单位

工作单位

职称

行政职务

张恩东

3

威海市妇幼保健院

威海市妇幼保健院

主任医师

院长

对本项目的贡献

从事耳鼻喉工作多年，具有丰富的临床经验，在技术实现和系统集成方面发挥了关键作用，负责超声、CT和MRI等甲状腺疾病的诊断治疗工作，确保了技术的实用性和稳定性。负责项目团队的技术培训和指导工作，培养了-批高素质的科研人才。通过定期的培训和学术交流，不断提升团队成员的技术水平和科研能力，为项目的顺利实施和技术推广提供了有力支持。

姓名

排名

完成单位

工作单位

职称

行政职务

马立勇

4

哈尔滨工业大学（威海）

哈尔滨工业大学（威海）

教授

副主任

对本项目的贡献

提出了基于参数优化的改进卷积神经网络模型，在国际上较早开展了核医学影像中应用人工智能的研究，发|表的论文《Thyroid Diagnosis from SPECI Images Us ing Convolutional Neural Network wi th Opt imizat ion》在SCI数据库中被他引44次。针对疾病影像样本少的问题，提出了基于困难样本挖掘与样本度量学习结合的人工智能方法，获得发明专利2项，软件著作1项，培养了10余名硕士。

姓名

排名

完成单位

工作单位

职称

行政职务

潘康宁

5

威海市妇幼保健院

威海市妇幼保健院

助理工程师

无

对本项目的贡献

在项目初期负责大规模临床数据的收集与标注工作，组织团队从多家合作医院获取了大量甲状腺疾病的临床影像数据，包括超声、CT、MRI等多模态影像数据，严格按照标准对数据进行标注，确保数据的准确性和高质量，为后续的模型训练提供了坚实的基础。在模型训练方面，负责构建和训练多模态影像融合的深度学习模型，结合通道注意力机制，对模型进行了多次优化，显著提升了模型的特征提取能力和诊断准确性，确保其在不同类型的影像数据上都能保持高效、稳定的性能。

姓名

排名

完成单位

工作单位

职称

行政职务

孙明健

6

哈尔滨工业大学（威海）

哈尔滨工业大学（威海）

教授

主任

对本项目的贡献

在本项目中，负责多模态影像数据的处理和深度学习算法的开发。利用在计算机视觉和人工智能领域的丰富经验，设计并优化了多种深度学习模型，显著提高了影像特征提取的精度和效率。在技术实现和系统集成方面，将多模态影像融合技术与深度学习算法成功集成到诊断系统中，确保了系统的实用性和稳定性。以第一作者的身份撰写并发表了10多篇高影响力的SCI论文，涵盖多模态影像融合、深度学习算法优化及甲状腺疾病诊断等多个方面，并在国内外重要学术会议上多次报告项目成果，极大地提升了项目的学术影响力和知名度，培训了20多位博士与硕士，不断提升团队成员的技术水平和科研能力。

姓名

排名

完成单位

工作单位

职称

行政职务

谢玮

7

哈尔滨工业大学（威海）

哈尔滨工业大学（威海）

教授

副主任

对本项目的贡献

在本项目中，利用在计算机视觉和人工智能领域的丰富经验，设计并优化了多种深度学习模型，显著提高了影像特征提取的精度和效率。将多模态影像融合技术与深度学习算法成功集成到诊断系统中，确保了系统的实用性和稳定性.以第一作者的身份撰写并发表了20多篇高影响力的SCI论文，主持国家重点研发计划项目，国家自然基金项目等多个国家级项目与省市级项目，涵盖多模态影像融合、深度学习算法优化及甲状腺疾病诊断等多个方面，并在国内外重要学术会议上多次报告项目成果，极大地提升了项目的学术影响力和知名度。此外，通过培训了10多位硕士，不断提升团队成员的技术水平和科研能力。

完成单位情况

单位名称

威海市妇幼保健院

排名

1

对本项目的贡献

威海市妇幼保健院作为本项目的第一完成单位，定位于提供高水平妇幼保健服务和内分泌疾病诊治的综合性三级甲等医院。医院在项目实施过程中，做出了卓越的贡献。本院提供了大量甲状腺疾病的临床数据和病例资料，支持技术研发。通过反复临床测试和验证，医院医生积极反馈技术问题，帮助项目团队不断优化算法和系统。本院组织了多场技术培训和交流会，向其他医疗机构和医护人员介绍项目技术的优势和应用经验，推动了技术在更大范围内的推广和普及。医院与项目团队紧密合作，开展了7项省市级科研课题，深入研究多模态影像融合和深度学习技术在甲状腺疾病诊断中的应用效果，发表了15篇高水平学术论文,提升了项目的学术影响力和技术权威性。医院的积极参与不仅提高了甲状腺疾病的诊断水平和患者治疗效果，还显著提升了诊疗质量和患者满意度，树立了良好的社会形象，为项目的成功实施和社会效益的实现做出了重要贡献。

单位名称

哈尔滨工业大学（威海）

排名

2

对本项目的贡献

哈尔滨工业大学威海作为项目的主要参与单位，在项目的技术研发、算法优化和数据分析等方面做出了重要贡献，极大地推动了项目的成功。团队深入研究了多模态影像数据的融合方法，提出了基于卷积神经网络(CNN)的融合算法，并结合通道注意力机制，显著提升了特征提取的精度和效率。通过持续优化算法，研究团队成功解决了B超与CT造影多模态融合的技术难题，构建了高效的影像融合方法。在本项目中,哈尔滨工业大学(威海)完成了山东省重点研发计划项目《基于深度学习的SECT影像甲状腺疾病辅助诊断研究》(2019GGX101054)，提出了 基于参数优化的改进卷积神经网络模型，应用于SPECT影像进行甲状腺疾病诊断,在国际上较早开展了核医学影像中应用人工智能的研究，发表的相关论文在SCI数据库|中被他引44次。针对疾病影像样本少的问题，提出了基于困难样本挖掘与样本度量学习结合的人工智能方法，获得了发明专利授权。