正畸智能化诊断系统的研发以及当前进展

蒋福林 苏崇莹 李 娟

随着我国人民生活水平的提高，正畸治疗的需求日益旺盛，2001年中华口腔医学会流调结果显示中国青少年错he畸形患病率高达72.97%，并呈逐渐上升趋势[1]。与此对应的是，我国专科正畸医生数量不足一万，难以满足社会需求。此外，正畸病例诊断分析复杂，涉及多模态、多维度、多阶段的数据分析，数据分析工作量大、耗时长、经验依赖性强，进一步阻碍了正畸治疗的广泛开展。本课题组研发的正畸影像智能化诊断平台将数字化技术创新性应用于正畸临床实践，参与病例数据采集、诊断方案设计和治疗多个环节，降低了对正畸医生的专业技能要求，有效提高了正畸治疗的精度、效率和安全性。现就本课题组正畸影像智能化诊断平台的研发思路与相关领域的研究进展进行报告。

1.侧位片自动定点分析

基于侧位片的头影测量分析是正畸临床诊断设计、评估生长或治疗效果的重要手段。传统头影测量和半自动头影测量依赖于医生手工定点，测量项目繁多、耗时过长，且精确度和稳定性欠佳。近年来，人工智能技术广泛应用于侧位片自动定点分析之中，从以硬组织解剖标志点自动识别为主到硬、软组织解剖标志点的自动定位，逐步实现全面的自动化数据分析[2]。然而受多种因素的影响，多数软件解剖标志点的识别准确率并不高，如何提高解剖标志点自动定点分析的准确性和稳定性一直是研究的热点。Lee等开发了一种基于卷积神经网络（Convolutional Neural Network，CNN）的人工智能模型，其可以在定位18个标志点基础上给出每个标志点的95%置信区间，平均误差为（1.53±1.74）mm[3]。Kim等定位了23个标志点，误差为1.37±1.79 mm，进一步提高了准确率[4]。现有一些头影测量软件投入市场，表现出了较好的性能。MyOrthoX、WebCeph等创新性基于网页的侧位片自动分析平台，提升了头影测量分析的灵活性，同时保有了较好的一致性[5]。Uceph还兼具定点训练和教学互动功能，可应用于正畸的实验教学中[6]。

本课题组基于级联深度神经网络模型，开发了基于以SaaS（Software-as-a-Service）模式的“智贝云”智能侧位X片分析系统。其特点如下：①该系统是一款基于Web端的侧位片智能分析系统，用户无需下载软件，即能在电脑端和手机端等多端口实现侧位片自动定点和分析。②解剖关键点定位精度高：在来源于不同设备拍摄的侧位片测试集中，2 mm误差范围内检测成功率（Success Detection Rate，SDR）平均为91.73%，SDR（3 mm）平均值为97.9%。其中S/Sn/LL/A’/Li的SDR（2 mm）大于99.0%[7]。目前，系统已经实现了64个关键解剖标志点自动定位，定点效率控制在2～3秒；
将可自动分析的测量项目扩大至199项，并测量数据与标准值自动比对，智能解读测量报告。③良好的泛化性能：该系统以来自全国20多个省市的3万多份侧位X片病例数据为数据基础，具有较好的泛化性能，适用于临床上常见的侧位片拍摄设备。④智能化重叠：系统能自动校准治疗前后两张侧位片拍照头位和角度等，智能化调整不同阶段拍摄侧位片的头位，然后依据不同基准平面（SN平面、眶耳平面、Ricketts平面、Bolton平面），自动重叠不同时间节点的侧位X片，展示患者在不同阶段的生长或者治疗变化，并自动对比、分析不同阶段的数据变化。⑤气道智能化分析：能智能化分析鼻咽、腭咽、舌咽和喉咽的气道宽度，并实现了腺样体等病理结构的智能化识别。此外，该系统具有良好的轮廓识别能力，侧位片软组织轮廓精准、平滑，具有良好的展示效果。目前，智贝云侧位X片分析系统已经实现了对患者的侧位分析结果的智能化诊断，并提供包括Downs、McNamara、Rickett、华西分析法和北京大学分析法在内的16种分析方法的结果，为正畸医生提供全面可靠的侧位片数据分析结果。

2.全景片智能化分析

全景片可以较为全面地提供患者牙和骨的信息，正畸医生通过全景片评估患者牙列拥挤情况、乳恒牙发育情况、牙周和根尖状况等，合理选择正畸治疗的时间。值得注意的是，现有的分析方法均依赖于正畸医生人工分析和审校，受医生主观因素影响大，容易出现遗漏[8]。

人工智能被运用于口腔全景片诊疗的多个方面，可以有效分析全景片提供的丰富信息，减少人为分析的疏漏，具备一定的参考价值，比如其能够通过分割和识别牙齿、颌骨来检测疾病，辅助诊断[9]。

牙齿自动化识别和分类模型的建立是全景片自动诊断的基础[10]，先期一些人工智能模型，关注于全景片中特征显著的牙齿状况，如Melike等人开发的一种新的深度学习人工智能模型，在检测全景片中不同牙齿状况如冠、桥、根管治疗牙、种植牙和残根等方面有良好的效果[8]。随着技术的进步，研究人员逐步关注到进展隐匿、图像特征相对不显著的其他牙体牙周疾病，如EKert等人利用全景片中根尖病变图像训练CNN构建了一种模型用于牙根及根尖病变诊断[11]。目前，基于人工智能的全景片诊断正逐步拓宽其应用场景，还可用于检测牙周骨质缺失情况、评估病变区牙齿数目和牙周炎程度[12]以及检测上颌窦的病变[13]等。

3.可视化治疗目标（VTO）

通过正畸治疗获得颜貌改善是患者的主要美学诉求之一，也是正畸医生关注的临床重点。经典的VTO理论主要有Ricketts基于硬组织关系为导向的切牙位目标位[14，15]和Holdaway基于软组织侧貌美学为导向的上唇目标位[16]；
Tweed理论进一步考虑了面部生长型的差异[17]，而Andrews理论中的上切牙目标位则添加了更多颌面整体美学考量[18]。但颜面软组织的变化不仅由硬组织变化决定，还受患者的年龄、性别、垂直骨面型、肌张力、张闭口习惯、牙齿和软组织形态、以及测量技术等影响[19]。现有的VTO理论在预测牙移动对侧貌变化的影响时，都采用的是个别切牙、硬组织标志点与个别唇颏部标志点的固定比例位移关系。这也导致了部分软件如Dolphin预测侧貌的准确性欠佳[20]。研究证明，采用多元回归模型预测治疗后软组织侧貌的变化比通过软硬组织变化的平均比率进行预测考虑的影响因素更多[21]，可以纳入牙齿、颌骨的多个标志点和软组织特征，准确性更高。但软组织侧貌轮廓可能以非线性方式响应牙齿的移动，目前采用的线性回归分析仍有局限，而深度学习灵活性更高，可对研究特征之间的非线性关系进行自主学习拟合，更深入地探索正畸牙移动与侧貌变化的规律。

本课题组研发的智贝云人工智能VTO系统融合了口腔正畸学、影像诊断学、大数据分析、人工智能等多学科，深度学习数万例正畸治疗前后病例。在此基础上，课题组首先确定了不同垂直和矢状骨面型条件下，正畸治疗中前牙位置变化对应的上下颌骨硬组轮廓变化，然后再确定了硬组织轮廓改变对应的软组织轮廓变化。同时，还参考了Ricketts分析法、Holdaway分析法、Tweed分析法和Andrews颅颌面平衡六要素等有关定量测量确定矫治目标位的方法，以颜貌美观为导向，设定切牙位置；
再结合人工智能模拟软硬组织变化，实现了前牙目标位确定、定量指导数字化方案设计、侧位X片轮廓模拟、侧位片和侧貌照片自动融合、治疗侧貌影像预测和动态展示、治疗方案预测和实时调整。在未来，课题组将在此基础上加入不同人种及民族的数据进一步完善预测结果，并进一步提高牙齿目标位自动设定的精度。

4.基于面部照片的正、侧貌智能化诊断系统

正畸治疗引起的牙齿移动、颌骨位置或形态的改变会影响面部软组织变化。准确判断患者面型对牙颌畸形的诊断、治疗计划制定以及治疗愈后的评估有着非常重要的作用[21]。在正畸临床实践中，多采用肉眼分析患者正面照和侧面照，十分依赖医生个人经验、美学素养。

面部畸形的识别是面型分析的重要环节，有学者利用CNN开发出了一种自动分析下颌偏倚和面部不对称的系统，可以提供更客观的面试特征评估[22]。目前的研究从面部轮廓识别及分类系统的研发起步[23]，逐步实现面部表型的识别，甚至于基因诊断相结合，比如Face2gene[24]。

本课题组结合东方人面部美学标准，开创性的将美学、正畸学与人工智能相结合，建立了面型分析数字化标准体系。智贝云面型分析系统是行业内领先的人工智能面型分析系统，也是首次基于照片实现面型的智能分析，并达到了临床辅助分析所需的精度[25]。该系统包括人脸正貌分析和侧貌分析，分别从美学和正畸两个角度进行分析。其中人脸正貌分析不仅依据面部比例评价（宏观美学）、唇齿关系评价（微观美学）、牙齿评价（迷你美学）等理论，更关注面部整体比例与眉、眼、唇、颏局部精细美学的协调与平衡，全方面综合分析牙列与面部软组织的动态及静态关系，检测黄金比例、三庭五眼、长宽比等7个正貌正畸分析指标以及包括脸型对称性、上面高、颧面高、瞳孔口角距等在内的14个正貌美学分析指标。而智贝云侧貌美学分析分为鼻额、唇颏、面型突度和面部比例四部分，同时可将20个侧貌坐标点，26个侧貌测量项详细列出；
侧貌正畸分析则分为面型、上唇、下唇和颏四部分，共检测12个侧貌测量项，对每一个测量项配有清晰明了的图文解释，医生可根据患者情况，自定义选择，操作简单，数据明了。

5.基于手腕骨龄和颈椎骨龄的生长发育分析系统

骨龄是骨骼成熟度的简称，是正畸医生了解患者生长发育情况，选择合适的矫治时机的重要指标之一。手腕骨具有骨骼数量多、代表性佳等特点，因此长期以来以Fishman出的手腕骨龄分期法作为骨龄评价的金标准[26]。但这种骨龄判断法对医生技术要求高，且分析耗费时间较长。早在1994年就有学者结合计算机技术制作出了计算机辅助骨龄分析系统[27]。在接下来十几年中陆续出现了基于图像处理技术的全自动评估骨龄系统[28]、基于深度学习的自动评测骨龄方法[29]和boneXpert自动测定骨龄法[30]等提高了临床诊疗的效率和精度。但是人工智能评估法有一定数据依赖性且不同模型之间存在差异。

本课题组纳入分析了上万张手腕骨X线片，成功研发出智贝骨龄-青少年手腕骨龄筛查系统，该系统采用TW2[31]和中华05分析法[32]精确标记单块骨的分期，构建了分类模型，实现了13块手腕和指骨（中华-05）的分期预测，实现了自动、准确、快捷评估患者骨龄，将原有骨龄检测的耗时从1天缩短为了20秒。TW2和中华05分析法是目前临床上常用的针对手腕骨龄评估的计分法，其准确性已经得到大量临床结果的验证[33]。课题组利用AI人工智能技术对手腕骨X线片实现云端自动阅片并生成初筛分析报告，分为骨龄结果分析、发育状况分析、当前身高评价、成年身高预测、生长发育追踪及生活建议等六个板块。

为了减少拍摄手腕片带来的额外辐射，更多的正畸医生选择利用侧位片判断颈椎成熟度[34]。传统的颈椎形态分类主要依靠视觉直观评估，受医生经验影响，主观性较大且可重复性欠佳，临床应用受限。而人工智能技术受主观因素影响小，在颈椎骨龄分期检测中表现良好，Zhou等利用CNN对实现了颈椎骨龄自动定点和颈椎成熟期分类取得了较高的准确率[35]。此外，Makaremi等人开发了一种能够通过头颅侧位片自动判定患者CVS1～6的DL模型，其准确率达95%[36]。

本课题组依据McNamara等人2018年修正的颈椎骨龄判断标准，通过人工智能对5千多张侧位片进行不断的测量、学习并采用最新颈椎骨龄分期法（cervical vertebrae maturation system，CVMS）[34]，提供手动量和自动测量方式，最终实现了自动提取颈椎轮廓，自动标记测量关键点。通过准确识别第二、第三、第四颈椎椎体形状，课题组实现了颈椎骨龄的智能定性分析，一键判断生长发育阶段；
还通过自动测量第二、第三、第四颈椎凹陷程度、曲率、长宽比以及前后高比、定量判断生长发育阶段[37]。通过定性分析和定量分析两种方案的互补，智贝云实现了颈椎骨龄的智能分析。系统还从循证医学角度出发，综合过去二十多年来的研究成果，结合患者的性别、年龄、AI自动诊断的精准骨龄，根据患者生长发育情况推荐患者基于矫治时机的治疗方案。

1.CBCT和口内扫描模型的智能化分割和分析

目前，正畸临床上采集患者三维影像数据以CBCT和口内扫描模型为主。锥体束计算机断层扫描（cone beam computed tomography，CBCT）可辅助重建清晰、立体的头颅三维解剖结构，在口腔疾病诊断、治疗方案设计和术后评估等方面广泛应用。近年来，不少关于CBCT的计算机辅助系统陆续开发，以减轻正畸医生的临床负担，提高工作流程的效率，涉及诊断、正畸治疗设计、种植手术设计和术后评估[38]。

人工智能的发展使得CBCT图像三维自动定点分析成为可能，Shahidi等人利用机器学习进行自动定点分析，结果显示机器学习的平均偏差为3.40 mm，精度低于人工定点[39]。Luo等人建立了基准颅骨模型，使用C++、开放式图形库和基于Qt的软件框架研发出颅骨自动定点测量软件[40]，实现了颅骨的三维自动定点。但总的来说，人工智能在CBCT图像自动定点上的准确率还有待提高，目前多数研究仅实现了对部分标志点的自动检测，无法完成完整的三维头影测量，并且CBCT三维图像重建存在环状伪影，对软组织解剖结构显像不足等问题，限制了三维定点分析的临床应用。数字化正畸方案设计通常需要操作单颗牙齿，以实现牙齿移动、拔除、排齐等操作，而从CBCT图像以及三维牙齿模型中手动分割单颗牙齿费时费力，精准欠佳[41]，因而如何准确自动分割牙齿成为了当下研究的热点，单纯依靠CBCT进行牙齿分割前期已有探索，如Charles等建立了一种端到端神经网络以实现牙齿三维形态自动化分割和分析[42]，在此基础上学者提出了名为MeshSegNet的深度神经网络用于自动牙齿分析提高了精度[43]。

随着技术的发展，口内扫描器因其舒适方便、软组织识别度高、可更好地还原口内情况等优势，被广泛应用于正畸临床[44]。以往的计算机辅助设计和制作软件如implant 3D和3shape初步实现了牙齿自动分割，但是CAD系统操作复杂，人工干预度高，其效率较低，分牙效果并不理想[45]。Kim等人分别开发了深度学习算法，用于在数字化3D牙齿表面模型上进行自动牙齿分割，从而实现高分割精度[46]。此外，为进一步提高分牙准确率，Hao等人开发了一种基于深度学习的分牙模型，分牙时间仅为24 s，且准确率达96.9%[47]。

本课题组关注到融合口内扫描牙冠和CBCT扫描牙根相整合的冠根模型[48]，采用端到端的深度学习模型和三维表面模型分割技术，结合CBCT及口内扫描两种模态影像各自的优点，自主研发了一种基于牙齿CBCT图像与口内扫描图像融合的三维模型分割和重建技术。首先课题组进行了口内扫描模型的实例分割，通过在2D特征图上定位牙齿三维候选区，然后将单颗牙齿候选区域以原始分辨率输入3D分割网络。为了更好地利用口内扫描模型的点、线和面信息，构建了以图卷积为基础的神经网络，并设计了特殊的损失函数，以引导网络关注牙齿边缘难以分割的区域，最终实现了全自动分割，准确率（Dice Similarity Coefficient，DSC）达到99.5%。此外，该系统对有广泛散射伪影，拍摄质量不佳，能准确处理；
其测量方法对托槽、修复体、替牙期、根管治疗、蛀牙/补牙等情况有良好的抗干扰性能。并且该系统可自动分割口内扫描结果，对牙齿编号，去除多余噪音，自动配准CBCT中的三维牙齿模型，还能自动报告牙根与牙槽骨的关系、病灶范围、病理特征等信息。实现高精度三维牙冠模型与真实牙根的最优拟合，根据真实情况修补牙齿邻面信息，解决传统根骨模型牙根信息不准确、精度欠佳的问题[49]。目前该系统的识别速度可满足临床应用需求，对上万个牙齿样本，牙齿数据维度：369×369×266到681×681×481的实验数据处理平均分割时间为2.21 min。

2.3D面部扫描和诊断

传统的二维照片和X线头影测量能较好地反应患者面部在二维平面上的特点，而三维面部扫描分析软件则可以协助正畸医生更好地分析患者面部软组织治疗前后的变化，使正畸治疗更加的精细化、专业化。随着科技的进步，激光扫描侧面技术、结构光学系统技术、立体摄影测量技术、可移动扫描仪FastSCAN等逐渐用于颅颌面面部测量中。在正畸领域，三维图像识别技术多用于研究面部治疗前后的变化，比如Moss等人利用此技术研究拔牙和非拔牙对患者面部形态的影响[50]；
Abedini等运用面部立体摄影技术，研究了微种植体支抗的成年人上颌快速扩弓后面部的三维面部变化[51]。

目前关于人工智能与面部扫描相结合的报道较少。Knoops等人提出了一种基于面部扫描的AI-3D可变形模型，用于自动分析面部形状特征，在整形和重建手术的诊断和规划中发挥着一定作用[52]。此外，有研究指出面部扫描技术结合人工智能也可以用于神经发育障碍（Autism Spectrum Disorder，ASD）的诊断，Liu等人探索了使用基于面部扫描的机器学习算法来识别ASD的可能性，并显示出有希望的结果，准确率为88.51%[53]。

将人工智能技术与正畸诊疗服务相结合，可以提供更快捷的诊断、更智能的数据分析，极大提高了正畸临床服务效率，笔者研发的正畸智能诊疗云平台除了提供正畸全流程智能化解决方案外，在未来还将采用人工智能技术整合面部三维重建、CBCT、模型等口腔数据，为正畸医生提供全周期、多维度、智能化服务，避免大量琐碎的重复性劳动消耗医生的时间和精力，实现正畸智能化方案生成，缩短医生技术迭代周期；
推动口腔智慧医疗发展，促进口腔技术的普及。

猜你喜欢标志点骨龄牙齿2387 例儿童青少年骨龄调查分析中国实用医药(2022年18期)2022-09-20头影测量标志点自动识别算法研究进展软件导刊(2022年8期)2022-08-25测量标志现状分析及保护措施北京测绘(2022年5期)2022-08-01评估身高需要定期测骨龄吗保健与生活(2022年10期)2022-05-06骨龄预测身高靠谱吗科学24小时(2020年5期)2020-08-02骨龄测评软件在矮身材、性早熟儿童身高管理中的应用心血管外科杂志(电子版)(2018年1期)2018-11-08可怜的牙齿小天使·一年级语数英综合(2017年8期)2017-08-04如何保护牙齿？小天使·一年级语数英综合(2016年11期)2016-11-28视觉测量中环形编码标志点的精确识别算法研究新技术新工艺(2016年12期)2016-03-08爱护牙齿要注意的事创新作文(1-2年级)(2015年11期)2015-11-28