(上篇)第18章 机器人辅助手术中的力反馈和感觉替代

本文主要从力反馈方法,环境端信息测量和估计方式,遥操作类型,遥操作控制性能评估以及设计的影响几个方面进行了综述,并提到和解释基本上遥操作理论的核心。

本文是翻译自《surgical robotics:Systems Applications and Visions》这本书的第18章
,算是我正式翻译的第二篇本书文章。

我未来的专栏文章会尽量均衡在产品和技术两个方面,也是基于对自己的规划,希望自己能在两个方向上有所深入:

1-研究并思考医疗机器人未来应该做什么样的产品?(产品方向) ;

2-研究并学习相应的机器人技术(研发方向)。

这一篇属于方向2,阅读了解前人针对力反馈的研究程度。总的阅读下来,在直接力反馈方向,这篇文章针对不同的力反馈方式在特定手术操作中(打结)和虚拟写字的操作力进行了研究,明确有力反馈的操作力会显著小于无力反馈的操作力,但是全维力反馈和局部力反馈的操作结果差异不明显,尤其是姿态力反馈对操作结果不大,但是操作者会觉得很不舒服。

本文太长了,所以先放上篇,主要翻译了遥操作力反馈的理论部分,下篇再放实验部分(局部力反馈和图形力反馈/组织信息显示技术)。
 


第18章 机器人辅助手术中的力反馈和感觉替代

Allison M. Okamura, Lawton N. Verner,Tomonori Yamamoto,

James C. Gwilliam, and Paul G. Griffiths

译者:剪刀手雷蒙德

简介:目前认为手术中触觉反馈的缺失是影响遥操作手术机器人系统效果的一个因素,这个章节梳理了在机器人辅助手术系统中实现力反馈的技术挑战,并且梳理了通过模拟手术来评估力反馈的最新研究。本文强调了在设计力反馈控制系统中硬件设计选型的重要性及硬件设计与控制器设计的重要关系。另外,本文考虑了完整自由度力反馈在手术操作和环境中的实用性和必要性。除了直接将操作力反馈给医生,同时采用感觉替代方法或者增强现实例如将器械和病人之间的操作力信息图形化显示也是可选办法之一(同样的方法可以用于显示病人组织的物理属性),实验证明直接力反馈和图形力反馈的手术效果取决于不同的手术操作和医生的水平。

18.1 前言

在传统开放手术中,医生可以轻松的依靠皮肤感知到力和触觉从而决定给组织和器官施加的力,这种触觉交互信息(包括力和触觉)能够允许医生对病人的组织进行力度精确的操作。然而在普通微创手术(MIS)和机器人辅助外科手术(RMIS)中,帮助医生测量并显示出触觉的信息就很困难,微创手术使得患者能够更快的康复,但是对于医生来说就必须在失去触觉反馈的情况下来做手术操作。一般来说普通腹腔镜手术中医生还能得到以下力反馈信息,但是目前投入临床使用的微创手术机器人均没有提供力反馈功能,例如美国intuitive surgical公司的da Vinci系列手术机器人(本文翻译时间为2018.1,此时获得FDA批准的senhance外科手术机器人已经具备力反馈功能)。同时由于使用长杆器械(MIS)或者使用手术机器人远程操作导致触觉也完全丧失。本章节关注在触觉反馈中的力觉部分。


Figure 1 触觉反馈缺失的描述。a:开放手术中,医生直接接触组织,提供了完美的触觉反馈。b:当使用长杆器械进行手术操作时,医生丧失了触觉反馈,同时也损失了一部分力反馈。c.当使用手术机器人进行操作时,医生损失了触觉反馈和力反馈。

18.1.1 力反馈的原则

手术操作中有几个因素与力反馈相关。首先,力和运动的信息能够结合起来去感知组织的特性,这允许医生区分健康组织和病变组织。例如在探查操作中,能够触摸出来肿瘤/肿块或者钙化的心血管。力反馈能够帮助医生直观快速的识别出病变组织和器官。其次,力反馈能够避免疏忽造成的组织损伤。在没有力反馈的时候,医生操作手术机器人无法保证器械和组织的接触力。在进行钝化切割和缝合的时候,力反馈对于避免损伤组织和重要器官非常重要,最终可以降低对组织的损伤。更进一步的,力反馈可以避免由于用力过大造成缝合处的二次损伤。

为了理解力在传统手术、普通微创手术、机器人微创手术(无力反馈)中的作用,我们的研究小组研究了基于住院医师和外科医生的打结操作的区别:手动打结,腹腔镜器械打结(使用持针器),手术机器人打结(无力反馈)。研究发现手术机器人打结在力的可重复性上相比于手动打结要低(而腹腔镜器械打结并没有降低),这说明,如果手术机器人打结能够像普通腹腔镜器械一样提供类似的反馈,那么手术机器人打结的可重复性会提高。同时一些组的数据也说明了力反馈能够为手术提供“有用”的信息,力信息能够对运动产生动态约束,通常提高了更好的手术操作和接触力。

Figure 2 一名主治医生在各种缝合打结中的操作力。器械打结的力和手动缝合打结的力近似,而手术机器人的差异很大。

18.1.2力反馈方法

在遥操作手术机器人中,力反馈需要两个基础要素:力感知和力显示。有很多种方法可以实现这些要素。

18.1.2.1 力信息测量和估计

在病人体内去测量力是一个很大的挑战,力传感器最理想的位置是放置在器械末端,但是这需要生物兼容性、无菌并且能够抵抗温度变化。同时,力传感器会使得手术器械的费用大大增加,尤其是当需要测量多个自由度并且器械是一次性使用的。为了规避这些问题,力传感器可以放置在患者体外。然而,这样做一般都是有问题的,因为这样会测量出摩擦力、腹壁的力、以及不动点施加的扭矩,而不仅仅是组织和器械之间的作用力。而这些干扰力矩往往会掩盖住真正需要测量的作用力。另外一个可选的传感器安装位置是安装在器械杆上。对于da Vinci机器人器械这种绳驱的手腕自由度的器械,内部的杆的力在手术中 变化很大。这些杆内的力比实际上器械和组织的交互力要大。通过标定去解决内部的力一般是不可行的,因为有很大的迟滞问题以及需要严重依靠初始状态。目前有几个研究项目重新设计的手术器械来保证能够在器械末端安装力传感器但不影响器械的灵巧性和可消毒性。

运用特定的远程控制器,可以不用力传感器就能估计出施加在病人身上的力,例如说将从手端机器人设计出低惯量低摩擦的特性,那么此时期望位置和实际位置的偏差就能代表出从手端机器人和环境之间的作用力。这种控制器的应用分析和作为力传感器的效果将会在18.2章节描述。

18.1.2.2 力信息显示

获得的力信息可以通过几种方法展示给使用者。其中最明显的方法是使用触觉装置直接反馈力作用到操作者的手部(DFF),很多远程手术机器人系统采用商业化的触觉反馈装置作为力反馈主操作手,其中PHANTOM和Omega是两款常见的设备,商家分别来源于美国和瑞士。不同的是,da Vinci机器人系统采用了客户定制版的主操作手,每个关节都安装了电机来保证6个维度的力反馈。(然而力反馈的性能被限制,原因在1.2.1节中有描述,译者考虑主要指的是器械无力传感器,从手尚有一定的惯量和摩擦)。运动维度和力反馈维度不同造成的结果将会在本文第3部分描述。

通过一个动态的设备应用直接力反馈在大部分场景均适用,力信息也可以通过其他感知替代的方式展现,例如视觉(图形化)、听觉、触觉反馈等。如之前描述,这种感觉替代的方式并没有直接力反馈那么有效,毕竟不能通过实际的物理接触产生自然的物理约束。但是感觉替代方案在微创手术机器人领域更具有可行性,毕竟实施的代价很低,而且能够消除直接力反馈带来的控制稳定性问题。更进一步的,感觉替代方案在训练医生使用机器人辅助手术系统的时候效果明显,在本章的第4/5章节描述了几种显示图形化力显示和组织特性信息的方法,并描述了他们的实际评估效果。

18.2 力反馈遥操作中的控制因素

目前力反馈远程操作控制涉及的问题主要有操作性能、操作稳定性、鲁棒性。这个章节描述了可以实现力反馈常见的控制结构, 如何测量遥操作的性能,以及操作器鲁棒稳定性的无源性标准。本章节的重点放在硬件和控制器设计之间的关系上。

力反馈控制器的经典结构是Lawrence设计的四通道控制结构,图Figure 3描述了一个包含多样化传感器信息的线性时不变遥操作模型,包括了主从端的位置和力的信息。硬件模型P是一个斜对角矩阵,描述了主从之间的传递函数。力/力矩控制器Cf和Cy是2x2矩阵形式的传递函数。之所以是四通道结构是因为有四种信号需要在主从控制器之间交换。如果的Cf和Cy矩阵的所有非对角元素均为非零,那么需要两个通道去发送Fh(人手操作力)和Ym(主手位置)给从手,同时需要另外两个通道将Fe(环境操作力)和Ys(从手位置)反馈给主手。如果主从控制之间有延时,那么还需要在Cf和Cy矩阵非对角元素上增加一个延时环节e - sT ,其中T是单向传递延时。人类操作者和动态环境在传递函数H和V中被建模,由于操作者和环境都不是线性时不变模型,因此在性能分析和稳定性判定时要经常用到线性化。


Figure 3 四通道力反馈控制器的框架。当Cy和Cf是非零非对角矩阵时,主从之间的力信息和位置信息就可以得到交换。四个连接通道就可以将主从之间的信息链接起来。(译者注:本图只是表达了各个信息之间的关系,单纯结构并没有表现出传统上的主从结构)

四通道模型的应用情况取决于手术操作的实际情况能够满足多少模型的假设。一个假设是力传感器安装在末端从而可以直接读取使用者或者环境的作用力。另一个假设是人手输入力/环境作用力与主从端的控制输入能够等效的影响模型的动态输出。这两个假设对于理想化很多远程操作模型都是有效的。然而实际的硬件永远不会满足这些理想化的假设,实际力和传感元件之间会有交互动力学,另外当考虑系统柔性和摩擦的时候,外界力和控制输入对系统的输出会不一样。一般来说,第二个假设对于阻抗型设备是有效的。Figure 4中da Vinci主手是一个阻抗型设备的例子,da Vinci主手操作非常轻盈顺畅,因为关节摩擦力和惯量很小。与之相反的案例是Steady-Hand机器人,这种机器人只有在收到控制系统指令是才会移动。导纳型装置需要力/力矩传感器(Figure 4中右图安装了六维力传感器),并不适用远程操作的四通道架构。


Figure 4 da Vinci的主操作手和Steady-Hand机器人分别表现出了阻抗型和导纳型的特征。

有很多种使用多种多样的传感器和硬件的控制策略。本文呈现两种典型应用的远程控制策略:一种是仅仅基于位置信息,一种基于测量的环境力。这两种控制策略包括了很多远程控制器的共性问题,同时也有很多手术遥操作力反馈的研究用到这两种策略。

译者注:

阻抗型系统:系统输入流(比如速度V),输出势(比如阻力F)。(类似于电路中的电阻作用,电阻输入电流,产生电压)

导纳型系统:系统输入势(比如力F),输出流(比如速度V)。

da Vinci主手在手术操作中主要靠人手操作输入运动并作为系统输入,然后输出接收到的从端反馈力,属于Vin-Fout,因此是阻抗型。

对于Steady-Hand,手术操作时控制输入主要靠六维力传感器采集人手输入的操作力作为输入,然后变换成为速度输出,属于Fin-Vout,是导纳型控制。


18.2.1 “位置-位置型”遥操作

单独的位置信息在某些情况下就可以明显的创造出主从之间的耦合连接从而得到力反馈效果。这种耦合关系可以简单到只用一个线性的虚拟弹簧表现,让主从之间有一个虚拟的相互拉的力。那么只需要位置信息就可以计算出虚拟弹簧伸长的长度(F=K*δx)。位置信息控制架构通常用“位置-位置型遥操作”来描述主从之间双边交换位置信息。

一个简单但有效的“位置-位置型控制器”可以被建模成一个并联的弹簧-阻尼模型,将主从两端连接起来,见Figure 5(译者增加)。


Figure 5 “弹簧-阻尼型”的“位置-位置控制器”

其中位置偏差定义为:

公式1

那么主从端的控制律分别为:

公式2

其中s是拉普拉斯变量(代表了在时域的微分)。这个控制器用四通道架构描述如下:

公式3

主从之间连接的强度随着Kp和Kd的增加而增大,同时可以降低主从之间的跟随偏差。

位置-位置型结构主从控制器非常适用于主从机构在自由空间移动的情况。理想的虚拟弹簧阻尼控制是主从端的力大小相等方向相反。然而由于主从端的动力学会影响这个等式。好的硬件设计可以降低摩擦和惯量。局部的反馈方法可以塑造主从端的硬件动力学,例如采用阻尼补偿可以降低部分硬件本身的阻尼。然而需要注意的是,随着补偿程度的提高,稳定性裕度和鲁棒性会降低。

18.2.2 “位置-力型”遥操作

由于力/力矩传感器的不好的属性:显著的费用提高、脆弱性、频繁的标定,阻止了力传感器的应用推广,使得“位置-位置遥操作”成为更优选的控制器。然而力/力矩传感器在主端或者从端具有很大的摩擦力或者惯量的时候是必须的。这种情况一般出现在超大型机器人或者微型机器人上。大型机器人需要齿轮减速机构提高驱动力矩。那么齿轮减速会极大的提高表征惯量和摩擦力。一些蜗轮蜗杆减速会是的系统完全没有反驱能力。一些小的机器人经常由于内在摩擦力和施加在末端的力的量级相似导致无法使用“位置-位置”型控制器。

当从机器人的内部摩擦力和惯量很大时,这是器械末端需要安装力/力矩传感器保证对环境力的敏感。在顶层,主手提供位置指令信息给从机器人,而从机器人测量出与环境的作用力发送回给主手,这种结构被称为“位置-力型遥操作”。一个简单的“位置-力”控制律描述如下:

公式4

参考四通道结构,这个控制器可以描述为:

公式5

上述的“位置-力”控制器使用PD控制律来保证从手跟随主手的位置。力信号一般采用单位增益发送给主手。实践中力信号需要滤波来消除高频噪音。“位置-力”型控制策略比较容易不稳定,尤其是当控制反馈中包含延时。如果有明显的延时,那么传递的信号需要被变换为波变量并优先传输来改善不稳定的影响。Niemeyer和Slotine曾对波变量进行综述。

18.2.3运动和力增益

主从之间的运动增益是遥操作微创手术机器人的一个明显优点,这允许医生进行更为准确的操作。增加了力反馈之后,运动和力都可以进行比例映射。增益在控制律中没有明确表示,增益是标准化从端机器人位置和力的产物。假设未标准化的从端机器人动力学如下:

公式6
 
截图1

公式7
截图2

18.2.4 遥操作控制器的性能评估

力反馈操作器的表现目标是提供一个高刚度、低摩擦、低重量/惯量的工具,从而使得使用者可以操作从端机器人来操作远端环境。高刚度对于感知材料特性非常重要(如表面质地和刚度)。低惯量和摩擦对于识别微小的环境力很重要。因此力反馈系统的性能可以被两个指标评估:位置和力的协调,位置协调和透明性。(译者直译,不是很合适,具体定义见下文)

位置协调可以用偏差来测量Ey:=Ym-Ys。类似的力的协调可以测量Ef:=Fh+Fe得到。完美的协调是Fh和Fe大小相等方向相反。当误差信号Ey和Ef都为零时,这种情况下被称为理想的耦合。 由于操作者和环境动力学矩阵很复杂导致测量位置和力的偏差很复杂。因此一个严格的性能评估方法需要考虑操作者和环境动力学的多种结合方式。为了解决这个问题,一个次选的测量方案是测量部分力反馈性能。

透明性描述了环境动力学在被操作者通过遥操作器影响时的改变。术语透明性类比自玻璃传输光线的例子:完美的玻璃不会影响/扭曲/吸收穿过它的图像。在四通道架构中,线性环境动力学用V描述,实际影响操作者的动力学是环境动力学V(也包含硬件和控制器。译者推测:意思是操作者感受到的动力学=环境动力学+控制器+主从系统)。根据Figure 3中的描述,动力学表述为从Fh到Ym(不包括来自使用者的反馈H):

公式8

那么透明性就可以使用比例R/V或者R与V之间的误差来描述,称之为失真。定义如下:

公式9

当失真  mso-bidi-theme-font:minor-bidi;mso-ansi-language:EN-US;mso-fareast-language: ZH-CN;mso-bidi-language:AR-SA">θ 为零时称为完美的透明性。实际上,“失真”的频域响应可以比一些有限的带宽更小(译者推测:即有时候由于实际测试能力,无法测试到“失真”频域响应的极限)使用透明性作为系统性能评估标准的优点是不受操作者动力学的影响。

18.2.5稳定性和无源性

操作者与主操作器、环境和从操作器之间的机械接触可以显著的改变闭环系统动力学,并潜在的产生了不稳定性。一个通用的阻止耦合不稳定性的方法是设计一个无源的二端口网络模型。(关于无源性的深入讨论,可以查阅文献15/17)。在这个模型结构中,操作者和环境被建模为二端口操作模型的单端终端Figure 6。二端口的无源性含义是操作者和环境之间的远程操作器不会产生超过初始能量的额外能量。如果操作者和环境动力学也是无源的,那么整个系统就都是无源的,也是稳定的。


Figure 6操作者和环境被建模为二端口操作模型的单端终端

操作器的无源性可以比较容易的被一个基于闭环动力学的矩阵确定。我们首先描述操作器的动力学,包括硬件和控制器,但是不包括操作者和环境动力学,其描述矩阵如下:

公式10
公式11

混合矩阵中,其耗散矩阵(scattering matrix)定义为:

公式12

当满足下列条件是操作器是无源的:

公式13

||•||代表了所有频域峰值奇异值。当这个不等式成立的时候,操作器针对所有无源的操作者和环境动力学的反馈设计都是稳定的。在实际应用中,这种设计偏保守,因为操作者和环境的动力学特性是有范围的。线性分析和一些操作者动力学的限制可以产生更好的性能和线性稳定性保障。

18.2.6控制器设计中的硬件影响

远程控制器的性能在控制软件开始写之前就被确定了,尺寸、重量、联结设计、传动装置、主手驱动器和从端机器人起到了重要作用,包括结构刚度,阻尼特性,摩擦,饱和和反驱性能。这些特性指导合适的传感器选型、控制策略,以及最终遥操作系统能达到的鲁棒性和稳定性。

机器人的顺应性和结构类型在限制力反馈系统的性能上起到重要作用。比如说图18.7展示了一个松弛状态下(无人握持)的第一代达芬奇机器人主手的频域响应,给一个单关节施加了伪噪音。图的坐标轴进行了标准化保证数据都能显示,这张图展示了很多阻抗型主操作手的共同特征。在某个特定频率以下,设备表现主了单纯的质量-阻尼的线性特征。在较高的频率上( 10^{-2} 以上)绳驱的柔性和共振模式很明显的产生了多阶共振态和反共振,我们注意到部分共振模态可能有末端平衡架产生,更高频率的特征部分来源于约束装配的控制器,随着更高频率时频域响应幅值的降低,此时如果想达到期望位置则需要更大的控制输入。实际上,超过一阶反共振频率后末端运动的控制能力降低的非常快,如果同时考虑到驱动器的带宽限制和饱和影响,设备的共振模态是设备实际的触觉力反馈带宽限制的原因,对所有阻抗型触觉反馈装置都是这样。

饱和与驱动带宽并不是将闭环带宽限制在硬件共振模态的全部因素,良好的鲁棒稳定性也有类似的限制。随着闭环带宽提高,共振模态对时间响应的贡献在提高,并且高频振动开始变得明显起来,在触觉手感和可见范围都有体现。如果一阶共振模态不被衰减,那么它很容易在闭环中被激发,尽管位置跟随带宽比共振模态小很多,一个匹配共振频率的陷波滤波器可以用来减少震动。然而,这些基于模型的控制策略本质上对硬件动力学是很敏感的。模型是不确定的,开环动力学会因为使用者和环境的动力学而变化,并且硬件参数由于不同设备和时间变化也会自然不同,这些都会导致陷波滤波器的抵消作用降低。

硬件设计的一个重要指标是刚度,不仅仅能够提高闭环带宽,同时对稳态位置精度也很重要,因为机器人末端位置是靠关节角度和运动学计算出来的。然而机器人连杆在负载时的弯曲可能很明显但是无法被关节传感器数据测量出来。关节和传感器之间的柔性(一般是权衡花费和复杂度)加剧了机器人实际末端位置和计算末端位置的误差。Tavakoli和Howe在研究中35展示一种在柔性病人端机器人末端安装位置传感器的方法能够降低低频段的闭环柔性从而提高位置精度。绝对位置精度在具有实时视频的手术远程操作中不是很重要。切换开关能够让医生重新调整主手的位置而不移动从端机器人,然而绝对位置精度在末端数据需要和它自己或者别的传感器数据进行“注册/匹配”时就非常重要。

其他硬件参数也会限制在系统共振模态之下时触觉反馈的保真度。惯量、阻尼和摩擦会掩盖施加在从机器人末端和主手的微小的力。设计滤波器可以提供部分的补偿,但是提高对硬件参数变化的敏感度是一个不可避免的花费。如何进行准确的权衡在研究中被量化,研究11量化了线性单自由度设备位置反馈控制下的力觉感知。定性的来说,想要使用笨重的设备感知轻盈的环境需要硬件补偿。举个栗子,软组织和硬组织的频域响应覆盖了主手硬件的频域响应范围。随着频率升高,想要获得精确的感知,柔性环境需要更多的硬件补偿相对于刚性环境。

未完待续。
---------------------------------------

上篇到此结束,下篇我再整理梳理最近会发出来。

文章上篇主要从力反馈方法,环境端信息测量和估计方式,遥操作类型,遥操作控制性能评估以及设计的影响几个方面进行了综述,基本上遥操作理论的核心都有提到和解释,引用了很多大牛的文章值得去读去理解,我翻译或者理解不对的地方欢迎大家指出或者讨论
 
相关标签:
  • 机器人
  • 力反馈

参与评论

师云雷

微创医疗工程师,天津大学机械工程学院硕士,研究方向:医疗机器人。研究具体内容:主从双边控制、力传感、力反馈、柔顺控制、关节控制器。擅长领域:手术机器人产品研发、机器人控制器设计、控制器算法、机器人系统调试与故障诊断等。

推荐文章

为什么我们在机器人运动控制中一直在强调力控? 机器人控制该怎么入门? 机械设计(课程)——丝杆传动系统结构设计 浅谈阻抗 经典SEA线性动力学模型及其简化与力矩求导