§E20.44数値計算の実装と検証

証明.(1)を示す。$m_i(\theta)=\exp(a-e^\kappa t_i)+b$は指数関数と多項式の合成であるから$C^\infty$級である。$\partial_\kappa k=k$であるから$\partial_as_i=s_i$、$\partial_\kappa s_i=-kt_is_i$であり、$\partial_am_i=s_i$、$\partial_\kappa m_i=-kt_is_i$、$\partial_bm_i=1$である。さらに$\partial_a\partial_am_i=s_i$、$\partial_\kappa\partial_am_i=-kt_is_i$、$\partial_\kappa\partial_\kappa m_i=-kt_is_i-kt_i(-kt_is_i)=(k^2t_i^2-kt_i)s_i$である。$\partial_bm_i$は定数であり、$\partial_am_i$と$\partial_\kappa m_i$は$b$を含まないので、$b$を含む二階偏導関数は$0$である。

(2)を示す。$r_\lambda(\cdot;y)$の第$i$成分（$0\le i\le n$）は$\sqrt{w_i}(m_i-y_i)$であり、その全微分は$\sqrt{w_i}Dm_i$、Hessian は$\sqrt{w_i}\nabla^2m_i$である。残りの$p$成分は$\theta$のアフィン関数$\sqrt\lambda\,L(\theta-\theta_{\mathrm{ref}})$の成分であり、全微分は$\sqrt\lambda\,L$の行、Hessian は$0$である。$\varphi_\lambda(\cdot;y)=\frac12\lVert r_\lambda(\cdot;y)\rVert_2^2$に§E20.26 補題 1.2 (1)と§E20.26 補題 1.2 (2)を適用すると

である。$m$は$C^\infty$級であるから$G_\lambda$は$C^\infty$級であり、$\theta$に関する微分は$\nabla^2_\theta\varphi_\lambda=H_\lambda$である。$G_\lambda$は$y$のアフィン関数であり、その線形部分は$y\mapsto-J(\theta)^{\mathsf T}Wy$である。▨

証明.(1)を示す。$\theta=(a,\kappa,b)$、$k=e^\kappa$とし、$v=(v_1,v_2,v_3)\in\R^3$が$J(\theta)v=0$を満たすとする。補題 2.2 (1)により、$f(t):=e^ae^{-kt}(v_1-ktv_2)+v_3$は相異なる三点$\tau_1<\tau_2<\tau_3$で$0$である。Rolle の定理を$[\tau_1,\tau_2]$と$[\tau_2,\tau_3]$に適用すると、$f'(t)=ke^ae^{-kt}(kv_2t-v_1-v_2)$は相異なる二点で$0$である。$ke^ae^{-kt}>0$であるから、一次以下の多項式$kv_2t-v_1-v_2$は相異なる二点で$0$であり、$kv_2=0$かつ$v_1+v_2=0$である。$k>0$から$v_2=0$、$v_1=0$であり、$f$は定数$v_3$であって$f(\tau_1)=0$から$v_3=0$である。

(2)を示す。$\theta=(a,\kappa,b)$、$\theta'=(a',\kappa',b')$、$A=e^a$、$A'=e^{a'}$、$k=e^\kappa$、$k'=e^{\kappa'}$とすると、$f(t):=Ae^{-kt}-A'e^{-k't}+(b-b')$は相異なる三点$\tau_1<\tau_2<\tau_3$で$0$である。$k\ne k'$と仮定する。$g(t):=e^{k't}f(t)=Ae^{(k'-k)t}-A'+(b-b')e^{k't}$も三点で$0$であり、Rolle の定理により$g'(t)=e^{(k'-k)t}\bigl(A(k'-k)+(b-b')k'e^{kt}\bigr)$は相異なる二点で$0$である。したがって$\psi(t):=A(k'-k)+(b-b')k'e^{kt}$は相異なる二点で$0$である。$b\ne b'$ならば、$k>0$、$k'>0$から$\psi$は狭義単調であり、相異なる二点で$0$であることと両立しない。$b=b'$ならば$\psi$は定数$A(k'-k)\ne0$であり、零点をもたないことと両立しない。したがって$k=k'$であり、$f(t)=(A-A')e^{-kt}+(b-b')$である。$f(\tau_1)-f(\tau_2)=(A-A')(e^{-k\tau_1}-e^{-k\tau_2})=0$と$e^{-k\tau_1}\ne e^{-k\tau_2}$から$A=A'$であり、$f(\tau_1)=0$から$b=b'$である。指数関数は単射であるから$\theta=\theta'$である。▨

証明.補題 2.2 (2)により、$r_\lambda(\cdot;y)$は$C^1$級の残差写像であり、その全微分$J_\lambda$は$M_\mu$の上の$n+1+p$行であって、$J_\lambda^{\mathsf T}J_\lambda=J^{\mathsf T}WJ+\lambda L^{\mathsf T}L$、$J_\lambda^{\mathsf T}r_\lambda=g$である。§E20.26 定義 4.1をこの残差写像と減衰係数$\mu$に適用すると、$\delta_\mu$は Levenberg–Marquardt 修正量であり、(1)の前半を得る。$M_\mu$の列は下の$3$行$\sqrt\mu\,I_3$により一次独立であるから、§E20.6 命題 3.6により後半を得る。§E20.26 命題 4.2 (1)により(2)を得る。▨

証明.$x\in C\setminus\{x_*\}$をとり、$h:=x-x_*$、$g(s):=f(x_*+sh)$（$s\in[0,1]$）と置く。$C$は凸であるから$x_*+sh\in C$であり、§E4.3 定理 1.1により$g$は$C^2$級であって$g'(s)=\nabla f(x_*+sh)^{\mathsf T}h$、$g''(s)=h^{\mathsf T}\nabla^2f(x_*+sh)h>0$である。$g'(0)=0$であるから、§D1.19 定理 2.1により$s\in(0,1]$について$g'(s)=\int_0^sg''(\sigma)\,d\sigma>0$であり、$g(1)-g(0)=\int_0^1g'(s)\,ds>0$である。したがって$f(x)>f(x_*)$である。$x'\in C$が$x'\ne x_*$かつ$\nabla f(x')=0$を満たすならば、$x'$に同じ議論を適用して$f(x_*)>f(x')$となり、$f(x')>f(x_*)$と両立しない。これで(1)は示された。

(2)を示す。$x=x_*$ならば主張は成り立つ。$x\ne x_*$ならば、上の$g$について$g'(1)=\int_0^1g''(s)\,ds\ge c\lVert h\rVert_2^2$であり、Cauchy–Schwarz の不等式により$g'(1)=\nabla f(x)^{\mathsf T}h\le\lVert\nabla f(x)\rVert_2\lVert h\rVert_2$である。両辺を$c\lVert h\rVert_2>0$で割って主張を得る。▨