Lagrange 未定乗数法 | 実解析 II | 天游ヶ丘数理学院

1 正則制約と接空間

定義 1.1. $n,k\in\mathbb Z_{\geq1}$ とし、 $U\subset\mathbb R^n$ を開集合、 $F\colon U\to\mathbb R^k$ を $C^1$ 級の写像、 $c\in\mathbb R^k$ とする。制約集合を

M=\{x\in U:F(x)=c\}

とおく。 $a\in M$ において

DF(a)\colon\mathbb R^n\longrightarrow\mathbb R^k

が全射であるとき、 $a$ を制約 $F(x)=c$ の正則点 (regular point) という。 $M$ のすべての点が正則点であるとき、制約 $F(x)=c$ または制約集合 $M$ は正則 (regular) であるという。

定義 1.2. $M\subset\mathbb R^n$ と $a\in M$ を取る。ある $\varepsilon>0$ と $C^1$ 級曲線

\gamma\colon(-\varepsilon,\varepsilon)\longrightarrow\mathbb R^n

が存在して

\gamma((-\varepsilon,\varepsilon))\subseteq M, \qquad \gamma(0)=a, \qquad \gamma'(0)=v

を満たすとき、 $v\in\mathbb R^n$ を $M$ の $a$ における接ベクトル (tangent vector) という。接ベクトル全体を $T_aM$ と書く。

命題 1.3.定義 1.1の記号を用い、 $a\in M$ が正則点であると仮定する。このとき

T_aM=\ker DF(a)

が成り立つ。特に $T_aM$ は $\mathbb R^n$ の $n-k$ 次元部分空間である。

証明. $A=DF(a)\in\mathcal L(\mathbb R^n,\mathbb R^k)$ とおく。最初に $T_aM\subseteq\ker A$ を示す。 $v\in T_aM$ を取り、定義 1.2を満たす曲線を $\gamma$ とする。恒等式 $F\circ\gamma=c$ と連鎖律§E4.3 定理 1.1により

0=(F\circ\gamma)'(0)=DF(a)\gamma'(0)=Av

である。したがって $v\in\ker A$ である。

逆包含を示す。 $A$ は全射であるから、次元定理§D3.11 定理 2.1により

\dim\ker A=n-k

であり、特に $k\leq n$ である。 $k=n$ ならば $\ker A=\{0\}$ である。定数曲線 $\gamma(t)=a$ は $0\in T_aM$ を与えるので、この場合には逆包含が成り立つ。

以下では $k<n$ とする。 $N=\ker A$ とおき、 $N$ の基底を $\mathbb R^n$ の基底へ延長して得られる補空間を $W$ とする。このとき

\mathbb R^n=N\oplus W, \qquad \dim N=n-k, \qquad \dim W=k

である。制限 $A|_W\colon W\to\mathbb R^k$ は、核が $W\cap N=\{0\}$ であるため単射であり、同じ $k$ 次元の空間の間の線形写像であるため同型である。

線形同型

P\colon\mathbb R^{n-k}\longrightarrow N, \qquad Q\colon\mathbb R^k\longrightarrow W

を一つずつ取る。集合

V=\{(u,w)\in\mathbb R^{n-k}\times\mathbb R^k:a+Pu+Qw\in U\}

は $(0,0)$ を含む開集合である。 $H\colon V\to\mathbb R^k$ を

H(u,w)=F(a+Pu+Qw)-c

によって定める。 $H$ は $C^1$ 級であり、 $H(0,0)=0$ である。また

D_wH(0,0)=A\circ Q\colon\mathbb R^k\longrightarrow\mathbb R^k

は、 $Q$ と $A|_W$ の合成であるため可逆である。

陰関数定理§E4.8 定理 2.1により、 $0\in\mathbb R^{n-k}$ の開近傍 $B$ と $C^1$ 級写像 $g\colon B\to\mathbb R^k$ が存在し、 $g(0)=0$ かつ

H(u,g(u))=0 \qquad (u\in B)

となる。同定理の微分公式と $A\circ P=0$ から

Dg(0) =-(A\circ Q)^{-1}\circ(A\circ P) =0

である。

$v\in\ker A=N$ を任意に取る。 $P$ は $\mathbb R^{n-k}$ から $N$ への同型であるから、ただ一つの $\xi\in\mathbb R^{n-k}$ が存在して $v=P\xi$ となる。 $B$ は $0$ の開近傍なので、十分小さい $\varepsilon>0$ に対して $t\xi\in B$ が $|t|<\varepsilon$ で成り立つ。この範囲で

\gamma(t)=a+P(t\xi)+Qg(t\xi)

と定めると、 $H(t\xi,g(t\xi))=0$ から $F(\gamma(t))=c$ である。また

\gamma(0)=a, \qquad \gamma'(0)=P\xi+QDg(0)\xi=v

である。したがって $v\in T_aM$ であり、 $\ker A\subseteq T_aM$ を得る。▨

2 核の零化空間と乗数条件

補題 2.1. $A\colon\mathbb R^n\to\mathbb R^k$ を全射線形写像とし、

(\ker A)^\circ =\{\varphi\in\mathcal L(\mathbb R^n,\mathbb R): \varphi(v)=0\text{ がすべての }v\in\ker A\text{ について成り立つ}\}

と定める。このとき、任意の $\varphi\in(\ker A)^\circ$ に対して、ただ一つの線形汎関数 $\eta\in\mathcal L(\mathbb R^k,\mathbb R)$ が存在して

\varphi=\eta\circ A

となる。さらに、ただ一つの $\lambda\in\mathbb R^k$ が存在して

\eta(z)=\langle\lambda,z\rangle \qquad (z\in\mathbb R^k)

となり、標準基底に関する転置を用いると

\varphi(v)=\langle A^{\mathsf T}\lambda,v\rangle \qquad (v\in\mathbb R^n)

と書くことができる。

証明. $\varphi\in(\ker A)^\circ$ とする。 $z\in\mathbb R^k$ に対して、 $A$ の全射性により $Av=z$ を満たす $v\in\mathbb R^n$ を取り、

\eta(z)=\varphi(v)

と定める。 $Av=Av'=z$ ならば $v-v'\in\ker A$ であり、 $\varphi(v-v')=0$ なので $\varphi(v)=\varphi(v')$ である。したがって $\eta$ は $v$ の選び方に依存せず定まる。

$z_1,z_2\in\mathbb R^k$ と $r,s\in\mathbb R$ を取り、 $Av_i=z_i$ を満たす $v_i\in\mathbb R^n$ を選ぶ。 $A(rv_1+sv_2)=rz_1+sz_2$ であるから、 $\eta$ の定義と $\varphi$ の線形性により

\eta(rz_1+sz_2) =\varphi(rv_1+sv_2) =r\eta(z_1)+s\eta(z_2)

となる。よって $\eta$ は線形である。任意の $v\in\mathbb R^n$ に対して、 $v$ 自身を $Av$ の原像として用いると

(\eta\circ A)(v)=\eta(Av)=\varphi(v)

を得る。 $\eta_1\circ A=\eta_2\circ A$ ならば、 $A$ の全射性により任意の $z\in\mathbb R^k$ を $z=Av$ と書くことができ、 $\eta_1(z)=\eta_2(z)$ となる。したがって $\eta$ は一意である。

$\mathbb R^k$ の標準基底を $e_1,\ldots,e_k$ とし、

\lambda=\sum_{j=1}^k\eta(e_j)e_j

とおく。 $z=\sum_jz_je_j$ に対して線形性から

\eta(z)=\sum_{j=1}^kz_j\eta(e_j)=\langle\lambda,z\rangle

である。この表示の一意性は、二つの表現ベクトルの差と各 $e_j$ との内積がすべて零になることから従う。最後に

\varphi(v)=\eta(Av)=\langle\lambda,Av\rangle =\langle A^{\mathsf T}\lambda,v\rangle

を得る。▨

定理 2.2 (Lagrange 未定乗数法). $n,k\in\mathbb Z_{\geq1}$ とし、 $U\subset\mathbb R^n$ を開集合、 $F\colon U\to\mathbb R^k$ を $C^1$ 級の写像、 $c\in\mathbb R^k$ とする。 $M=\{x\in U:F(x)=c\}$ とおき、 $f\colon U\to\mathbb R$ は $a\in M$ で全微分可能であるとする。 $a$ が $f|_M$ の局所最大点または局所最小点であり、 $DF(a)$ が全射であるならば、ただ一つの $\lambda\in\mathbb R^k$ が存在して

Df(a)v=\langle\lambda,DF(a)v\rangle \qquad (v\in\mathbb R^n)

となる。標準基底に関する行列と勾配を用いると、この条件は

\nabla f(a)=DF(a)^{\mathsf T}\lambda =\sum_{j=1}^k\lambda_j\nabla F_j(a)

と同値である。

証明. $v\in\ker DF(a)$ を任意に取る。命題 1.3により $v\in T_aM$ であるから、ある $\varepsilon>0$ と $C^1$ 級曲線 $\gamma\colon(-\varepsilon,\varepsilon)\to M$ が存在して

\gamma(0)=a, \qquad \gamma'(0)=v

となる。 $a$ は $f|_M$ の局所極値点であるから、 $a$ のある近傍 $O\subset U$ において $f(a)$ は $f|_{M\cap O}$ の最大値または最小値である。 $\gamma$ の $0$ における連続性により、十分小さい $|t|$ に対して $\gamma(t)\in O$ となる。従って $0$ は一変数関数 $f\circ\gamma$ の局所極値点である。連鎖律により

0=(f\circ\gamma)'(0)=Df(a)v

である。よって

Df(a)\in(\ker DF(a))^\circ

となる。

補題 2.1を $A=DF(a)$ と $\varphi=Df(a)$ に適用すると、ただ一つの $\lambda\in\mathbb R^k$ が存在して

Df(a)v=\langle\lambda,DF(a)v\rangle

がすべての $v\in\mathbb R^n$ について成り立つ。実数値関数の全微分と勾配の関係§E4.3 定理 3.2を $f$ と各成分 $F_j$ へ用いると、この汎関数の等式は

\langle\nabla f(a),v\rangle =\left\langle\sum_{j=1}^k\lambda_j\nabla F_j(a),v\right\rangle \qquad (v\in\mathbb R^n)

となる。任意の $v$ に対する内積が一致するため、表示した勾配の等式を得る。▨

注意 2.3 (乗数条件は必要条件である).定理 2.2は、正則な制約付き局所極値点が乗数条件を満たすことを述べる。乗数条件を満たす点が局所極値点であることは主張しない。候補点が実際に最大点または最小点であるかどうかは、制約集合上における目的関数の値または別の十分条件によって判定する必要がある。

3 乗数条件の計算

例 3.1 (直線制約). $f(x,y)=x^2+y^2$ を制約

F(x,y)=x+y=1

のもとで最小化する。 $DF(x,y)=(1,1)$ はすべての点で全射である。乗数条件

(2x,2y)=\lambda(1,1)

と制約から $x=y=1/2$ を得る。制約へ $y=1-x$ を代入すると

f(x,1-x)=2\left(x-\frac12\right)^2+\frac12

となるため、 $(1/2,1/2)$ は制約集合全体におけるただ一つの最小点である。

例 3.2 (球面上の一次関数). $R>0$ 、 $p\in\mathbb R^n\setminus\{0\}$ とし、

f(x)=\langle p,x\rangle, \qquad F(x)=\lVert x\rVert^2

とおく。制約集合を $F^{-1}(R^2)$ とする。制約集合上では $DF(x)v=2\langle x,v\rangle$ であり、 $x\ne0$ なので $DF(x)$ は $\mathbb R$ への全射である。乗数条件と制約は

p=2\lambda x, \qquad \lVert x\rVert=R

であるから、候補点は

x=R\frac{p}{\lVert p\rVert}, \qquad x=-R\frac{p}{\lVert p\rVert}

である。Cauchy–Schwarz の不等式により、第一の点では最大値 $R\lVert p\rVert$ 、第二の点では最小値 $-R\lVert p\rVert$ を取る。

例 3.3 (二つの制約). $F\colon\mathbb R^3\to\mathbb R^2$ と $f\colon\mathbb R^3\to\mathbb R$ を

F(x,y,z)=(x^2+y^2+z^2,z), \qquad f(x,y,z)=x

によって定め、制約値を $(1,0)$ とする。制約集合は $xy$ 平面内の単位円である。その各点において

DF(x,y,0) = \begin{pmatrix} 2x&2y&0\\ 0&0&1 \end{pmatrix}

は階数 $2$ なので全射である。乗数条件は

(1,0,0) =\lambda_1(2x,2y,0)+\lambda_2(0,0,1)

となる。第二成分と第三成分から $\lambda_1y=0$ 、 $\lambda_2=0$ を得る。第一成分により $\lambda_1\ne0$ なので $y=0$ であり、制約と合わせると候補点は $(1,0,0)$ と $(-1,0,0)$ である。制約集合上では $-1\leq x\leq1$ であるため、前者は最大点、後者は最小点である。

4 正則性を欠く場合

例 4.1 (正則性を欠く反例). $f\colon\mathbb R^2\to\mathbb R$ と $F\colon\mathbb R^2\to\mathbb R$ を

f(x,y)=x, \qquad F(x,y)=x^2+y^2

によって定め、制約値を $0$ とする。制約集合 $F^{-1}(0)$ は $\{(0,0)\}$ なので、原点は $f$ の制約付き局所最大点かつ局所最小点である。一方、

DF(0,0)=0

は全射でなく、 $\nabla F(0,0)=(0,0)$ である。したがって

\nabla f(0,0)=(1,0)=\lambda\nabla F(0,0)

を満たす $\lambda\in\mathbb R$ は存在しない。正則性を欠く制約付き局所極値点では、乗数条件が成立しない場合がある。

5 演習

問題 5.1 (二つの線形制約のもとでの最小化). $f\colon\mathbb R^3\to\mathbb R$ と $F\colon\mathbb R^3\to\mathbb R^2$ を

f(x,y,z)=x^2+y^2+z^2, \qquad F(x,y,z)=(x+y+z,x-y)

によって定める。制約値を $(1,0)$ とする。次を示せ。

制約は正則であり、制約集合の各点における接空間を求めよ。
Lagrange 未定乗数法を用いて、制約集合上の局所極値点の候補を求めよ。
得られた候補が制約集合全体におけるただ一つの最小点であることを、乗数条件とは別に確かめよ。

解答.

$DF$ は定数行列

DF= \begin{pmatrix} 1&1&1\\ 1&-1&0 \end{pmatrix}

である。二つの行は一次独立なので $DF\colon\mathbb R^3\to\mathbb R^2$ は全射であり、制約は正則である。命題 1.3により、制約集合の任意の点 $a$ において

T_aM =\ker DF =\{(u,v,w)\in\mathbb R^3:u+v+w=0,\ u-v=0\} =\operatorname{span}\{(1,1,-2)\}

となる。

乗数を $\lambda_1,\lambda_2$ とすると、乗数条件は

(2x,2y,2z) =\lambda_1(1,1,1)+\lambda_2(1,-1,0)

である。制約 $x-y=0$ により $x=y$ であり、乗数条件の第一成分と第二成分の差から $\lambda_2=0$ を得る。したがって $2x=2y=2z=\lambda_1$ である。制約 $x+y+z=1$ と合わせると

(x,y,z)=\left(\frac13,\frac13,\frac13\right)

だけが候補になる。

任意の $(x,y,z)$ について

x^2+y^2+z^2 -\frac{(x+y+z)^2}{3} =\frac{(x-y)^2+(y-z)^2+(z-x)^2}{3} \geq0

である。制約 $x+y+z=1$ のもとでは $f(x,y,z)\geq1/3$ であり、等号が成り立つための必要十分条件は $x=y=z$ である。従って $(1/3,1/3,1/3)$ は二つの制約を満たす点の中でただ一つの最小点である。制約集合は直線であり、 $f$ はその上で上に有界でないため最大点をもたない。▨

§E4.9Lagrange 未定乗数法

1 正則制約と接空間

2 核の零化空間と乗数条件

3 乗数条件の計算

4 正則性を欠く場合

5 演習

参考文献

前提記事