帮做非法网站,免费域名申请国外,网站创建怎么做,无锡做网站排名这里写目录标题 1. 线性规划基本定理2.单纯形法2.1 转轴运算 3. 内点法3.1 线性规划的内点法 1. 线性规划基本定理
首先我们指出#xff0c;线性规划均可等价地化成如下标准形式 { min c T x , s . t A x b , x ⪰ 0 , \begin{align}\begin{cases}\min~c^Tx,\\\mathrm{s.… 这里写目录标题 1. 线性规划基本定理2.单纯形法2.1 转轴运算 3. 内点法3.1 线性规划的内点法 1. 线性规划基本定理
首先我们指出线性规划均可等价地化成如下标准形式 { min c T x , s . t A x b , x ⪰ 0 , \begin{align}\begin{cases}\min~c^Tx,\\\mathrm{s.t}~Axb,\\x\succeq0,\end{cases}\end{align} ⎩ ⎨ ⎧min cTx,s.t Axb,x⪰0,其中 A [ a 1 , ⋯ , a n ] ∈ R m × n , b ∈ R m , c ∈ R n A[a_1,\cdots,a_n]\in\mathbb{R}^{m\times n},b\in\mathbb{R}^m,c\in\mathbb{R}^n A[a1,⋯,an]∈Rm×n,b∈Rm,c∈Rn不妨恒假定矩阵 A A A 是行满秩的即 r a n k ( A ) m \mathbf{rank}(A)m rank(A)m(否则根据线性代数的理论可以找到 r a n k ( A ) \mathbf{rank}(A) rank(A) 行方程来替换原方程同时为了叙述简便分别称矩阵 A A A 和 向量 b b b 为(1)的系数矩阵和右端向量.
因为线性规划的可行集是一个多面体并且目标函数是线性的从几何上直观地看线性函数在多面体上的极小点若存在则必然在多面体的顶点上取得.对于标准形式的线性规划问题其最小值点必在坐标轴上达到于是这就需要研究 A x b Ax b Axb 的所谓基础解的性质.
对标准形式的线性规划问题(7.1.1), 设方程组 A x b Axb Axb 有解. 设 b ∈ s p a n ( A ) , { a j } j ∈ J b\in\mathbf{span}(A),\{a_j\}_{j\in J} b∈span(A),{aj}j∈J 是 A A A的列向量的一个极大线性无关组其中 J ⊂ { 1 , . . . , n } , ∣ J ∣ m ( ∣ J ∣ J\subset \{ 1, ..., n\} , |J| m( |J| J⊂{1,...,n},∣J∣m(∣J∣ 表示集合 J J J 所含元素个数).那么 b b b 必可表示为 { a j } j ∈ J \{a_j\}_{j\in J} {aj}j∈J 的线性组合.
定义 1.1 (线性方程组的基础解) 设 A ∈ R m × n , b ∈ R m , x ( x 1 , . . . , x n ) T A\in\mathbb{R}^{m\times n},\:b\in\mathbb{R}^m,\:x(x_1,...,x_n)^T A∈Rm×n,b∈Rm,x(x1,...,xn)T 是线性方程组 A x b Axb Axb 的一个解.如果存在 J ⊂ { 1 , ⋯ , n } , ∣ J ∣ r a n k ( A ) J\subset\{1,\cdots,n\},\quad|J|\mathbf{rank}(A) J⊂{1,⋯,n},∣J∣rank(A),使得 x j 0 , ∀ j ∉ J ; { a j ∣ j ∈ J } 线性无关 , x_j0,\quad\forall j\not\in J;\quad\{a_j|j\in J\}\text{线性无关}, xj0,∀j∈J;{aj∣j∈J}线性无关,则称 x x x 为一个基础解 x x x 的分量 { x j ∣ j ∈ J } \{x_j|j\in J\} {xj∣j∈J} 称为相应的基变量并称 { x j ∣ j ∉ J } \{x_j|j\not\in J\} {xj∣j∈J} 为非基变量.若 { x j ∣ j ∈ J } \{x_j|j\in J\} {xj∣j∈J} 含有零元素则称 x x x 是一个退化的基础解.
显然若 A x b Axb Axb 有解则矩阵 A A A 的列向量 { a 1 , . . . , a n } \{a_1,...,a_n\} {a1,...,an} 的每一个极大线性无关组对应于一个基础解由于 { a 1 , . . . , a n } \{a_1,...,a_n\} {a1,...,an} 的极大线性无关组未必唯一所以 A x b Axb Axb 的基础解也不一定是唯一的.
引理 1.1 设 A [ a 1 , . . . , a n ] ∈ R m × n , b ∈ R m , x ∈ R n A[a_1,...,a_n]\in\mathbb{R}^{m\times n},\:b\in\mathbb{R}^m,\:x\in\mathbb{R}^n A[a1,...,an]∈Rm×n,b∈Rm,x∈Rn 是 A x b Axb Axb 的一个解那么 x x x 是基础解当且仅当 { a j ∣ x j ≠ 0 } \{a_j|x_j\neq0\} {aj∣xj0} 线性无关.
证. 设 x x x 是基础解根据线性方程组基础解的定义存在 J ⊂ { 1 , ⋯ , n } , ∣ J ∣ r a n k ( A ) J\subset\{1,\cdots,n\},\quad|J|\mathbf{rank}(A) J⊂{1,⋯,n},∣J∣rank(A),使得 x j 0 , ∀ j ∉ J ; { a j ∣ j ∈ J } 线性无关 , x_j0,\quad\forall j\not\in J;\quad\{a_j|j\in J\}\text{线性无关}, xj0,∀j∈J;{aj∣j∈J}线性无关,于是由集合的性质可以得到 { a j ∣ x j ≠ 0 } ⊂ { a j ∣ j ∈ J } \{a_j|x_j\neq0\}\subset\{a_j|j\in J\} {aj∣xj0}⊂{aj∣j∈J}, 所以 { a j ∣ x j ≠ 0 } \{a_j|x_j\neq0\} {aj∣xj0} 是极大线性无关组的子集故线性无关.
反之设 A x b Axb Axb 且 { a j ∣ x j ≠ 0 } \{a_j|x_j\neq0\} {aj∣xj0} 线性无关.不妨设 { x j ≠ 0 j 1 , ⋯ , k ; x j 0 j k 1 , ⋯ , n . \begin{cases}x_j\neq0j1,\cdots,k;\\x_j0jk1,\cdots,n.\end{cases} {xj0xj0j1,⋯,k;jk1,⋯,n.因为 a 1 , . . . , a k a_1,...,a_k a1,...,ak 线性无关所以 k ≤ m r a n k ( A ) k\leq m \mathbf{rank}(A) k≤mrank(A). 当 k m km km 时从 a k 1 , ⋯ , a n a_{k1},\cdots,a_n ak1,⋯,an 中挑选 m − k m-k m−k 个向量不妨设为 a k 1 , ⋯ , a m a_{k1},\cdots,a_m ak1,⋯,am,使得 a 1 , ⋯ , a m a_1,\cdots,a_m a1,⋯,am 线性无关. 由于 x m 1 . . . x n 0 x_{m1}...x_n 0 xm1...xn0所以 x x x 是 A x b Axb Axb 的一个基础解. n n n 维线性方程组 A x b Axb Axb 的解 x x x的全体构成 R n \mathbb{R} ^n Rn 中的一个仿射集. 其基础解是落在某个 m m m 维子空间的解它使得 { a j ∣ x j ≠ 0 } \{a_j|x_j\neq0\} {aj∣xj0} 线性无关.
定义 1.2 (基础可行解和基础最优解) 对于线性规划(1)即 { min c T x , s . t A x b , x ⪰ 0 , \begin{aligned}\begin{cases}\min~c^Tx,\\\mathrm{s.t}~Axb,\\x\succeq0,\end{cases}\end{aligned} ⎩ ⎨ ⎧min cTx,s.t Axb,x⪰0,设 x x x 是 A x b Axb Axb 的一个基础解
(1) 若 x x x 还是(1)的一个可行点即 x ⪰ 0 x\succeq0 x⪰0, 则称之为(1)的一个基础可行解
(2) 若 x x x 还是(1)的一个最优解则称之为(1)的一个基础最优解.
对于线性规划(7.1.1),有
命题 1.2 (线性规划基本定理) 对于线性规划(1)有
(1) 若存在可行点则必存在基础可行解
(2) 若存在最优解则存在基础最优解
证.设 A [ a 1 , ⋯ , a n ] ∈ R m × n , b ∈ R m , x A[a_1,\cdots,a_n]\in\mathbb{R}^{m\times n},b\in\mathbb{R}^m,x A[a1,⋯,an]∈Rm×n,b∈Rm,x 是(1)的一个可行点.若 { a j ∣ x j 0 } \{a_j|x_j0\} {aj∣xj0} 线性相关不妨设 x x x 的前 k k k 个分量非零 x j 0 , j 1 , ⋯ , k ; x j 0 , j k 1 , ⋯ , n . \begin{aligned}x_j0,j1,\cdots,k;x_j0,jk1,\cdots,n.\end{aligned} xj0,j1,⋯,k;xj0,jk1,⋯,n.由于 { a j ∣ x j 0 } \{a_j|x_j0\} {aj∣xj0} 线性相关于是存在 0 ≠ y ( y 1 , ⋯ , y k , 0 , ⋯ , 0 ) T ∈ R n 0\neq y(y_1,\cdots,y_k,0,\cdots,0)^T\in\mathbb{R}^n 0y(y1,⋯,yk,0,⋯,0)T∈Rn, 使得 A y y 1 a 1 ⋯ y k a k 0. Ayy_1a_1\cdotsy_ka_k0. Ayy1a1⋯ykak0.易见当 ϵ 0 \epsilon0 ϵ0 充分小时有 \quad (a) x j ± ϵ y j 0 , j 1 , ⋯ , k x_j\pm \epsilon y_j 0, j 1, \cdots , k xj±ϵyj0,j1,⋯,k.所以 x ± ϵ y x\pm\epsilon y x±ϵy 都是可行点 \quad (b) 若 x x x 是最优解则 c T x ≤ c T ( x ± ϵ y ) c^Tx\leq c^T(x\pm\epsilon y) cTx≤cT(x±ϵy),即 c T y 0 c^Ty0 cTy0. 从而 c T ( x ± ϵ y ) c T x . c^T(x\pm\epsilon y)c^Tx. cT(x±ϵy)cTx.
不妨设 y 1 , . . . , y k y_1,...,y_k y1,...,yk 中至少有一个为正的项. 下面我们用用逐步逼近的思想来让可行解 x x x 其中一个分量变为零后但仍为可行解.
让 ϵ \epsilon ϵ 逐步增大直到 { x j − ϵ y j ∣ j 1 , . . . , k } \{x_j-\epsilon y_j|j1,...,k\} {xj−ϵyj∣j1,...,k} 中至少有一项为 0 而其余各项非负. 因为 ϵ \epsilon ϵ 充分小于是 x ~ : x − ϵ y \tilde{x}:x-\epsilon y x~:x−ϵy 仍是一个可行点且它比 x x x 至少多出一个为零的分量.
若 { a j ∣ x ~ j 0 } \{a_j|\tilde{x}_j0\} {aj∣x~j0} 仍线性相关不断重复上述逐步逼近的操作那么有限次后便得到可行点 x ~ \tilde{x} x~, 使得 { a j ∣ x ~ j 0 } \{a_j|\tilde{x}_j0\} {aj∣x~j0} 线性无关(因为线性方程组 A x b Axb Axb的 系数矩阵 A A A 的秩不为0).因为 0 ⪯ x 0\preceq x 0⪯x所以 { a j ∣ x ~ j 0 } { a j ∣ x ~ j ≠ 0 } \{a_j|\tilde{x}_j0\}\{a_j|\tilde{x}_j\neq0\} {aj∣x~j0}{aj∣x~j0}, 于是由引理 1.1可知 x ~ \tilde{x} x~ 是一个基础可行解. (1) 获证.
命题 1.2是非常重要的它能够说明在整个可行集中求解线性规划(1)的问题可以归结为在基础可行集中求解.而 A x b Axb Axb 的基础解个数就是 { a 1 , . . . , a n } \{a_1,...,a_n\} {a1,...,an} 的极大线性无关组的个数且最大个数为 ( n m ) \binom{n}{m} (mn).
定义 1.3 (极点) 设 x ∈ S ⊂ R n x\in S\subset\mathbb{R}^n x∈S⊂Rn. 如果不存在互异的 x 1 , x 2 ∈ S x_1,x_2\in S x1,x2∈S 以及 0 θ 1 0\theta1 0θ1, 使得 x θ x 1 ( 1 − θ ) x 2 x\theta x_1(1-\theta)x_2 xθx1(1−θ)x2即线段 x 1 x 2 x_1x_2 x1x2之间任意一点都不属于集合 S S S 则称 x x x 是 S S S 的一个极点.
命题 1.3 (基础可行解的几何特征) 设 A ∈ R m × n , b ∈ R m A\in\mathbb{R}^{m\times n},\quad b\in\mathbb{R}^m A∈Rm×n,b∈Rm,记 D : { x ∈ R n ∣ A x b , x ⪰ 0 } \mathcal{D}:\{x\in\mathbb{R}^n|Axb,\:x\succeq0\} D:{x∈Rn∣Axb,x⪰0}.那么 x x x 是一个基础可行解当且仅当它是 D D D 的一个极点.
证.设 x x x 不是 D \mathcal{D} D 的一个极点不妨设 x ∈ D ( x\in\mathcal{D}( x∈D(否则已经不是基础可行解). 因为 x x x是基础可行解且 x x x 不是极点于是存在 y , z ∈ D , y ≠ z y,z\in\mathcal{D},\:y\neq z y,z∈D,yz,以及 0 θ 1 0\theta1 0θ1, 使得 x θ y ( 1 − θ ) z x\theta y(1-\theta)z xθy(1−θ)z.不妨设设 { i ∣ x i 0 } { 1 , . . . , k } . \{i|x_i0\}\{1,...,k\}. {i∣xi0}{1,...,k}. 由于 x , y , z x,y,z x,y,z 的所有分量都是非负的且由于 x θ y ( 1 − θ ) z x\theta y(1-\theta)z xθy(1−θ)z所以 y , z y,z y,z 的后 n − k n-k n−k 个分量也是 0. 于是 ∑ i 1 k ( y i − z i ) a i ∑ i 1 k y i a i − ∑ i 1 k z i a i A y − A z b − b 0. \sum_{i1}^k(y_i-z_i)a_i\sum_{i1}^ky_ia_i-\sum_{i1}^kz_ia_iAy-Azb-b0. i1∑k(yi−zi)aii1∑kyiai−i1∑kziaiAy−Azb−b0.所以 a 1 , . . . , a k a_1,...,a_k a1,...,ak 线性相关. 由 引理 1.1可知 x x x 不是一个基础可行解矛盾
反之设 x x x 不是一个基础可行解但 x x x是极点不妨设 x ∈ D ( x\in\mathcal{D}( x∈D(否则它已经不是 D \mathcal{D} D 的极点). 由于 x x x 不是基础可行解则 x x x 也不是 A x b Axb Axb 的基础解. 不妨设 { i ∣ x i 0 } { 1 , . . . , k } \{i|x_i0\}\{1,...,k\} {i∣xi0}{1,...,k}, 那么 a 1 , . . . , a k a_1,...,a_k a1,...,ak 线性相关. 于是存在 0 ≠ y ( y 1 , ⋯ , y k , 0 , ⋯ , 0 ) T 0\neq y(y_1,\cdots,y_k,0,\cdots,0)^T 0y(y1,⋯,yk,0,⋯,0)T, 使得 A y 0 Ay0 Ay0. 易见当 ϵ \epsilon ϵ 充分小时有 x ± ϵ y ∈ D , x 1 2 [ ( x ϵ y ) ( x − ϵ y ) ] . x\pm\epsilon y\in\mathcal{D},\quad x\frac{1}{2}\big[(x\epsilon y)(x-\epsilon y)\big]. x±ϵy∈D,x21[(xϵy)(x−ϵy)].所以 x x x 不是 D \mathcal D D 的极点矛盾.
2.单纯形法
单纯形法的基本思想是从线性规划的一个基础可行解出发寻找另一个基础可行解并在此过程中使目标函数不断下降直至达到基础最优解.
2.1 转轴运算
转轴运算是单纯形算法的基本运算单元现考虑如下标准形式的线性规划 { min f ( x ) c T x d s . t A x b , x ⪰ 0 , \begin{align}\begin{cases}\min f(x)c^Txd\\ \mathrm{s.t}Axb,\\x\succeq0,\end{cases}\end{align} ⎩ ⎨ ⎧minf(x)cTxds.tAxb,x⪰0, 其中 A ∈ R m × n , b ∈ R m , c ∈ R n . 下面先介绍单纯形表和三种基本变换 . \text{其中 }A\in\mathbb{R}^{m\times n},\mathrm{~}b\in\mathbb{R}^m,\mathrm{~}c\in\mathbb{R}^n.\text{ 下面先介绍单纯形表和三种基本变换}. 其中 A∈Rm×n, b∈Rm, c∈Rn. 下面先介绍单纯形表和三种基本变换.构造如下所示的图表 [ x T b A b c T − d ] [ x 1 ⋯ x p ⋯ x q ⋯ x n b a 11 ⋯ a 1 p ⋯ a 1 q ⋯ a 1 n b 1 ⋮ ⋮ ⋮ ⋮ ⋮ a m 1 ⋯ a m p ⋯ a m q ⋯ a m n b m c 1 ⋯ c p ⋯ c q ⋯ c n − d ] , \begin{align}\left.\left[\begin{array}{c|c}x^Tb\\\hline Ab\\\hline c^T-d\end{array}\right.\right]\left[\begin{array}{cccccc|c}x_1\cdotsx_p\cdotsx_q\cdotsx_nb\\\hline a_{11}\cdotsa_{1p}\cdotsa_{1q}\cdotsa_{1n}b_1\\\vdots\vdots\vdots\vdots\vdots\\a_{m1}\cdotsa_{mp}\cdotsa_{mq}\cdotsa_{mn}b_m\\\hline c_1\cdotsc_p\cdotsc_q\cdotsc_n-d\end{array}\right],\end{align} xTAcTbb−d x1a11⋮am1c1⋯⋯⋯⋯xpa1p⋮ampcp⋯⋯⋯⋯xqa1q⋮amqcq⋯⋯⋯⋯xna1n⋮amncnbb1⋮bm−d ,并且称之为线性规划(2)的单纯形表.其中第一行且并非数值或变量称之为标记行其作用是在后续列交换时过程中标记对应变量的位置.最后一行是线性规划(1)的目标函数的系数称之为目标行.而除标记行和目标行以外的部分是矩阵 [ A , b ] [A, b] [A,b],为叙述简便,对 1 ≤ i ≤ m 1 ≤ i ≤ m 1≤i≤m仍称矩阵 [ A , b [A, b [A,b] 的第 i i i 行为单纯形表的第 i i i 行.
(2.1.1) 变量置换, 设 1 ≤ p q ≤ n 1 ≤ pq ≤ n 1≤pq≤n 将单纯性表(3)的第 p p p 列与第 q q q 列进行交换可以得到如下新的单纯性表 [ x ′ T b A ′ b ′ c ′ T − d ′ ] [ x 1 ⋯ x q ⋯ x p ⋯ x n b a 11 ⋯ a 1 q ⋯ a 1 p ⋯ a 1 n b 1 ⋮ ⋮ ⋮ ⋮ ⋮ a m 1 ⋯ a m q ⋯ a m p ⋯ a m n b m c 1 ⋯ c q ⋯ c p ⋯ c n − d ] . \left.\left[\begin{array}{c|c}x^Tb\\\hline Ab\\\hline c^T-d\end{array}\right.\right]\left[\begin{array}{cccccc|c}x_1\cdotsx_q\cdotsx_p\cdotsx_nb\\\hline a_{11}\cdotsa_{1q}\cdotsa_{1p}\cdotsa_{1n}b_1\\\vdots\vdots\vdots\vdots\vdots\\a_{m1}\cdotsa_{mq}\cdotsa_{mp}\cdotsa_{mn}b_m\\\hline c_1\cdotsc_q\cdotsc_p\cdotsc_n-d\end{array}\right]. x′TA′c′Tbb′−d′ x1a11⋮am1c1⋯⋯⋯⋯xqa1q⋮amqcq⋯⋯⋯⋯xpa1p⋮ampcp⋯⋯⋯⋯xna1n⋮amncnbb1⋮bm−d .根据线性代数的内容有 x ′ Q x , A ′ A Q T , b ′ b , c ′ Q c , d ′ d , xQx,\quad AAQ^T,\quad bb,\quad cQc,\quad dd, x′Qx,A′AQT,b′b,c′Qc,d′d,其中 Q Q Q 是交换第 p p p 行和第 q q q 行的 n n n 阶置换矩阵 x x x 是 n n n 维列向量即 x ( x 1 , x 2 , ⋯ , x n ) T x(x_1,x_2,\cdots,x_n)^T x(x1,x2,⋯,xn)T由此可得 A x b ⟺ A ′ x ′ b ′ . Axb\iff A^{\prime}x^{\prime}b^{\prime}. Axb⟺A′x′b′.
(2.1.2) 行初等变换, 将单纯性表(3)除标记行和目标行以外的各行进行矩阵的行初等 变换得到新的单纯形表X.显然标记行和目标行不会改变-仅仅是将 [ A , b ] [A, b] [A,b] 变成了 [ A ′ , b ′ ] X [A′, b′]X [A′,b′]X 显然 A x b Ax b Axb 同解于 A ′ x b ′ A′x b′ A′xb′
(2.1.3) 目标函数变形设 1 ≤ i ≤ m , λ ∈ R 1\leq i\leq m,\lambda\in\mathbb{R} 1≤i≤m,λ∈R.将单纯性表(7.2.2)的目标行减去 [ A , b ] [A,b] [A,b] 的第 i i i 行的 λ倍得到新的目标行 [ c ′ , − d ′ ] [c^{\prime},-d^{\prime}] [c′,−d′]. 记目标函数 f ( x ) : c T x d f(x):c^Txd f(x):cTxd ,那么这相当于用 c T x f ( x ) − d c^Txf(x)-d cTxf(x)−d 减去 A x b Axb Axb 的 i i i 行的 入倍得 c ′ T x f ( x ) − d − λ b i c^{\prime T}xf(x)-d-\lambda b_i c′Txf(x)−d−λbi, 即
3. 内点法
3.1 线性规划的内点法
内点法的基本思想
单纯形法从顶点到顶点搜索最优解- 当初始点远离最优解时- 需要很长的搜索代价X 而内 点法在可行域内部进行搜索迭代的算法X 设当前点 x0 是可行集 D 的一个相对内点- 根 据 优化问题笔记 中的引理 1.2.1设 x ∗ ∈ D x^*\in\mathcal{D} x∗∈D,那么 S F D ( x ∗ ) \mathbf{SFD}(x^*) SFD(x∗) 是一个闭集且当 x ∗ ∈ r i ( D ) x^*\in\mathbf{ri}(\mathcal{D}) x∗∈ri(D) 时有 V P ∩ ∂ B ( 0 , 1 ) ⊂ F D ( x ∗ ) V_{\mathcal{P}}\cap\partial B(0,1)\subset\mathbf{FD}(x^*) VP∩∂B(0,1)⊂FD(x∗),因而 c l ( F D ( x ∗ ) ) ⊂ S F D ( x ∗ ) ⊂ U ( x ∗ ) ∩ ∂ B ( 0 , 1 ) ⊂ V D ∩ ∂ B ( 0 , 1 ) \mathbf{cl}(\mathbf{FD}(x^{*}))\subset\mathbf{SFD}(x^{*})\subset\mathbf{U}(x^{*})\cap\partial B(0,1)\subset V_{\mathcal{D}}\cap\partial B(0,1) cl(FD(x∗))⊂SFD(x∗)⊂U(x∗)∩∂B(0,1)⊂VD∩∂B(0,1)中四个集合均相等
