3.7 对偶空间

English

线性泛函

域 $\mathbb{K}$ 上向量空间 $V$ 上的线性泛函(linear functional) $\phi$ 是一个线性映射 $\phi :V\to \mathbb{K}$，其中标量域 $\mathbb{K}$ 被视为由元素 1 张成的一维向量空间，

$$\phi (au+bv)=a\phi (u)+b\phi (v).\text{\hspace{1em}(3.24)}$$

使用“线性泛函”一词而非“线性函数”，主要是考虑到无限维空间的情形。例如，若 $V$ 是区间 $[0,1]$ 上的连续函数空间，且 $K(x)$ 是 [0, 1] 上的可积函数，令 ${\phi }_K:V\to \mathbb{K}$ 由下式定义

$${\phi }_K(f)={\int }_0^{1}K(y)f(y)dy.$$

由于线性映射 ${\phi }_K$ 是以另一个函数为自变量的函数，因此术语“线性泛函”似乎更为恰当。在这种情况下，通常将 ${\phi }_K$ 对函数 $f$ 的作用写作 ${\phi }_K[f]$，以代替 ${\phi }_K(f)$。

定理 3.8

若 $\phi :V\to \mathbb{K}$ 是任意线性泛函，则其核 $\ker \phi$ 的余维为 1。反之，任何余维为 1 的子空间 $W\subset V$ 都定义 $V$ 上的一个线性泛函 $\phi$，且该泛函在相差一个标量因子的意义下唯一，使得 $W=\ker \phi .$

证明

定理的第一部分由例3.22和方程(3.3)得出，

$$\mathrm{codim}(\ker \phi )=\dim (V/(\ker \phi ))=\dim (\mathrm{im}\phi )=\dim \mathbb{K}=1.$$

为证明逆命题，设 $u$ 为不属于 $W$ 的任意向量——若不存在这样的向量，则 $W=V$，且余维为 0。由陪集 $au+W=a(u+W)$ 构成的集合，其中 $a\in \mathbb{K}$，形成一个一维向量空间，且必与整个 $V/W$ 相同。因此每个向量 $v\in V$ 都有唯一分解 $v=au+w$，其中 $w\in W$，因为

$$v=a^{\prime }u+w^{\prime }⟹(a-a^{\prime })u=w-w^{\prime }⟹a=a^{\prime }\text{ and }w=w^{\prime }.$$

具有核 $W$ 的线性泛函 $\phi$ 满足 $\phi (W)=0\mathrm{and}\phi (u)=c\ne 0.$，对于 $\mathrm{if}c=0$，则 $\phi$ 的核是整个 $V$。此外，给定任意非零标量 $c\in \mathbb{K}$，这两个要求定义了 $V$ 上的一个线性泛函，因为它在任意向量 $v\in V$ 上的值由下式唯一确定

$$\phi (v)=\phi (au+w)=ac.$$

若${\phi }^{\prime }$是任何其他此类线性泛函，且具有$c^{\prime }={\phi }^{\prime }(u)\ne 0$，则${\phi }^{\prime }=(c^{\prime }/c)\phi$，因为${\phi }^{\prime }(v)=a{c}^{\prime }=(c^{\prime }/c)\phi (v)$ -

这个证明即使按原样也适用于无限维空间，尽管在这种情况下通常会增加线性泛函为连续的这一附加规定（见 10.9 节和第 13 章）。

随文练习

若 $\omega$ 与 $\rho$ 是 $V,$ 上的线性泛函，证明

$$\ker \omega =\ker \rho ⟺\omega =a\rho \text{ for some }a\in \mathbb{K}.$$

例 3.26

设 $V={\mathbb{K}}^n$，其中 $n$ 为任意整数 $\ge 2$ 或可能为 $n=\infty$。为方便起见，我们在此取 $V$ 为长度为 $n$ 的行向量空间。设 $W$ 为向量

$$W=\{(x_1,x_2,\dots )\in {\mathbb{K}}^n\mid x_1+x_2=0\}.$$

这是一个余维为 1 的子空间，因为若令 $\mathbf{u}=(1,0,0,\dots )$，则任意向量 $v$ 都可写成

$$v=(v_1,v_2,v_3,\dots )=au+w$$

其中 $a=v_1+v_2$ 且 $\mathbf{w}=(-v_2,v_2,v_3,...)$ 。此分解是唯一的，因为若 $au+w=a^{\prime }u+w^{\prime }$ ，则 $(a-a^{\prime })u=w^{\prime }-w\in W$ 。因此 $a=a^{\prime }$ 且 $w=w^{\prime }$ ，由于 $u\notin W$ 。每个陪集 $v+W$ 因此可唯一地表示为 $a(u+W)$ ，且 $W$ 的余维为 1。

设 $\phi :V\to \mathbb{K}$ 为线性泛函，使得 $\phi (W)=0\mathrm{and}\phi (u)=1$ 。于是 $\phi (v)=$ $\phi (au+w)=a\phi (u)+\phi (w)=a$ ，从而

$$\phi ((x_1,x_2,x_3,\dots ))=x_1+x_2.$$

$\phi$ 的核显然是 $W,$，而任何其他以 $W$ 为核的线性泛函 ${\phi }^{\prime }$ 都具有 $\phi ((x_1,x_2,x_3,\dots ))=c(x_1+x_2)$ 的形式。

向量空间的对偶空间

至于一般线性映射，可以相加线性泛函并将它们与标量相乘，

$$(\phi +\omega )(u)=\phi (u)+\omega (u),(a\omega )(u)=a\omega (u).$$

相对于这些运算，$V$ 上的线性泛函集合构成 $\mathbb{K}$ 上的一个向量空间，称为 $V_{;}$ 的对偶空间(dual space)，通常记作 $V^{\ast }$。按照先前的约定，该空间的其他可能记号有 $L(V,\mathbb{K})$ 或 $\mathrm{Hom}(V,K)$。$V$ 上的线性泛函常被称为余向量(covector)，在后续章节中我们还有理由将其称为 1-形式。

设 $V$ 为有限维向量空间，$\dim V=n$ ，且 $\{e_1,e_2,\dots ,e_n\}$ 为 $V$ 的任意一组基。$V$ 上的线性泛函 $\omega$ 由其在基向量上的取值唯一确定，

$$w_1=\omega (e_1),w_2=\omega (e_2),\dots ,w_n=\omega (e_n),$$

由于任意向量 $\begin{array}{r}u=u^i{e}_i\equiv {\sum }_{i=1}^n{u}^i{e}_i\end{array}$ 上的值均可利用线性性质式 (3.24) 确定，

$$\omega (u)=\omega (u^i{e}_i)=u^i\omega (e_i)=w_i{u}^i\equiv \sum _{i=1}^n{w}_i{u}^i.\text{\hspace{1em}(3.25)}$$

定义 $n$ 个线性泛函 ${\epsilon }^1,{\epsilon }^2,\dots ,{\epsilon }^n$ 为

$${\epsilon }^i(e_j)={\delta }_j^i\text{\hspace{1em}(3.26)}$$

其中 ${\delta }_j^i$ 是式 (3.14) 中定义的克罗内克符号。注意，这些方程唯一地定义了每个线性泛函 ${\epsilon }^i$，因为它们的值依次被赋予每个基向量 $e_j$。

定理 3.9

这 $n$ 个线性泛函 $\{{\epsilon }^1,{\epsilon }^2,\dots ,{\epsilon }^n\}$ 构成 $V^{\ast }$ 的一组基，称为 $\{e_1,\dots ,e_n\}$ 的对偶基(dual basis)。因此，$\dim V^{\ast }=n=\dim V$。

证明

首先，假设存在标量 $a_i\in \mathbb{K}$ 使得

$$a_i{\epsilon }^i=0.$$

将线性泛函作用于该方程左端，作用于任意基向量$e_j$

$$0=a_i{\epsilon }^i(e_j)=a_i{\delta }_j^i=a_j,$$

表明线性泛函 $\{{\epsilon }^1,\dots ,{\epsilon }^n\}$ 线性无关。此外，这些线性函数张成 $V^{\ast }$，因为 $V$ 上的每个线性泛函 $\omega$ 都可以写成

$$\omega =w_i{\epsilon }^i\text{ where }{w}_i=\omega (e_i).\text{\hspace{1em}(3.27)}$$

这由以下事实得出：

$$\begin{array}{rl}{w}_i{\epsilon }^i(u)& =w_i{\epsilon }^i(u^j{e}_j)\\ & =w_i{u}^j{\epsilon }^i(e_j)\\ & =w_i{u}^j{\delta }_j^i\\ & =w_i{u}^i\\ & =\omega (u)\text{ by Eq. (3.25) }.\end{array}$$

因此，$\omega$ 与 ${\omega }^{\prime }=w_i{\epsilon }^i$ 对每个向量 $u=u^i{e}_i;$ 的作用相同；故它们是相同的线性泛函。$\dim V^{\ast }=n$ 这一命题由推论 3.4 得出。

随文练习

证明展开式 (3.27) 是唯一的；即，若 $\omega =w_i^{\prime }{\epsilon }^i$，则对每个 $i=$ $1,\dots ,n.$ 都有 $w_i^{\prime }=w_i$

给定一个基 $E=\{e_i\}$，我们将经常把 $n$ 个数 $w_i=\omega (e_i)$ 称为线性泛函 $\omega$ 在该基下的分量。或者，我们也可以把它们看作 $\omega$ 关于 $V^{\ast }$ 中对偶基的分量。式 (3.25) 带有某种具有误导性的“点积”感觉。在第 5 章中，点积将被正确地定义为来自同一向量空间的两个向量之间的乘积，而 式 (3.25) 则是来自不同空间 $V$ 和 $V^{\ast }$ 的向量之间的乘积。事实上，更好的做法是把 $V$ 中向量 $u$ 的分量 $u^i$ 看作构成一个列向量，而线性泛函 $\omega$ 的分量 $w_j$ 构成一个行向量。于是上述乘积就可以合理地理解为 $1\times n$ 行矩阵与 $n\times 1$ 列矩阵之间的矩阵乘积。虽然向量在几何上常被看作有向线段，并且常用箭头表示，但这并不是思考余向量的好方法。也许，将线性泛函可视化的最佳方式是把它看作由 $\omega (v)=\mathrm{const}.$ 确定的一组平行向量平面（见图 3.3）。

对偶的对偶

我们可以追问，这种对偶化过程能否继续下去，以生成更多的向量空间，例如对偶空间的对偶 $V^{\ast \ast }$ 等。对于有限维空间，这一过程本质上在第一次对偶处停止，因为存在一种完全自然的方式将 $V$ 与 $V^{\ast \ast }$ 等同起来。要理解 $V$ 本身如何可被视为 $V^{\ast }$ 的对偶空间，对任意向量 $v\in V$ 定义相应的线性映射 $\bar{v}:V^{\ast }\to \mathbb{K}$ 为

图 3.3 线性泛函的几何图像

$$\bar{v}(\omega )=\omega (v)\text{ for all }\omega \in V^{\ast }.\text{\hspace{1em}(3.28)}$$

映射 $\bar{\mathbf{v}}$ 是 $V^{\ast }$ 上的线性泛函，因为

$$\begin{array}{rl}& \bar{v}(a\omega +b\rho )=(a\omega +b\rho )(v)\\ & =a\omega (v)+b\rho (v)\\ & =a\bar{v}(\omega )+b\bar{v}(\rho ).\end{array}$$

由 $\beta (v)=\bar{v}$ 定义的映射 $\beta :V\to V^{\ast \ast }$ 是线性的，因为

$$\begin{array}{rl}\beta (au+bv)(\phi )& =\overline{au+bv}(\phi )(\phi \in V^{\ast })\\ & =\phi (au+bv)\\ & =a\phi (u)+b\phi (v)\\ & =a\bar{u}(\phi )+b\bar{v}(\phi )\\ & =a\beta (u)(\phi )+b\beta (v)(\phi ).\end{array}$$

由于这对任意余向量 $\phi$ 都成立，我们有 $\beta (au+bv)=a\beta (u)+b\beta (v)$。此外，若 $e_1,e_2,\dots ,e_n$ 是 $V$ 的一组基，其对偶基为 ${\epsilon }^1,{\epsilon }^2,\dots ,{\epsilon }^n$，则

$${\bar{e}}_i({\epsilon }^j)={\epsilon }^j(e_i)={\delta }_i^j,$$

由定理 3.9 可知，$\{\beta (e_i)={\bar{e}}_i\}$ 是 $V^{\ast \ast }$ 的对偶基，其对偶于 $\{{\epsilon }^j\}$ 的基 $V^{\ast }$。因此映射 $\beta :V\to V^{\ast \ast }$ 是满射，因为每个 $f\in V^{\ast \ast }$ 都可以写成如下形式

$$f=u^i\beta (e_i)=\beta (u)=\bar{u}\text{ where }u=u^i{e}_i.$$

由于 $\{\beta (e_i)\}$ 是一组基，由定理 3.5 可知，分量 $u^i$，从而向量 $u$，由 $f.$ 唯一确定。因此，映射 $\beta$ 既是满射又是单射，从而是向量空间同构。

我们已经证明 $V\cong V^{\ast \ast }$。就其本身而言，这是意料之中的，因为这些空间具有相同的维数，但值得注意的是，由于定义方程 (3.28) 没有提及任何特定的基的选择，$V$ 与 $V^{\ast \ast }$ 之间的对应关系是完全自然的。因此，在将 $\bar{v}$ 与 $v,$ 等同起来并将方程 (3.28) 改写为

$$v(\omega )=\omega (v).$$

空间 $V$ 与 $V^{\ast }$ 之间的这种互反性引出了以下替代记号，本书中将交替使用这些记号：

$$⟨\omega ,v⟩\equiv ⟨v,\omega ⟩\equiv v(\omega )\equiv \omega (v).\text{\hspace{1em}(3.29)}$$

然而，需要指出的是，$V$与$V^{\ast \ast }$的等同仅适用于有限维向量空间。在无限维空间中，每个向量都可以自然地视为$V^{\ast }$上的一个线性泛函，但反之则不成立——存在$V^{\ast }$上的线性泛函，它们并不对应于$V$中的向量。

余向量分量的变换律

由定理 3.9，空间 $V$ 与 $V^{\ast }$ 之间是一一对应的，因为它们具有相同的维数，但与上面所描述的 $V$ 与 $V^{\ast \ast }$ 之间的对应不同，这种对应不是自然的。例如，若 $v=v^i{e}_i$ 是 $V$ 中的一个向量，令 $\upsilon$ 为线性泛函，其在 对偶基 中的 分量 恰好与原向量的 分量 相同，即 $\mathbf{\upsilon }={\mathbf{v}}^i{\epsilon }^i$。虽然映射 $v\mapsto \upsilon$ 是一个 向量空间同构，但若对另一个 基 $\{e_i^{\prime }\}$ 应用同样的规则，一般会得到向量与 余向量 之间不同的对应。因此，给定任意向量 $v\in V$，并不存在一种与基无关的方式在 $V^{\ast }$ 中指出一个余向量配对对象。本质上，这源于线性泛函 分量 的变换规律与向量 分量 的变换规律不同。

我们已在 3.6 节中看到，基的变换可以写成式 3.16 和式 3.20，

$$e_i=A_i^j{e}_j^{\prime },e_j^{\prime }=A_j^{\prime k}{e}_k\text{\hspace{1em}(3.30)}$$

其中 $[A_k^i]$ 与 $[A^{\prime i}{}_k]$ 通过逆矩阵方程 (3.19) 相联系。设 $\{{\epsilon }^i\}$ 和 $\{{\epsilon }^{\prime i}\}$ 分别为 $V$ 的基 $\{{\mathbf{e}}_j\}$ 和 $\{e_j^{\prime }\}$ 所对应的对偶基，

$${\epsilon }^i(e_j)={\delta }_j^i,{\epsilon }^{\prime i}(e_j^{\prime })={\delta }_j^i.\text{\hspace{1em}(3.31)}$$

集合

$${\epsilon }^i=B_j^i{\epsilon }^{\prime j},$$

将此式与式 (3.30) 代入式 (3.31) 的第一个恒等式，并将指标 $j$ 替换为 $k$ 后得到，

$$\begin{array}{rl}& {\delta }_k^i=B_j^i{\epsilon }^{\prime j}(e_k)\\ & =B_j^i{\epsilon }^{\prime j}(A_k^l{e}_l^{\prime })\\ & =B_j^i{A}_k^l{\delta }_l^j\\ & =B_j^i{A}_k^j.\end{array}$$

因此 $B_j^i={A^{\prime }}_j^i$，且对偶基的变换为

$${\epsilon }^i=A_j^{\prime i}{\epsilon }^{\prime j}.\text{\hspace{1em}(3.32)}$$

随文练习

证明与式 (3.32) 互逆的变换

$${\epsilon }^{\prime j}=A_k^j{\epsilon }^k.\text{\hspace{1em}(3.33)}$$

若 $\omega =w_i{\epsilon }^i$ 是关于第一个基具有分量 $w_i$ 的线性泛函，则

$$\omega =w_i{\epsilon }^i=w_i{A}_j^{{}^{\prime }i}{\epsilon }^{{}^{\prime }j}=w_i^{\prime }{\epsilon }^{{}^{\prime }i}$$

哪里

$$w_i^{\prime }=A_i^{\prime j}{w}_j.\text{\hspace{1em}(3.34)}$$

这被称为分量的协变(covariant)向量变换律。其逆为

$$w_j=A_j^k{w}_k^{\prime }.\text{\hspace{1em}(3.35)}$$

这些方程应与向量 $v=v^i{e}_i$ 的分量的逆变向量变换律相比较，该变换律由式 (3.17) 和 式 (3.21) 给出，

$$v^{\prime j}=A_i^j{v}^i,v^i=A_j^{\prime i}{v}^j.\text{\hspace{1em}(3.36)}$$

随文练习

直接从式 (3.34) 和式 (3.36) 验证式 (3.25) 与基无关，

$$\omega (u)=w_i{u}^i=w_j^{\prime }{u}^{\prime j}.$$

随文练习

证明：若将 $\omega$ 的分量表示为 $1\times n$ 行矩阵 ${\mathbf{w}}^T=$ $\left(w_1,w_2,\dots ,w_n\right)$，则变换律式 (3.34) 可写为矩阵方程

$${\mathbf{w}}^{\prime T}={\mathbf{w}}^T\mathsf{A}.$$

习题

习题 3.14

求 ${\mathbb{R}}^3$ 的基的对偶基，其列向量表示为

$${\mathbf{e}}_1=\left(\begin{array}{c}1\\ 1\\ 1\end{array}\right),{\mathbf{e}}_2=\left(\begin{array}{c}1\\ 0\\ -1\end{array}\right),{\mathbf{e}}_3=\left(\begin{array}{c}0\\ -1\\ 1\end{array}\right).$$

习题 3.15

设 $\mathcal{P}(x)$ 为实多项式向量空间 $f(x)=a_0+a_{1}x+\cdot \cdot \cdot +a_n{x}^n$ 若 $(b^0,b^1,b^2,\dots )$ 是任意实数序列，证明由下式给出的映射 $\beta :\mathcal{P}(x)\mathbb{R}$

$$\beta (f(x))=\sum _{i=0}^n{b}^i{a}_i$$

是 $\mathcal{P}(x)$ 上的一个线性泛函

证明 $\beta$ 上的每个线性泛函 $\mathcal{P}(x)$ 都可由这样的序列以这种方式得到，从而 $({\hat{\mathbb{R}}}^{\infty }{)}^{\ast }={\mathbb{R}}^{\infty }$

习题 3.16

定义子集 $S\subseteq V$ 的零化子 $S^{\perp }$ 为所有在 $S$ 上取值为零的线性泛函的集合，

$$S^{\perp }=\{\omega \in V^{\ast }\mid \omega (u)=0\forall u\in S\}.$$

(a) 证明对于任意子集 $S,S^{\perp }$ 是 $V^{\ast }$ 的向量子空间。

(b) 若 $T\subseteq S,$，证明 $S^{\perp }\subseteq T^{\perp }$

(c) 若 $U$ 是 $V$ 的向量子空间，证明 $(V/U{)}^{\ast }\cong U^{\perp }$ 。[提示：对 $U^{\perp }$ 中的每个 $\omega$，通过 $\bar{\omega }(v+U)=\omega (v).]$ 定义元素 $\bar{\omega }\in (V/U{)}^{\ast }$

(d) 证明 $U^{\ast }\cong V^{\ast }/U^{\perp }$

(e) 若 $V$ 是有限维的，且 $\dim V=n$，而 $W$ 是 $V$ 的任意子空间，满足 $\dim W=m$，证明 $\dim W^{\perp }=n-m$。[提示：利用由定理 3.7 得到的适应子空间 $W$ 的基，并考虑其在 $V^{\ast }.]$ 中的对偶基。

(f) 采用 $V$ 与 $V^{\ast \ast }$ 的自然等同，证明 $(W^{\perp }{)}^{\perp }=W$

习题 3.17

设 $u$ 是维数为 $n$ 的向量空间 $V$ 中的一个向量。

(a) 若 $\omega$ 是 $V$ 上的线性泛函，使得 $a=\omega (u)\ne 0$，则证明可以选择一组基 $e_1,\dots ,e_n$，使得

$$u=e_1\mathrm{and}\omega =a{\epsilon }^1$$

其中 $\{{\epsilon }^1,\dots ,{\epsilon }^n\}$ 是对偶基。[提示：将定理 3.7 应用于向量 $u$，并尝试形如 $e_1^{\prime }=e_1,e_2^{\prime }=e_2+a_2{e}_1,\dots ,e_n^{\prime }=e_n+a_n{e}_1.$ 的进一步基变换

(b) 若 $a=0,$，证明可以选取基使得

$$u=e_1\text{ and }\omega ={\epsilon }^2.$$

习题 3.18

对于习题 3.13 的三维基变换，用对偶基 ${\epsilon }^j$ 表示与 $e_i^{\prime }$ 对偶的 ${\epsilon }^{\prime j}$。线性泛函 $\omega ={\epsilon }^1+{\epsilon }^2+{\epsilon }^3$ 关于新对偶基的分量是什么？

习题 3.19

若 $A:V\to V$ 是线性算符，则定义其转置(transpose)为线性映射 $A^{\prime }$ : $V^{\ast }\to V^{\ast }$，使得

$$A^{\prime }\omega (u)=\omega (Au),\forall u\in V,\omega \in V^{\ast }.$$

证明该关系唯一地定义了线性算符 $A^{\prime }$，并且

$$O^{\prime }=O,({\mathrm{id}}_V{)}^{\prime }={\mathrm{id}}_{V^{\ast }},(aB+bA{)}^{\prime }=a{B}^{\prime }+b{A}^{\prime },\forall a,b\in \mathbb{K}.$$

(a) 证明 $(BA{)}^{\prime }=A^{\prime }{B}^{\prime }$

(b) 若 $A$ 是可逆算子，则证明 $(A^{\prime }{)}^{-1}=(A^{-1}{)}^{\prime }$

(c) 若 $V$ 是有限维的，则证明 $A^{\prime \prime }=A.$，其中我们对 $V^{\ast \ast }$ 与 $V$ 作自然等同。

(d) 证明转置映射 $A$ 在对偶基下的分量矩阵是 $A,{\mathsf{A}}^{\prime }={\mathsf{A}}^T$ 的矩阵的转置

(e) 利用问题 3.16 证明 $\ker A^{\prime }=(\mathrm{im}A{)}^{\perp }$

(f) 利用式 (3.10) 证明 $A^{\prime }$ 的秩等于 $A$ 的秩。

习题 3.20

矩阵的行秩(row rank)定义为线性无关行的最大数目，而其列秩(column rank)则是线性无关列的最大数目。

(a) 证明有限维向量空间 $V.$ 上的线性算符 $A$ 的秩等于其矩阵 $A$ 关于任意基的列秩。

(b) 利用习题 3.19 的 (d) 和 (f) 部分证明方阵的行秩等于其列秩。

习题 3.21

设 $S$ 为向量空间 $V.$ 上的线性算符

(a) 证明：$S$ 的秩为 1，$\rho (S)=1$，当且仅当存在一个非零向量 $u$ 和一个非零线性泛函 $\alpha$，使得

$$S(v)=u\alpha (v).$$

(b) 对于 $V$ 的任意基 $\{e_i\}$ 及其对偶基 $\{{\epsilon }^j\}$，证明

$$S_j^i=u^i{a}_j\text{ where }u=u^i{e}_i,\alpha =a_j{\epsilon }^j.$$

(c) 证明每个秩为 $r$ 的线性算符 $A$ 都可以写成 $r$ 个秩一线性算符之和。

(d) 证明最后一个陈述等价于以下断言：对于每一个秩为 $r$ 的矩阵 $A$，都存在列向量 ${\mathbf{u}}_i$ 和 ${\mathbf{a}}_i(i=1,\dots ,r)$，使得

$$\mathsf{S}=\sum _{i=1}^r{\mathbf{u}}_i{\mathbf{a}}_i^T.$$