相关名词的概念

标量

又称纯量，是只有大小、没有方向、可用实数表示的一个量。

实际上标量就是实数，“标量”这个称法只是为了区别于向量。

向量

也称作矢量，指一个同时具有大小和方向，且满足平行四边形法则的几何对象。

一个向量可以由一列有序的数来确定。

若向量$x$中总共有$n$个元素，且每一个元素都属于$\mathbb{R}$，则$x \in \mathbb{R}^{n}$，其中$\mathbb{R}^{n}$表示实数集$\mathbb{R}$的$n$次笛卡尔积所构成的集合。

提示

有时我们会这样描述向量：

$$x = \big[x_1\,\,x_2\,\,\cdots\,\,x_n\big]^\top = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$$

矩阵

数学上，一个$m\times n$的矩阵是一个由$m$行（row）$n$列（column）元素排列成的矩形阵列。矩阵里的元素可以是数字、符号或数学式。

若一个实数矩阵$\bold{A}$高度为$m$，宽度为$n$，那么我们称矩阵$\bf{A} \in \mathbb{R}^{m \times n}$。

$$\bold{A} = \begin{bmatrix} a_{1,1} & a_{1,2} & a_{1,3} & \cdots & a_{1,j} & \cdots & a_{1,n} \\ a_{2,1} & a_{2,2} & a_{2,3} & \cdots & a_{2,j} & \cdots & a_{2,n} \\ a_{3,1} & a_{3,2} & a_{3,3} & \cdots & a_{3,j} & \cdots & a_{3,n} \\ \vdots & \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ a_{i,1} & a_{i,2} & a_{i,3} & \cdots & a_{i,j} & \cdots & a_{i,n} \\ \vdots & \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ a_{m,1} & a_{m,2} & a_{m,3} & \cdots & a_{m,j} & \cdots & a_{m,n} \end{bmatrix}$$

张量

严格定义：

是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数(线性关系的基本例子有内积、外积、线性映射以及笛卡儿积)。

其坐标在$n$维空间内，有$n^r$个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。$r$称为该张量的秩或阶（与矩阵的秩和阶均无关系）。

张量的简洁定义表述为由若干坐标系改变时满足一定坐标转化关系的有序数组成的集合。

另一种定义方式：

一个$(p,q)$型的张量$T$被定义为一个多重线性映射

$$T: \underbrace{V^{*}\times \dots \times V^{*}}_{p{\text{ 個}}}\times \underbrace{V\times \dots \times V}_{q{\text{ 個}}} \mapsto \mathbb{R},$$

其中$V$是矢量空间，$V^*$是其对偶空间。

张量不随参照系的坐标变换（其实就是基向量变化）而变化。

提示

与标量、矩阵的关系：

我们可以将标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。

单位矩阵和逆矩阵

单位矩阵

是一个$n\times n$的方形矩阵，其主对角线元素为1，其余元素为0，且该方阵的阶数为$n$，记作$I_n$，有时会记作$\text{diag}(1,1,\dots,1)$

逆矩阵

设A是一个$n$阶矩阵$\bold{A}$，若存在另一个$n$阶矩阵$\bold{B}$，使得$\bold{AB}=\bold{BA}=\bold{E}$ ，则称方阵$\bold{A}$可逆，并称方阵$\bold{B}$是$\bold{A}$的逆矩阵，并记作$\bold{A}^{-1}$。

范数

详细请查看此处

特殊类型的矩阵和向量

对角矩阵

对角矩阵(Diagonal Matrix)只在主对角线上含有非零元素，其他位置都是0。

形式上矩阵$D$是对角矩阵，当且仅当对于所有的$i \neq j, \,\, D_{i,j}=0 \quad \forall i,j \in \{1, 2, \ldots, n\}$。

单位矩阵是对角矩阵的特殊形式。

对于$diag(v)$，表示的是对角元素由向量$v$中元素给定的一个对角方阵。

提示

对角矩阵受到关注的部分原因是对角矩阵的乘法计算很高效。我们有$diag(v)=v\odot x$。

另外计算对角方阵的逆矩阵也十分高效。对角方阵的逆矩阵存在，当且仅当对角元素为非零值。在这种情况下，我们有$diag(v)=diag([\frac{1}{v_1}, \dots , \frac{1}{v_n},]^\top)$

很多情况下，我们可以根据任意矩阵到处一些通用的机器学习算法，但通过将一些矩阵限制为对角矩阵，我们可以得到计算代价较低的并且简明扼要的算法。

暂时不太懂的地方

不是所有的对角矩阵都是方阵。长方形的矩阵也有可能是对角矩阵。非方阵的对角矩阵没有逆矩阵，但我们仍然可以高效地计算它们的乘积。对于一个长方形对角矩阵$D$而言，乘法$Dx$会涉及到$x$中每个元素的缩放，如果$D$是瘦长型矩阵，那么在缩放后的末尾添加一些零；如果$D$是宽胖型矩阵，那么在缩放后去掉最后一些元素。

对称矩阵

对称（symmetric）矩阵是转置和自己相等的矩阵，即$A=A^\top$。

当某些不依赖参数顺序的双参数函数生成元素时，对称矩阵经常会出现。例如，如果 $A$是一个距离度量矩阵，$A_{i,j}$表示点$i$到点$j$的距离，那么$A_{i,j}=A_{j,i}$，因为距离函数是对称的。

单位向量

单位向量（Unit Vector）是具有单位范数（Unit Norm）的向量：$||x||_2=1$

正交

如果 $x^\top y=0$，那么向量$x$和向量$y$互相正交（orthogonal）。如果两个向量都有非零范数，那么这两个向量之间的夹角是90度。在$R_n$中，至多有$n$个范数非零向量互相正交。如果这些向量不仅互相正交，并且范数都为1，那么我们称它们是标准正交（Orthonormal）。

正交矩阵（Orthonormal Matrix）是指行向量和列向量是分别标准正交的方阵： $A^\top A=AA^\top=I$，这意味着$A^{−1}=A^\top$

提示

之所以正交矩阵受到关注是因为求逆计算代价小。我们需要注意正交矩阵的定义。反直觉地，正交矩阵的行向量不仅是正交的，还是标准正交的。对于行向量或列向量互相正交但不是标准正交的矩阵没有对应的专有术语。

行列式

记作$\det(\bold{A})$，是一个将方阵$\bold{A}$映射到实数的函数，等于矩阵所有特征值的乘积。

对角元

对于一个$m\times n$的矩阵$\bold{A}$，有如下定义：

$\text{对于} \bold{A}_{i,j}, \text{若}i=j \text{则该元素为对角元。}$

$\text{对于} \bold{A}_{i,j}, \text{若}i=j+1 \text{，则该元素为次对角元。}$

$\text{对于} \bold{A}_{i,j}, \text{若}i=j-1 \text{，则该元素为超对角元。}$