Lecture 5. Greedy Algorithm

【例 1】（活动选择问题）有 $n$ 项活动 $a_1,a_2,\cdots,a_n$ 对应开始结束时间 $[s_1,t_1),\cdots,[s_n,t_n)$，从所有活动中选出最多数量的活动满足不相互重叠活动时间的要求。

【解】优先选择结束时间最早的活动。贪心算法的正确性证明：如果一个最优解不符合要求，那么一定可以通过交换使其符合要求。

【例 2】（最大独立集问题）对 $n$ 个点 $m$ 条边的图 $G=(V,E)$，求一个点集的子集 $V'\subseteq V$，使得 $V'$ 中任意两点没有边相连，最大化 $|V'|$。

【解】这个问题是一个 NP-hard 问题，因此我们采用贪心算法求近似解。

（贪心算法）优先选择度数小的点，删除该点、以及相邻点的子图后继续选择。

【定理 1】令 $\delta = m/n$ 表示图 $G$ 的密度，那么使用上面贪心算法获得的点的数量满足

【证明】假设第 $i$ 步选择了点 $v_i$，其当前度数为 $d(v_i)$，那么我们这一步将会删除 $d(v_i)+1$ 个点和至少 $d(v_i)(d(v_i)+1)/2$ 条边（刚好的情况下，这些点构成了一个团），于是

令下式 * 2 加到上式中，有

根据 Cauchy-Schwarz 不等式，有

从而

于是，

【定理 2】若 $m^*(G)$ 为图 $G$ 的最大独立集数（最优解），那么

【证明】假设 $V^*$ 是一个最优解。考虑每次删点时，假设删除的 $d(v_i)+1$ 个点中有 $k_i$ 个 $V^*$ 中的点，那么：

在删边时，在贪心算法时我们提到过最少情况下，这些点构成了一个团，至少删去 $d(v_i)(d(v_i)+1)/2$ 条边。但是在这里，有 $k_i$ 个 $V^*$ 中的点，他们之间不可能有边相连，因此应该去掉他们之间连的边，即 $k_i(k_i-1)/2$ 条边；但同时需要满足他们的度数依然不比 $d(v_i)$ 小，于是这 $k_i$ 个点每个点需要从外面补上 $k_i-1$ 条边，即需要多删除 $k_i(k_i-1)$ 条边，因此总共来说，至少删去了

条边，于是类似地有

用和定理 1 类似的方法，我们可以得到：

同样的，利用柯西不等式有

于是，

故，

于是，

【例 3】（最小生成树问题）

验证方法：cut-and-paste，对于任意 cut $(V',V\backslash V')$，原图中 cut 的边的最小值应该等于最小生成树中对应 cut 的边权。

Kruskal 算法：初始 $E'=\emptyset$，每次选择两个未连通的分量之间连通所需的最小边权对应的边 $e$ 加入 $E'$ 中，重复至 $|E'|=|V|-1$，即得最小生成树 $(V,E')$；

Krim 算法：初始点集合 $V'=\{v_i\}, E=\emptyset$（从任意一个点出发），每次找到连接 $V'$ 和 $V\backslash V'$ 所需要的最小边权对应的边 $e$ 加入 $E'$ 中，并将 $e$ 的属于 $V\backslash V'$ 的顶点加入 $V'$ 中，重复至 $V'=V$ 即得最小生成树 $(V,E')$。

【例 4】（背包问题贪心算法）有 $n$ 个物品，背包容量 $W$，每个物品重量 $w_1,w_2,\cdots,w_n$，价值 $p_1,p_2,\cdots,p_n$，在重量不超过 $W$ 的情况下最大化价值和。

【解】在原有启发式算法优先选择 $p_i/w_i$ 更大物品的基础上，最后返回

【定理 3】背包问题贪心算法得到的 $m_H(X)$ 满足：

【证明】假设物品已经按照 $p_i/w_i$ 从大到小排序，并重编号为 $1,2,\cdots,n$，假设：

那么，当前剩余空间为 $W-\sum_{k=1}^{i-1}w_k<w_i$，于是有：

于是，

【定理 4】（The Stein-Lovasz Theorem，SL 定理）设 $A$ 是一个 $N\times M$ 的 0-1 矩阵，每行至少 $v$ 个 1，每列最多 $a$ 个 1，则存在一个 $N\times K$ 的子矩阵不包含全 0 行，且

可以理解为，挑选 $K$ 列完成对 $N$ 行的覆盖。

【证明】贪心。假设初始 $N\times M$ 矩阵为 $A_a$，其中每行至少 $v$ 个 1，每列最多 $a$ 个 1。记 $K_a$ 表示这个矩阵中每列恰有 $a$ 个 1、且有 1 的位置互不相交的列的个数。找到这 $K_a$ 个列并删除之，同时删除其中含有的 1 对应的所有行，得到新矩阵 $A_{a-1}$，其中每行至少 $v$ 个 1，每列最多 $a-1$ 个 1，并且我们可以计算出此时 $A_{a-1}$ 的大小应该为 $(N-aK_a)\times(M-K_a)$。如此递归进行，直到全被覆盖，我们可以得到 $A_i$ 的大小应该为：

那么考虑令 $k_i=N-\sum_{t=i}^a tK_t$，即为 $A_{i-1}$ 的行数，那么我们知道

于是，

我们考虑对 $A_i$ 进行双计数，根据上述定义，其大小为 $k_{i+1}\times(M-\sum_{t=i+1}^a K_t)$，且其中每行至少 $v$ 个 1，每列最多 $i$ 个 1，于是对 1 的个数进行双计数，有

于是有

又，对 $A$ 双计数有 $Nv \leq Ma$，即 $N/a \leq M/v$，于是

注：SL 定理有许多应用，比如【例 5】、【例 6】。

【例 5】（完美哈希族）一个 $(n,m,w)$ 完美哈希族是一组函数 $F$，其中 $Y=\{1,2,\cdots,n\}$， $|Y|=n,|X|=m$，对于所有的 $f\in F$ 有 $f:Y\rightarrow X$，对任意的 $C\subseteq\{1,2,\cdots,n\}$ 且 $|C|=w$，存在一个函数 $f\in F$ 使得 $f|C$（$f$ 在定义与 $C$ 上）是单射。当 $|F|=N$ 时，一个 $(n,m,w)$ 完美哈希族可以表示为 $PHF(N;n,m,w)$.

【定理 5】存在一个 $PHF(N;n,m,w)$ 满足

【证明】（SL 定理）我们将 SL 定理中的 $N,M,a,v$ 在本题中进行一个映射。

• $N:=\binom{n}{w}$ 表示有多少个 $w$ 元子集合；

• $M:=m^n$ 表示有多少种映射关系；

• 那么，我们需要对每一行（每个 $w$ 元子集合），选择尽量少的函数完成单射；矩阵第 $i$ 行第 $j$ 列若为 1，则表示第 $i$ 个 $w$ 元子集合能否在第 $j$ 种映射关系下形成单射。

• $v$：每一行的 1 至少有多少个，相当于每个 $w$ 元子集合（至少）有多少个不同的单射？
  • 从 $m$ 个元素的集合 $X$ 中选出 $w$ 个用来完成单射，即 $\binom{m}{w}$；
  • 这 $w$ 个元素可以全排列，即 $w!$；
  • 剩下的 $n-w$ 个元素可以任意映射，即 $m^{n-w}$；
  • 综上所述，即为 $\binom{m}{w}w!m^{n-w}$。

• $a$：每一列的 1 最多有多少个，相当于每个映射关系（最多）能将多少个子集映射成单射？
  • 最多的子集数量为 $N$，即 $\binom{n}{w}$；

于是，至少存在一个 $N\times K$ 的子矩阵不包含全 0 的行，即每个 $w$ 元子集合都能被覆盖，根据 SL 定理，有

即

【定理 5（改）】存在一个 $PHF(N;n,m,w)$ 满足

【证明】（概率方法）共有 $m^n$ 个函数，随机选择 $N$ 个函数，对一个固定的 $w$-元子集合，则其中一个随机的函数使得子集合为单射的概率为

那么，这 $N$ 个函数都无法完成单射的概率为 $(1-P)^N$。总共有 $\binom{n}{w}$ 个 $w$ 元子集合，那么没有完成单射的子集合数期望为 $\binom{n}{w}(1-P)^N$。根据平均值原理，必然有一个方案，没有完成单射的子集合数至多为 $\binom{n}{w}(1-P)^N$，于是我们只要保证 $\binom{n}{w}(1-P)^N<1$，那么由于“没有完成单射的子集合数”是非负整数，其只能等于 0，也就是说对所有子集合都能完成单射。于是条件为：

只要满足这个条件，就必然存在对应的 $PHF(N;n,m,w)$。那么定理显然得证。

【例 6】（分割系统）设 $n,t$ 为偶数且 $0<t<n$，一个 $(n,t)$ 分割系统是 $(X,\{B_i\})$，满足：

• $|X|=n$，且 $B_i$ 为 $X$的 $n/2$ 元子集合 $B_i\subseteq X,|B_i|=n/2$，我们把 $B$ 称为“块”；

• 对每个 $X$ 的 $t$ 元子集合 $Y\subseteq X,|Y|=t$，都存在一个块 $B$ 满足 $|B\cap Y|=t/2$。

问题是选择最少的 $|\{B_i\}|$ 满足条件。

【解 1】（SL 定理）我们将 SL 定理中的 $N,M,a,v$ 在本题中进行一个映射。

• $N:=\binom{n}{t}$ 表示有多少个 $t$ 元子集合 $Y$。

• $M:=\binom{n}{n/2}$ 表示有多少个可能的块 $B$。

• 矩阵 $A$ 的第 $i$ 行第 $j$ 列表示第 $j$ 个块能不能满第 $i$ 个子集合的要求，那么我们需要选择一个 $N\times K$ 的子矩阵（选择 $K$ 个块）。满足每一行（每一个 $t$ 元子集合），都有一个 1（都有一个块满足要求）。

• $v$：每一行的 1 至少有多少个，即每个 $t$ 元集合 $Y$ （至少）能有多少个块 $B$ 满足要求。
  • 从每个 $t$ 元集合中选出 $t/2$ 个元素作为公共元素，即 $\binom{t}{t/2}$；
  • 从剩下 $n-t$ 个元素中选出 $n/2-t/2$ 个元素作为 $B$ 的剩余元素，即 $\binom{n-t}{(n-t)/2}$；
  • 那么 $v:=\binom{t}{t/2}\binom{n-t}{(n-t)/2}$。

• $a$：每一列的 1 最多有多少个，即每个块 $B$ （最多）能有多少个 $Y$ 满足要求。
  • 类似地，从每个块中选出 $t/2$ 个元素作为公共元素，即 $\binom{n/2}{t/2}$；
  • 从剩下 $n-n/2=n/2$ 个元素中选出 $t/2$ 个元素作为 $Y$ 的剩余元素，即 $\binom{n/2}{t/2}$；
  • 那么 $a:=\binom{n/2}{t/2}\binom{n/2}{t/2}$。

于是，根据 SL 定理，有

【解 2】（概率方法）共有 $\binom{n}{n/2}$ 个函数，随机选择 $K$ 个函数，对于一个固定的 $t$ 元子集合 $Y$，被一个随机的 $n/2$ 元子集合分割的概率为：

那么，这 $K$ 个函数都无法分割的概率为 $(1-P)^K$。总共有 $\binom{n}{t}$ 个集合，因此没有被分割的 $t$ 元集合的期望个数为 $\binom{n}{t}(1-P)^K$，与【定理 5（改）】证明类似地，我们只需要满足

【定理 6】（Mantel 定理）在一个不含 3-圈 (triangle-free) 的 $2n$ 个点的图中，最多有 $n^2$ 条边。

【证明 1】（数学归纳法）设 $n-1$ 情况成立，下证明 $n$ 情况也成立。即我们知道 $2(n-1)$ 个点，包含 $(n-1)^2+1$ 条边的图中必然含有 3-圈。考虑 $2n$ 个和 $n^2+1$ 条边时，取出两个点 $(u,v)\in E$，剩下的图为 $H$。若存在 $w\in H$ 使得 $(u,v,w)$ 为 3-圈，那么显然成立；若不存在，则 $H$ 的每一个点最多只能与 $u,v$ 其一连边，因此 $(u,v)$ 与 $H$ 间最多有 $2(n-1)$ 条边，于是 $H$ 至少有 $n^2+1-2(n-1)-1=n^2-2n+2=(n-1)^2+1$ 条边，则根据归纳假设，一定存在 3-圈。综上，根据归纳法，原命题成立。

【证明 2】任取一条边 $(u,v)\in E$，一定不会出现 $w\in G$ 且 $w$ 为 $u,v$ 的公共邻居，那么剩下每个点最多只能与 $u,v$ 其一连边，于是 $d(u)+d(v)\leq 2n$。

根据 Lecture 2 【例 3】，我们有

又根据 Cauchy-Schwarz 不等式有，

于是，

【证明 3】（最大独立集）设 $A$ 为最大独立集，令 $B=V\backslash A$。则对任意 $x$ 的邻居点集为独立集（因为不存在 3-圈），独立集大小为 $d(x)$，于是有 $d(x)\leq |A|,\forall x$，故

【定理 7】（Turan 定理）对于一个含有 $n$ 个点的图 $G=(V,E)$，若图中不存在 $(k+1)$-团 $(k\ge 2)$，那么有：

【证明 1】（数学归纳法）假设结论对 $\le n-1$ 均成立，下面证明 $n$ 也成立。假设图的边数达到最多，那么图中已经存在 $k$-团（若不存在可以加边使其存在，但不满足变数最多的假设）。记这个 $k$-团为 $A$，剩下部分 $B=V\backslash A$，那么：

• $A$ 中的边数为 $\binom{k}{2}$；

• $B$ 中的边数根据归纳假设不超过

  $$\left(1-\frac{1}{k}\right)\frac{(n-k)^2}{2}$$

• 连接 $A,B$ 的边数：由于 $B$ 中每个点最多只能连 $(k-1)$ 个 $A$ 中的点（否则就出现了 $(k+1)$-团），所以不超过 $(n-k)(k-1)$。

综上，

【证明 2】（等价关系思想）假设图中边数已经最多，且不存在 $(k+1)$-团，【证明 1】中说明了一定存在 $k$-团，那么我们首先证明 $(u,v)\notin E$ 这个关系是等价关系，即：

• 自反性，由于图中没有自环，因此显然 $(u,u)\notin E$；

• 对称性，由于是无向图，因此 $(u,v)\notin E$ 自然有 $(v,u)\notin E$；

• 传递性，对于 $(u,v)\notin E,(v,w)\notin E$，一定有 $(u,w)\notin E$；

  【证明】反证，假设 $(u,v)\notin E, (v,w)\notin E$ 但 $(u,w)\in E$；

  • 若 $d(u)>d(v)$，则删除 $v$，新增一个 $u$ 的拷贝 $u'$（连边方式和 $u$ 完全相同），但 $u$ 和 $u'$ 不连边，则新图的边数为 $|E|-d(v)+d(u')=|E|+(d(u)-d(v))>|E|$，与图中边数最多矛盾。
  • 若 $d(w)>d(v)$，则类似可导出矛盾。
  • 若 $d(u)\leq d(v),d(w)\leq d(v)$，那么删除 $u,w$，添加 $v$ 的两个拷贝 $v',v''$，但 $v,v',v''$ 三点之间不连边，则新图的边数为

    $$\small |E|-(d(u)+d(w)-1)+2d(v)=|E|+1+(2d(v)-2d(u)-d(w))>|E|$$

    同样导出矛盾。

  综上，传递性成立。

因此 $(u,v)\notin E$ 这个关系是等价关系，且图中存在 $k$-团，不存在 $(k+1)$-团，故需要 $k$ 个等价类。下面说明等价类是平均的，即每个等价类的个数之间至多差 1：若两个等价类 $A,B$ 出现 $|A|\ge |B|+2$，那么从 $|A|$ 移动 1 个点到 $|B|$ 中，边数变化 $|A|-1-|B|\ge 1$，增加边数，与图中边数已经最多矛盾。因此，边数为：

【证明 3】（团数定理）Lecture 3 中【定理 4】阐述了最大团 $\omega(G)$ 和图 $G$ 的关系：

那么，

这是因为：

• $\omega(G)\leq k$

• $\sum_{u\in V}(n-d(u))= n^2-2|E|$

• 当 $u=v$ 时 $\frac{n-d(u)}{n-d(v)}=1$；当 $u\ne v$ 时考虑 $(u,v),(v,u)$，于是 $\frac{n-d(u)}{n-d(v)}+\frac{n-d(v)}{n-d(u)}\ge 2$；因此对于所有 $(u\in V,v\in V)$，求和大于等于 $n^2$。

化简得：