小编点评

正文

The art of being wise is the art of knowing what to overlook .
智慧的艺术是知道该忽视什么。

——威廉·詹姆斯（William James）

1 导引

1.1 跨域推荐简介

推荐系统中常常面临用户冷启动问题^[1]，也即新注册的用户没有足够的交互记录，导致推荐模型不能学习到有效的表征。为了解决用户冷启动问题，近年来跨域推荐（CDR） 得到了许多关注^[2]。一般来讲，跨域推荐旨在利用从其它相关源域收集的用户-物品交互信息以提升目标域的推荐质量。许多跨域推荐的工作会假设大量的用户在两个域都出现过（即重叠用户, overlapping users）以搭建起源域和目标域之间的桥梁。只在源域中存在的用户（即非重叠用户, non overlapping users）可以被视为目标域的冷启动用户。

1.2 嵌入和映射的思路

为了解决冷启动用户问题，传统的跨域推荐方法常常基于嵌入和映射（Embedding and Mapping，EMCDR） 的思路，也即学习一个映射函数将预训练的用户表征（embeddings）从源域迁移到目标域。如下图所示：

如上图所示，EMCDR首先用基于协同过滤的模型（CF-based model）来为每个领域生成用户/物品表征，之后训练一个映射函数来将源域和目标域的重叠用户表征。然后，再给定源域的非重叠冷启动用户表征，就能够根据训练好的映射函数来预测目标域的用户表征了，之后再用于目标域的物品推荐。

然而，正如我们上面所说的，这种方法在进行对齐操作之前，各领域需要先通过预训练以独立地得到用户/物品的embeddings。因此，有偏的（biased） 预训练表征将无可避免地包含领域特有的（domain-specific） 信息，从而会导致对跨领域迁移信息产生负面影响。

事实上，跨域推荐的关键问题就在于：究竟需要在不同的域之间共享什么信息？也即如何让表征能够编码到领域间共享(domain-shared)的信息？

1.3 联合训练的思路

这种思路相比于EMCDR方法的优点在于，我们能够联合（jointly）学习跨领域的embeddings，从而能够进一步地关注于领域共享信息并限制领域特有的信息。

在具体的手段层面，这种方法该类方法的大多数工作首先采用两个基础的编码器来对每个领域的交互记录建模，之后再引入不同的迁移层来对称地融合不同编码器学得的表征。比如，CoNet^[3]利用MLP做为每个领域的基础编码器，并设计了交叉连接（cross-connections）网络来迁移信息。DDTCDR^[4]进一步扩展了ConNet:学习了一个潜在的正交投影函数来迁移跨领域用户的相似度。PPGN^[5]使用堆叠的（stacking）GCN来直接聚合来自各领域的表征信息以学得用户/物品表征。BiTGCF^[6]利用LightGCN^[7]做为编码器来聚合每个领域的交互信息，并进一步引入特征迁移层来增强两个基础的图编码器。CDRIB^[8]则采用信息瓶颈的视角来获得领域间共享的信息（不过该方法关注的是为目标域中的不重叠（冷启动）用户做推荐，与前面的方法又有所区别）。

1.4 解耦表征的思路

尽管以上的方法在一定程度上有效，但它们基本上仍然忽略了对领域共享信息和领域特有信息的解耦（CDRIB除外），而这大大限制了模型迁移的效率。

一个显著的例子如上图所示。对于Film和Book这两个领域，领域间共享的信息，比如“Story Topic”和“Category”能够为每个领域都提供有价值的信息。但领域特有的信息，比如Book领域的“Writing Style”可能会提供对于在“Film”领域做推荐无用的信息甚至会导致CDR领域的负迁移现象^[9]。不幸的是，现有的CDR方法忽视了此问题并直接聚合领域间共享和领域特有的信息。这样的结果就是，学得的用户表征将不同领域的偏好纠缠（entangle）在一起，而这会导致获得次优（sub-optial）的推荐结果。

解决该问题的手段是解耦领域间共享的领域特有的表征，其代表为DisenCDR模型^[10]。

如上图所示，DisenCDR模型将领域共享的和领域特有的表征进行解耦，以达到跨领域知识迁移的目的。

2 论文阅读

2.1 ICDE 2022《Cross-Domain Recommendation to Cold-Start Users via Variational Information Bottleneck》^[8]

本方法属于采用联合训练的跨域推荐方法。本其关注的场景为当源域和目标域间的用户部分重叠时，为目标域中的不重叠（冷启动）用户做推荐。该方法所要解决的问题在于，究竟有哪些信息需要在领域间进行共享？

为了解决该问题，本文利用了信息瓶颈（information bottleneck）原理并提出了一个新的方法（CDIRB模型）来使表征编码到领域间共享的信息（domain shared information），从而用于各领域的下游推荐。为了得到无偏的表征，作者设计了两种正则项，其中信息瓶颈正则项来同时建模跨域/域间的用户-物品交互，这样相比EMCDR方法，就能够同时考虑所有域的交互信息从而达到去偏的目的；而对比信息正则项则负责捕捉跨域的用户-用户之间的关系（对齐不同域之间的重叠用户表征）。

设有领域\(X\)和\(Y\)，设\(D^X=(\mathcal{U}^X, \mathcal{V}^X,\mathcal{E}^X)\)，\(D^Y=(\mathcal{U}^X, \mathcal{V}^X,\mathcal{E}^X)\)表示领域的数据，这里\(\mathcal{U}\)、\(\mathcal{V}\)、\(\mathcal{E}\)分别表示每个领域用户、物品和边的集合。特别地，用户集合\(\mathcal{U}^X\)和\(\mathcal{U}^Y\)包含重叠的用户子集\(\mathcal{U}^o = \mathcal{U}^X \cap \mathcal{U}^Y\)。接着，用户集合可以被形式化为\(\mathcal{U}^X = \{\mathcal{U}^x, \mathcal{U}^o\}\)和\(\mathcal{U}^Y = \{\mathcal{U}^y, \mathcal{U}^o\}\)，这里\(\mathcal{U}^x\)和\(\mathcal{U}^y\)为在每个领域中不重叠的用户集合。设\(\boldsymbol{A}^X=\{0,1\}^{\left|\mathcal{U}^X\right| \times\left|\mathcal{V}^X\right|}\)和\(A^Y=\{0,1\}^{\left|\mathcal{U}^Y\right| \times\left|\mathcal{V}^Y\right|}\)为存储用户-物品交互信息的两个二值矩阵。这样，本文的任务可形式化地描述为：给定来自源域\(X\)的非重叠的（冷启动）用户\(u_i\in \mathcal{U}^x\)，我们想要为其推荐来自目标域\(Y\)的物品\(v_j \in \mathcal{V}^Y\)（或为来自\(\mathcal{U}^y\)的用户推荐来自\(\mathcal{V}^X\)的物品）。

接下来作者借鉴了论文^[11][12]提出的信息瓶颈理论，该理论旨在学习有效表征，这种有效表征能够在简洁性和广泛的预测能力之间做权衡（trade-off）^[13]。形式化地，标准信息瓶颈有如下所示的目标函数：

该目标函数可以被解释为两部分：（1）最小化\(I(\bm{\bm{Z}}; X)\)旨在惩罚\(\bm{\bm{Z}}\)和\(X\)之间的互信息，也即使得\(\bm{\bm{Z}}\)尽量“忘掉”\(X\)的信息。(2) 最大化\(I(\bm{\bm{Z}}; Y)\)则鼓励\(\bm{\bm{Z}}\)去预测\(Y\)。综合来看，信息瓶颈原理的目标为压缩\(X\)以得到表征\(\bm{\bm{Z}}\)，该表征能够去除掉对预测\(Y\)无用的因素而保留相关因素^[14]。这也就是说IB使得\(\bm{\bm{Z}}\)做为一个最小充分统计量^[15]（在我们这个CDR应用中即领域间应该共享的信息）。在实践中，直接优化互信息是难解（intractable）的，因此变分近似^[16]常常用于构建用于优化互信息目标函数的下界^[13][17]。

本文提出的CDIRB模型包含变分子图编码器（variational bipartite graph encoder，VBGE）和两种的跨领域信息正则项，整体框架图如下图所示：

其中绿色部分的网格代表物品表征，黄色和蓝色颜色的网格分别代表重叠和不重叠的用户表征。信息瓶颈正则项（图中的Information Bottleneck）捕捉了领域间用户和物品的相关性，而对比信息正则项（图中的Contrastive Information）则捕捉了领域间重叠用户之间的相关性。

接下来我们叙述每个部分的细节。

嵌入层

嵌入层得到的领域\(X\)的用户/物品表征分别记作\(\boldsymbol{U}^X \in \mathbb{R}^{|\mathcal{U}^X |\times F}\)和\(\boldsymbol{V}^X \in \mathbb{R}^{\left|\mathcal{V}^X\right| \times F}\)；领域\(Y\)的用户/物品表征分别记作\(\boldsymbol{U}^Y \in \mathbb{R}^{\left|\mathcal{U}^{Y}\right| \times F}\)和\(\boldsymbol{V}^Y \in \mathbb{R}^{\left|\mathcal{V}^Y\right| \times F}\)。

变分二分图编码器（Variational Bipartite Graph Encoder，VBGE）
为了在原始用户/物品表征的基础上，进一步提炼出用户/物品的隐向量表征，论文提出了变分二分图编码器（VBGE）。比如，通过重参数化来采样生成\(X\)领域的用户隐向量表征\(\bm{Z}_v^X\)的过程如下：

信息瓶颈正则项

接下来，论文引入了信息瓶颈正则项和对比信息正则项这两种正则项来捕捉领域间的相关性，以学得包含领域间共享信息的无偏表征。其中信息瓶颈正则化项旨在捕捉领域间用户和物品间的相关性，而对比信息正则化项旨在捕捉领域间的重叠用户和用户之间的相关性。

设\(\mathbf{X}\)，\(\mathbf{X}^u\)，\(\mathbf{X}^v\)分别为领域\(X\)中所观测到的交互信息、用户信息和物品信息。领域\(X\)的用户集合包括重叠用户\(\mathcal{U}^o\)和非重叠用户\(\mathcal{U}^x\)这两个群体，领域\(Y\)亦然。以领域\(X\)为例，将用户表征\(\boldsymbol{\bm{\bm{Z}}}_u^X \in \mathbb{R}^{\left|\mathcal{U}^{X}\right| \times F}\)也划分为两个群体：\(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \in \mathbb{R}^{\left|\mathcal{U}^o\right| \times F}\)和\(\boldsymbol{\bm{\bm{Z}}}_u^x \in \mathbb{R}^{\left|\mathcal{U}^x\right| \times F}\)。

信息瓶颈正则项又可继续分为跨域（cross-domain）信息瓶颈正则项和领域内（in-domain）信息瓶颈正则项。首先我们来看跨域（cross-domain）信息瓶颈正则项，它包括包括信息压缩（即互信息最小化）和重构两部分，其结构化示意图如下：

正如上图（a）所示。\(\boldsymbol{\bm{\bm{Z}}}_u^{x o}\)，\(\boldsymbol{\bm{\bm{Z}}}_u^{y o}\)是编码了各领域用户信息的重叠用户表征，而图（b）中的\(\boldsymbol{\bm{\bm{Z}}}_u^x\)，\(\bm{Z}_u^y\)是非重叠的（冷启动）用户表征。这里\(\boldsymbol{\bm{\bm{Z}}}_v^{X}\)，\(\boldsymbol{\bm{\bm{Z}}}_v^Y\)是物品表征，默认是不重叠的。

以\(X\)领域迁移到\(Y\)领域为例（图中标红部分），我们需要使重叠用户隐向量\(\boldsymbol{\bm{\bm{Z}}}^{xo}_u\)和同领域的用户表征\(\mathbf{X}^u\)互斥（信息压缩），而去接近于\(Y\)领域的交互信息\(\mathbf{Y}\)（跨域重构）；此外，对于\(Y\)领域的物品隐向量\(\boldsymbol{\bm{\bm{Z}}}^Y_v\)也需要使其与物品表征\(\mathbf{Y}^v\)互斥，并去接近于\(\mathbf{Y}\)（因为不同领域物品不会重叠，这里采取域内重构）。综上，我们需要最小化：

其中的跨域重构部分可以进一步通过互信息链式法则化简，也即\( I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \mathbf{Y}\right)+I\left(\boldsymbol{\bm{\bm{Z}}}_v^Y ; \mathbf{Y}\right) =I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \mathbf{Y} \mid \boldsymbol{\bm{\bm{Z}}}_v^Y\right)+I\left(\boldsymbol{\bm{\bm{Z}}}_v^Y ; \mathbf{Y}\right) =I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o}, \boldsymbol{\bm{\bm{Z}}}_v^Y ; \mathbf{Y}\right)\)（这里假设\(\boldsymbol{\bm{\bm{Z}}}_u^{x o}\)和\(\boldsymbol{\bm{\bm{Z}}}_v^Y\)独立，故第一个等式成立）。

最后，\(X\)领域导出的损失函数包括最小化（minimality）和跨域重构（reconstruction）两部分，也即最小化下式：

接下来我们来看领域内（in-domain）信息瓶颈正则项，其结构化示意图如下：

我们还是以\(X\)领域为例子（图中红色箭头部分），可以看到其损失函数同样也包括最小化和领域内重构两部分，也即最小化下式：

对比信息正则项

在对比信息正则化项中，作者通过最大化\(X\)的重叠用户表征\(\boldsymbol{\bm{\bm{Z}}}^{xo}_u\)和来自领域\(Y\)的重叠用户表征\(\boldsymbol{\bm{\bm{Z}}}^{yo}_u\)间的互信息，以进一步提炼重叠用户的表征。对比信息正则化项也就定义为最小化下式：

为了直观地理解该式，我们可以进一步将其转换为： \(\mathcal{L}_{\text{con}} =-I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \boldsymbol{\bm{\bm{Z}}}_u^{y o}\right)+\left[H\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \mid \mathbf{X}\right)-H\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \mid \boldsymbol{\bm{\bm{Z}}}_u^{y o}, \mathbf{X}\right)\right] = -I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \boldsymbol{\bm{\bm{Z}}}_u^{y o}\right)+I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \boldsymbol{\bm{\bm{Z}}}_u^{y o} \mid \mathbf{X}\right) = -I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \boldsymbol{\bm{\bm{Z}}}_u^{y o}; \textbf{X}\right) = -I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \mathbf{X}\right)-I\left(\boldsymbol{\bm{\bm{Z}}}_u^{y o} ; \mathbf{X}\right)+I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o}, \boldsymbol{\bm{\bm{Z}}}_u^{y o} ; \mathbf{X}\right)\)。直观地看，最小化前两项促使隐向量\(\bm{Z}^{xo}_u\)和\(\bm{Z}^{yo}_u\)含有足够多的信息能够预测\(\mathbf{X}\)，最小化最后一项则在惩罚\(\bm{Z}^{xo}_u\)，\(\bm{Z}^{yo}_u\)和交互信息\(\mathbf{X}\)之间的联合信息（jointly information）^[28]数量。换句话说，该正则项迫使每个领域的用户表征编码领域共享的信息。

可求解的目标函数

将上述的两种信息瓶颈正则项和对比信息正则项累加起来（同时包括\(X\)和\(Y\)领域的），就得到了需要最小化的目标函数：

接下来看如何求解该目标函数。我们知道互信息是使用KL散度来定义的，比如\(I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \mathbf{X}^u\right)=D_{\text{KL}}\left(p_\theta\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \mid \mathbf{X}^u\right) \| p\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o}\right)\right)\)。现在我们不得不面对一个尴尬的问题，该项是难解（intractable）的，这是因为后验\(p_\theta\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \mid \mathbf{X}^u\right)\)难以进行推断。于是，这里需要使用其变分近似\(q_{\phi_u^X}\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \mid \mathbf{X}^u\right)\)^[22]，并去最小化互信息的变分上界：

这里如同大多数变分模型^[18][24][25]所采用的，作者假设先验分布\(p\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o}\right)\)为高斯分布\(\mathcal{N}(0, \operatorname{diag}(\boldsymbol{I}))\)。且与VGAE方法^[26]类似，采用图神经网络编码器来产生变分近似分布\(q_{\phi_u^X}\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \mid X^u\right)\)。

对于重构项，以\(I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o}, \boldsymbol{\bm{\bm{Z}}}_v^Y ; \mathbf{Y}\right)\)为例，有\(I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o}, \boldsymbol{\bm{\bm{Z}}}_v^Y ; \mathbf{Y}\right)=\mathbb{E}_{p_\theta\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \mid \mathbf{X}^u\right) p_\theta\left(\boldsymbol{\bm{\bm{Z}}}_v^Y \mid \mathbf{Y}^v\right)}\left[\log p\left(\boldsymbol{A}^Y \mid \boldsymbol{\bm{\bm{Z}}}_u^{x o}, \boldsymbol{\bm{\bm{Z}}}_v^Y\right)\right]\)。该优化函数同样是难解的，这里需要转而去最大化其变分下界：

这里，作者定义了打分函数\(s(\cdot)\)来度量用户-物品交互的合理性（plausibility）。\(\left(u_i, v_j\right)\)/\(\left(u_i, \widetilde{v}_j\right)\)为用户-物品交互对的正/负样本，\(\bm{z}^{xo}_{u_i}\)，\(\bm{z}^y_{v_j}\)和\(\bm{z}^y_{\bar{v}_j}\)则为由VBGE产生的对应隐变量。

对于对比互信息项，论文借鉴了infomax^[14][20]的想法，利用神经网络来度量对比互信息。具体来说，论文定义了判别器\(\mathcal{D}\)来度量来自不同领域的重叠用户隐向量（来自领域\(X\)的\(z^{xo}_{u_i}\)和来自领域\(Y\)的\(z^{yo}_{u_i}\)）之间的相似度，也即\(I\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} ; \boldsymbol{\bm{\bm{Z}}}_u^{y o}\right)=\mathbb{E}_{p_\theta\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o} \mid \mathbf{X}^u\right) p_\theta\left(\boldsymbol{\bm{\bm{Z}}}_u^{y o} \mid \mathbf{Y}^u\right)}\left[\log \mathcal{D}\left(\boldsymbol{\bm{\bm{Z}}}_u^{x o}, \boldsymbol{\bm{\bm{Z}}}_u^{y o}\right)\right]\)。同样地，这里去最大化其变分下界：

这里\(\bm{z}^{yo}_{\tilde{u}_i}\)是从\(\bm{Z}^{yo}_u\)采的负样本隐变量，且

这样，就将原始目标函数转化为了最终完全可求解的目标函数。

2.2 SIGIR 2022 《DisenCDR: Learning Disentangled Representations for Cross-Domain Recommendation》^[4]

本方法属于采用解耦表征的跨域推荐方法。与2.1所讲的基于信息瓶颈视角的方法不同的是，本方法旨在为两个领域中的重叠用户做推荐，因此在模型中只考虑两个领域中的重叠用户。在本方法中，所要解决的关键问题在于对于两个领域重叠用户的表征，如何分别出共享和不共享的部分？

为了解决该问题，本文基于信息论提出了DisenCDR模型，该模型能够解耦领域间共享和领域特有的信息，从而只迁移领域间共享的信息以增强推荐表现。该方法包含了两个互信息正则项（包括互斥正则项和信息增强正则项，详情参见后文），并据此导出了一个可以求解的解耦目标函数。

本文采用和上面的文章几乎一样的符号，就是需要注意此处领域\(X\)和领域\(Y\)的用户空间相同。设领域\(X\)和领域\(Y\)的数据分别表示为\(\mathcal{D}^X=(\mathcal{U}, \mathcal{V}^X,\mathcal{E}^X)\)，\(\mathcal{D}^Y=(\mathcal{U}, \mathcal{V}^X,\mathcal{E}^X)\)，这里\(\mathcal{U}\)、\(\mathcal{V}\)、\(\mathcal{E}\)分别表示每个领域用户、物品和边的集合。设\(\bm{A}^X=\{0,1\}^{\left|\mathcal{U}\right| \times\left|\mathcal{V}^X\right|}\)和\(\bm{A}^Y=\{0,1\}^{\left|\mathcal{U}\right| \times\left|\mathcal{V}^Y\right|}\)为存储用户-物品交互信息的两个二值矩阵。

这里\(\bm{\bm{Z}}^X_v\)，\(\bm{\bm{Z}}^X_u\)，\(\bm{\bm{Z}}^Y_u\)和\(\bm{\bm{Z}}^Y_v\)是领域特有的用户/物品表征，且\(\bm{\bm{Z}}^S_u\)是用户的领域共享表征，则DisenCDR的框架图可表示如下：

注意，这里蓝色的KL意为计算\(\bm{\bm{Z}}\)的后验分布与其先验分布\(\mathcal{N}(0, \bm{I})\)之间的KL散度，在优化时需要使其最小化，从而使后验分布接近于先验分布；绿色的KL意为计算\(\bm{\bm{Z}}\)的后验分布之间的KL散度，在优化时亦要使其最小化；\(p_{\theta}(\dots)\)为对数据的重构项，在优化时需要最大化其对数似然。这些都来自本文提出的解耦目标函数，现在搞不懂没关系，我们后面会详述。

下面我们来详细介绍该方法各个组成部分的细节：

嵌入层

嵌入层的作用同2.1中所述的方法相同，也即将用户和物品嵌入到低维空间中。不过还是正如我们前面所说的，这里\(X\)领域和\(Y\)领域的用户空间相同。设\(\boldsymbol{U}^S\in \mathbb{R}^{|\mathcal{U}|\times F}\)为领域\(X\)和领域\(Y\)的共享初始嵌入矩阵，\(\boldsymbol{U}^X \in \mathbb{R}^{|\mathcal{U}|\times F}\)和\(\boldsymbol{V}^X \in \mathbb{R}^{\left|\mathcal{U}\right| \times F}\)分别为领域\(X\)和\(Y\)特有的初始化嵌入矩阵。此外，\(\boldsymbol{V}^X \in \mathbb{R}^{\left|\mathcal{V}^X\right| \times F}\)和\(\boldsymbol{V}^Y \in \mathbb{R}^{\left|\mathcal{V}^Y\right| \times F}\)分别为领域\(X\)和领域\(Y\)的物品表征。

变分二分图编码器

DisenCDR的变分二分图编码器（VBGE）和我们 2.1 中讲的第一个基于信息瓶颈思想的模型一样，唯一的区别就是这里的共享隐向量同时利用了\(X\)领域的\(\boldsymbol{\overline{\mu}}_{u}^X\)和\(Y\)领域的\(\overline{\boldsymbol{\mu}}_u^Y\)来进行重参数化采样生成：

生成和推断

论文遵循VAE^[18]的框架，这里假定所观测的交互信息\(\mathcal{D}^X\)和\(\mathcal{ D}^Y\)采自一个联合概率分布\(p_{\mathcal{D}}(u, v^X, v^Y)\)，每个元组\(\left(u_i, v_j, v_k\right) \sim p_{\mathcal{D}}\left(u, v^X, v^Y\right)\)描述了用户\(u_i\)和物品\(v_j \in \mathcal{V}^X\)和物品\(v_k \in \mathcal{V}^Y\)的交互信息。而交互数据正是经由领域共享表征(比如\(\bm{Z}_u^S\)）和领域特有（比如\(\bm{\bm{Z}}^X_u\)，\(\bm{\bm{Z}}^X_v\)，\(\bm{\bm{Z}}^Y_u\)和\(\bm{\bm{Z}}^Y_v\)）表征生成，也即：

下图（a）正是描述了交互数据的生成过程，而图（b）则描述了反向推断步骤：

在推断过程中，直接最大化联合概率分布\(p_\theta\left(u, v^X, v^Y\right)\)的似然是难解的，因为后验分布\(p_\theta\left(\bm{Z}_u^X, \bm{Z}_u^Y, \bm{Z}_u^S, \bm{Z}_v^X, \bm{Z}_v^Y \mid \mathbf{X}, \mathbf{Y}\right)\)未知。因此采用近似推断^[19]来近似真实的后验分布。根据上图（b）中的结构化假设，论文将近似后验分布分解为：

互斥正则项（Exclusive regularizer）

接下来作者从信息论的角度来探究领域间表征纠缠的问题，并推导了一个解耦目标函数。

为了使领域间共享和领域特有的隐向量能够编码互斥的信息，作者引入了互斥正则项来最小化二者的互信息。为了分析最小化互信息的影响，作者又将互信息进行了进一步改写。我们以领域\(X\)为例，其对应的领域共享和领域特有隐向量的互信息\(I(\bm{\bm{Z}}^X_u; \bm{\bm{Z}}^S_u)\)可做如下改写：

注： 其中\((1)\)是根据变分后验的结构化假设，即\(q\left(\bm{Z}_u^X \mid \mathbf{X}\right)=q\left(\bm{Z}_u^X \mid \mathbf{X}, \bm{Z}_u^S\right)\)进行的配凑；\((2)\)是利用的条件互信息的定义；\((3)\)是利用的三个随机变量互信息的定义，即\(I(X; Y; Z)=I(X; Y) - I(X; Y|Z)\)^[21]；\((4)\)是利用的是三个随机变量互信息的定义关于\(X\)、\(Y\)、\(Z\)的对称性；\((5)\)是利用条件互信息的链式法则。

于是，直观地看，最小化\(I(\bm{\bm{Z}}^X_u; \bm{\bm{Z}}^S_u)\)实际上可视为在惩罚\(\bm{\bm{Z}}^X_u\)与\(\bm{\bm{Z}}^S_u\)单独相关联的同时，促使\(\bm{\bm{Z}}^X_u\)和\(\bm{\bm{Z}}^S_u\)共同与交互信息\(\mathbf{X}\)相关联（correlated）。

信息增强正则项（Informative regularizer）

光互斥并不能让我们学习到理想的解耦表征，原因是任意的互斥信息分解都能够满足该正则项要求，甚至\(\bm{\bm{Z}}^X_u\)编码到全部信息，而\(\bm{\bm{Z}}^S_u\)没有编码到信息都可以。这启发我们设计另一个正则项来获得更好的领域共享和领域特异的表征分解，也就是信息增强正则项。

信息增强正则项实际上类似于对应我们在2.2信息瓶颈方法中所介绍的重构正则项，它旨在使每个领域共享的表征\(\bm{\bm{Z}}^S_u\)信息更丰富（informative），这里作者最大化互信息\(I\left(\bm{Z}_u^S ; \mathbf{X} ; \mathbf{Y}\right)\)来使得\(\bm{\bm{Z}}^S_u\)编码领域共享的信息。我们以领域\(X\)为例，有：

注： 利用三个随机变量互信息的定义。

事实上转换到这一步已经可以了，为了理解其物理意义我们可以利用链式法则进一步将其转换为\(I\left(\bm{Z}_u^S ; \mathbf{X} ; \mathbf{Y}\right) = I\left(\bm{Z}_u^S ; \mathbf{X}\right)-\left(I\left(\bm{Z}_u^S ; \mathbf{X}, \mathbf{Y}\right)-I\left(\bm{Z}_u^S ; \mathbf{Y}\right)\right)\)。直观地看，最大化第一项旨在促使\(\bm{Z}_u^S\)和\(\mathbf{X}\)相关，最小化之后括号里的一项使得领域共享表征\(Z^S_u\)不仅够由领域\(X\)和\(Y\)的共同信息推断出来，而且能够由领域\(Y\)的单独信息推断出来。因此，我们自然地就可以认为最大化该正则项就是在促使\(\bm{Z}^S_u\)编码跨域的共享信息。

总目标函数
将上面所说的两个基于互信息的正则项（包括\(X\)领域和\(Y\)领域的）加起来，就得到了最终需要最小化的解耦目标函数：

注： 其中对\(2 I\left(\bm{Z}_u^S ; \mathbf{X} ; \mathbf{Y}\right)\)（也即下划线标出的部分），按照三个随机变量互信息的定义关于\(\mathbf{X}\)、\(\mathbf{Y}\)、\(\bm{Z}\)的对称性，分别拆成了\(I(\bm{\bm{Z}}^S_u; \mathbf{X}) - I(\bm{\bm{Z}}^S_u; \mathbf{X}|\mathbf{Y})\)和\(I(\bm{\bm{Z}}^S_u; \mathbf{Y}) - I(\bm{\bm{Z}}^S_u; \mathbf{Y}|\mathbf{X})\)。

进一步将物品隐向量\(\bm{Z}_v^X\)和\(\bm{Z}_v^Y\)引入，并加入一项\(I\left(\bm{Z}_u^S; \mathbf{X}, \mathbf{Y}\right)\)，可以将损失函数放缩为：

正如我们前面所说过的，互信息\(I(X, Z)\)难以直接进行最小化，于是作者利用了变分上界与互信息的关系^[23]，将损失函数中许多项用ELBO（全称Evidence Lower Bound，本意为证据下界，作者这儿想要优化的其实是上界，属于符号误用了）来替代：

于是，我们就得到了最终可以求解的目标函数（为了简略，省略了\(p_{\theta}\)的下标\(\theta\)和\(q_{\phi}\)的下标\(\phi\)）：

关于这个目标函数的解释如下：

• 对于ELBO中的编码项（比如\(I(\mathbf{X}; \bm{\bm{Z}}^X_u)\)），正如大部分变分模型所采用的^[18][27]，促使编码器表示的后验分布(比如\(q_{\phi^X_u}\left(\bm{Z}_u^X \mid \mathbf{X}\right)\))去接近于对应的先验分布（比如 \(p(\bm{\bm{Z}}^X_u)\)，这里取高斯 \(\mathcal{N}(0, \bm{I})\)）。

• 对于ELBO中的解码项（如\(I\left(\mathbf{X} ; \bm{Z}_u^X, \bm{Z}_u^S, \bm{Z}_v^X\right)\)，则使其对观测的交互数据进行重构，并用最大化解码器对数似然的方式来进行估计。

• 对于\(I\left(\bm{Z}_u^S ; \mathbf{X} \mid \mathbf{Y}\right)\)和\(I\left(\bm{Z}_u^S ; \mathbf{Y} \mid \mathbf{X}\right)\)，正如前面所述，其物理意义是为了让表征\(\bm{\bm{Z}}^S_u\)编码更丰富的领域共享信息。为了对其进行估计，作者引入了两个VBGE来产生变分分布\(q_{\phi_Y^s}\left(\widetilde{\bm{\bm{Z}}}^S_u \mid \mathbf{Y}\right)\)， \(q_{\phi_X^S}\left(\widehat{\bm{\bm{Z}}}_u^S \mid \mathbf{X}\right)\)，并与\(q_{\phi_u^S}\left(\bm{Z}_u^S \mid \mathbf{X}, \mathbf{Y}\right)\)计算KL散度（也就是模型框架图中的绿色KL部分）。注意这里的编码过程和\(q_{\phi_u^X}\left(\bm{Z}_u^X \mid \mathbf{X}\right)\)与\(q_{\phi_u^Y}\left(\bm{Z}_u^Y \mid \mathbf{Y}\right)\)相似。

参考

• [1] Lin X, Wu J, Zhou C, et al. Task-adaptive neural process for user cold-start recommendation[C]//Proceedings of the Web Conference 2021. 2021: 1306-1316.
• [2] Zhu F, Wang Y, Chen C, et al. Cross-domain recommendation: challenges, progress, and prospects[J]. arXiv preprint arXiv:2103.01696, 2021.
• [3] Hu G, Zhang Y, Yang Q. Conet: Collaborative cross networks for cross-domain recommendation[C]//Proceedings of the 27th ACM international conference on information and knowledge management. 2018: 667-676
• [4] Li P, Tuzhilin A. Ddtcdr: Deep dual transfer cross domain recommendation[C]//Proceedings of the 13th International Conference on Web Search and Data Mining. 2020: 331-339.
• [5] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.
• [6] Meng Liu, Jianjun Li, Guohui Li, and Peng Pan. 2020. Cross Domain Recommendation via Bi-directional Transfer Graph Collaborative Filtering Networks. In ACM International Conference on Information and Knowledge Management (CIKM).
• [7] Xiangnan He, Kuan Deng, Xiang Wang, Yan Li, Yongdong Zhang, and Meng Wang. 2020. Lightgcn: Simplifying and Powering Graph Convolution Network for Recommendation. In ACM International Conference on Research on Development in Information Retrieval (SIGIR).
• [8] Cao J, Sheng J, Cong X, et al. Cross-domain recommendation to cold-start users via variational information bottleneck[C]//2022 IEEE 38th International Conference on Data Engineering (ICDE). IEEE, 2022: 2209-2223.
• [9] Zang T, Zhu Y, Liu H, et al. A survey on cross-domain recommendation: taxonomies, methods, and future directions[J]. ACM Transactions on Information Systems, 2022, 41(2): 1-39.
• [10] Cao J, Lin X, Cong X, et al. DisenCDR: Learning Disentangled Representations for Cross-Domain Recommendation[C]//Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2022: 267-277.
• [11] Tishby N, Pereira F C, Bialek W. The information bottleneck method[J]. arXiv preprint physics/0004057, 2000.
• [12] Tishby N, Zaslavsky N. Deep learning and the information bottleneck principle[C]//2015 ieee information theory workshop (itw). IEEE, 2015: 1-5.
• [13] Alemi A A, Fischer I, Dillon J V, et al. Deep variational information bottleneck[J]. arXiv preprint arXiv:1612.00410, 2016.
• [14] M. I. Belghazi, A. Baratin, S. Rajeshwar, S. Ozair, Y. Bengio, A. Courville, and D. Hjelm, “Mutual infor- mation neural estimation,” in International Conference on Machine Learning (ICML), 2018.
• [15] Wu, H. Ren, P. Li, and J. Leskovec, “Graph information bottleneck,” in Annual Conference on Neural Information Processing Systems (NeurIPS), 2020.
• [16] S. Gershman and N. Goodman, “Amortized inference in probabilistic reasoning,” in Proceedings of the Annual Meeting of The Cognitive Science Society, 2014.
• [17] Wang \bm{\bm{Z}}, Chen X, Wen R, et al. Information theoretic counterfactual learning from missing-not-at-random feedback[J]. Advances in Neural Information Processing Systems, 2020, 33: 1854-1864.
• [18] Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.
• [19] Gershman S, Goodman N. Amortized inference in probabilistic reasoning[C]//Proceedings of the annual meeting of the cognitive science society. 2014, 36(36).
• [20] Hjelm R D, Fedorov A, Lavoie-Marchildon S, et al. Learning deep representations by mutual information estimation and maximization[J]. arXiv preprint arXiv:1808.06670, 2018.
• [21] Cover T M. Elements of information theory[M]. John Wiley & Sons, 1999.
• [22] Alemi A, Poole B, Fischer I, et al. Fixing a broken ELBO[C]//International conference on machine learning. PMLR, 2018: 159-168.
• [23] Ben Poole, Sherjil Ozair, Aaron Van Den Oord, Alex Alemi, and George Tucker. 2019. On Variational Bounds of Mutual Information. In International Conference on Machine Learning (ICML).
• [24] Higgins I, Matthey L, Pal A, et al. beta-vae: Learning basic visual concepts with a constrained variational framework[C]//International conference on learning representations. 2017.
• [25] Chen R T Q, Li X, Grosse R B, et al. Isolating sources of disentanglement in variational autoencoders[J]. Advances in neural information processing systems, 2018, 31.
• [26] Kipf T N, Welling M. Variational graph auto-encoders[J]. arXiv preprint arXiv:1611.07308, 2016.
• [27] Xiaopeng Li and James She. 2017. Collaborative variational autoencoder for recommender systems. In ACM Knowledge Discovery and Data Mining (KDD).
• [28] Hwang H J, Kim G H, Hong S, et al. Variational interaction information maximization for cross-domain disentanglement[J]. Advances in Neural Information Processing Systems, 2020, 33: 22479-22491.