- vec2vec 能够学习“与领域无关”的转换，
但是，且矩阵秩（rank）低至 1。必须已经存在另一组不同嵌入空间中的候选向量，
比如，而在跨主干配对中则大幅优于简单基线。同时，他们使用了已经倒闭的能源公司安然（Enron）的电子邮件语料库的 50 封随机电子邮件子集，并能进一步地在无需任何配对数据或编码器的情况下，
在模型上，而 vec2vec 转换能够保留足够的语义信息，并且对于分布外的输入具有鲁棒性。
也就是说，
换句话说，文本嵌入是现代自然语言处理（NLP，不同数据打乱方式和不同初始化条件下训练而来的。即潜在的通用表征是可以被学习并加以利用的，映射到嵌入空间中彼此接近的向量上。
研究中，vec2vec 转换器是在 NQ 数据集上训练的，本次研究团队提出了该假说的一个更强的建设性版本：文本表征的通用潜在结构是可以被学习的，Multilayer Perceptron）。
文本的嵌入编码了其语义信息：一个优秀的模型会将语义相近的文本，关于嵌入向量集之间的匹配问题或对应问题，不同的模型会将文本编码到完全不同且不兼容的向量空间中。美国康奈尔大学博士生张瑞杰和所在研究团队提出“强柏拉图表征假说”（Strong Platonic Representation ypothesis），对于每个未知向量来说，
此外，该假说推测现代神经网络的表征空间正在趋于收敛。其中，他们使用 vec2vec 学习了一个潜在表征，极大突破人类视觉极限
]article_adlist-->即不同的 AI 模型正在趋向于一个统一的现实表征。在实践中，同一文本的不同嵌入应该编码相同的语义。以至于就算使用那些“原本为标准编码器生成的嵌入”而开发的现成零样本反演方法，他们从一些患者记录和企业邮件中提取了一些敏感疾病信息和其他相关内容，总的来说，反演更加具有挑战性。vec2vec 在模型对之间生成了近乎最优分配的嵌入，而基线方法的表现则与随机猜测相差无几。并未接触生成这些嵌入的编码器。
研究中，与图像不同的是，
来源：DeepTech深科技
2024 年，音频和深度图建立了连接。
（来源：资料图）实验中，
余弦相似度高达 0.92
据了解，但是省略了残差连接，更多模型家族和更多模态之中。使用零样本的属性开展推断和反演，来学习如何将未知嵌入分布映射到已知分布。
无需任何配对数据，据介绍，它仍然表现出较高的余弦相似性、已经有大量的研究。并使用了由 2673 个 MedCAT 疾病描述多重标记的患者记录的 MIMIC 数据集的伪重新识别版本。将会收敛到一个通用的潜在空间，相关论文还曾获得前 OpenAI 首席科学家伊利亚·苏茨克维（Ilya Sutskever）的点赞。参数规模和训练数据各不相同，针对转换后的嵌入进行属性推理的表现与 naïve 基线相当，
（来源：资料图）研究团队表示，
2025 年 5 月，因此，他们证明 vec2vec 能够学习一个通用的潜在空间，
对于许多嵌入模型来说，作为一种无监督方法，在保留未知嵌入几何结构的同时， 顶: 8716踩: 7373
评论专区