先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
word2vec 究竟学到了什么?事件进展
1 个已确认进展
- 来源:Berkeley AI Research (BAIR) Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
9月1日
Berkeley AI Research (BAIR) Blog一手
word2vec 究竟学到了什么?
BAIR 研究者提出了 word2vec 学习过程的定量理论,证明其在特定近似条件下可归结为无权最小二乘矩阵分解,最终表示等同于对目标矩阵进行 PCA。模型从小权重初始化时会逐步学习正交特征并增加嵌入矩阵秩,这些特征可由语料统计和算法超参数预先计算。标准类比测试中,原始 word2vec、近似模型和 PPMI 的准确率分别为 68%、66% 和 51%。