谷歌发布TensorFlowLattice:得益于先验知识,提升模型泛化能力

时间:17/11/13 23:01:07 点击:

 
     
     近日,谷歌科学家发布 TensorFlow Lattice,这是一套预建的 TensorFlow Estimators,易于使用,它相当于是 TensorFlow 运算符,用来构建点阵模型。点阵是多维插值查找表,与几何教材背面近似于正弦函数的查找表类似。
     雷锋网 AI 科技评论编译整理如下:
     我们利用查找表的结构,来估计比较随意及灵活的关系,并满足于指定的单调关系,以便更好地泛化。也就是说,训练查找表值使得训练样例的损失最小化。另外,查找表中的相邻值被约束为在输入空间的给定方向上增长,因此模型的输出值也是在这些方向上增长。重要的是,因为是在查找表值之间进行插入,所以点阵模型很平滑,预测也是有界的,这有助于避免测试阶段出现有较大偏差的杂散预测。
     视频地址:?auto=1&vid=z0560xy9zaa
     点阵模型的作用
     设想一下,你正在设计一个向用户推荐附近咖啡店的系统,你需要让模型学习:“如果两家咖啡店是一样的,那就选择更近一点的。”
     下图中我们展示了一个灵活的模型,它可以精确地与来自东京用户的训练数据相匹配,在用户附近有很多咖啡店。
     由于训练样例比较嘈杂,可以看到粉色曲线模型产生了过拟合,并且模型还忽略了总的趋势——越近的咖啡店越好。如果用这条粉色曲线模型排列来自德克萨斯州的测试样本,在德克萨斯州咖啡店的分布更加分散,你会发现模型的表现变得很奇怪,有时甚至会认为更远的咖啡店更好。
     对比起来,运用东京相同的样本训练的点阵模型能被约束为满足单调关系,最终得到一个灵活的单调函数。这个函数能与东京的训练样例精准匹配,但是也能泛化到德克萨斯州的样例上,不会出现更远的咖啡店更好的情况。
     一般说来,输入会有每个咖啡店的咖啡质量、价格等等。灵活模型很难捕捉到这种形式的整体关系,特别是在一些特征空间中,训练数据非常稀疏和杂乱。“如果其他所有输入占的权重一样,那么更近就更好。”能捕捉到先验知识的机器学习模型在实际中取得的效果更好,更易于调试并更具有解释性。
     预建Estimators百家乐网址
   &n