即日起在codingBlog上分享您的技术经验即可获得积分,积分可兑换现金哦。

tensorflow经常使用优化optimization函数

编程语言 qfzxhy 110℃ 0评论




1、softmax_cross_entropy_with_logits()


这个函数的作用就是计算最后一层是softmax层的cross entropy,只不过tensorflow把softmax计算与cross entropy计算放到一起了,用一个函数来实现,用来提高程序的运行速度,原话就是it performs a softmax on logits internally for efficiency。


在inference过程中,并没有使用到softmax层,但这不会影响输出结果,因为softmax是单调增函数。





2、

# 创建一个optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)

# 计算相关的梯度
grads_and_vars = opt.compute_gradients(loss, )

# grads_and_vars为tuples (gradient, variable)组成的列表。
#对梯度进行想要的处理,比如cap处理
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]

# 令optimizer运用capped的梯度(gradients)
opt.apply_gradients(capped_grads_and_vars)

转载请注明:CodingBlog » tensorflow经常使用优化optimization函数

喜欢 (0)or分享 (0)
发表我的评论
取消评论

*

表情