Dong WangTensorFlow 2.x上手7: 函数式程序风格去年年底在公司给了一个关于如何编写高效的TensorFlow模型的Talk，其中包括三个方面：如何组织代码，IO优化的方法，和分布式训练的优化,其中第一部分如何组织代码我很早就想写一篇文章.4 min read·Jan 20, 2021--1--1
Dong WangTensorflow 2.0上手6: 解剖tf.function的使用关于Tensorflow 2.0，最令我觉得有意思的功能就是tf.function和AutoGraph了．他们可以把Python风格的代码转为效率更好的Tensorflow计算图．为了更好的了解这两个功能，我在这里分享一下Paolo…10 min read·Oct 14, 2019----
Dong WangTensorflow上手5: 分布式计算中的Ring All-reduce算法在进行大规模机器学习的时候，一个常见的问题就是如何从多个GPU上收集gradient，然后对参数进行更新．这一步骤通常被各种机器学习平台用一个All-reduce操作完成，这个操作通常能够对大数组的每一个位置进行求和，求乘机，最大值，最小值等操作．8 min read·Sep 2, 2019--1--1
Dong Wang机器学习所需要的硬件支持很久不见，上篇博客是一个月前了，果真工作忙起来什么都忘了．今天和大家分享一篇四月份读到的博客，What machine learning needs from hardware，文章从一个机器学习系统工程师的角度谈谈机器学习所需要的硬件支持．作者是Pete…6 min read·Jul 8, 2019----
Dong WangTensorflow上手4: 初探分布式训练今天打算简单讲讲Tensorflow分布式训练的方法和遇到的一些问题。感兴趣的朋友也可以进入Google Colab提供的文档中进行更多学习。9 min read·Jun 11, 2019----
Dong WangTensorflow上手3: 实现自己的OpTensorflow作为一个深度学习框架，主要强调将计算过程表示为数据流．计算图．它提供了大量的基本操作让我们可以任意组合，实现比普通的神经网络更强大的计算方法．但现实工作当中，我们常常会需要一些并不太容易实现的基本操作，比如我们之前说到的特殊的metric．有时候我们可以通过前…8 min read·May 20, 2019--1--1
Dong WangTensorflow上手2: Keras的技巧和弊端就在不久前，TF 2.0的预告发布，大家都在讨论着Tensorflow接口的变化，于是我也开始尝试使用Tensorflow版本的Keras．Keras是一个非常易用的框架，提供了更好的神经网络层级Layer的抽象，但是真正实现大规模模型训练时却遇到了一些坑．7 min read·Apr 29, 2019--1--1
Dong WangTensorflow上手1: Print与py_func这个Blog终于又要开始更新了，这几个月每天都在研究Tensorflow，虽然之前工作中也用它训练了不少模型，可是大部分模型都非常简单．最近接触了更多的深度学习模型后，对Tensorflow有了一些新的体会，于是打算写一系列相关文章，记录自己的学习心得．目前计划有简单的函数介绍，…4 min read·Apr 23, 2019----
Dong Wang若干GPU代码优化摘要因为最近一直在研究优化CUDA代码，使深度学习模型运行速度变快，读了不少NVIDIA博客的文章，其中有四篇印象比较深刻，实用度也比较高，特此总结一下。5 min read·Nov 19, 2018----
Dong Wang随笔与“At the limits of learning”读后感这段时间的发文频率越来越低了，今天突然发现我常用的排版工具秀米都需要绑定手机才能继续使用了，于是开篇的狗头没了。4 min read·Oct 16, 2018----
