最近在中国大学MOOC上学习了Tensorflow,很有感触,记录一下自认为的重点和难点

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习[当前被50个团队用于研究和生产许多Google商业产品,如语音识别GmailGoogle 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

TensorFlow最初由谷歌大脑团队开发,用于Google的研究和生产,于2015年11月9日在Apache 2.0开源许可证下发布。

Tensorflow的安装过程本文不再赘述,因发行版众多还请自行查询。Linux的基本操作(cd pwd mv cp vim …)以及Python的基本操作这里也不赘述。

基本概念

  • 人工智能:机器模拟人的意识和思维。
  • 机器学习:机器学习是一种统计学方法,计算机利用已有数据得出某种模型,再利用此模型预测结果。
  • 张量(Tensor):张量就是多维数组(列表),用“阶”表示张量的维度。
  • 计算图(Graph):搭建神经网络的计算过程,是承载一个或多个计算节点的一张图,只搭建网络,不运算。
  • 会话(Session):执行计算图中的节点运算。

机器学习的过程

机器学习分为前向传播和反向传播两部分,前向传播创建神经网络,反向传播训练神经网络并优化参数。

前向传播

前项传播是把矩阵形式的原始数据,乘权重W,再加上偏置b最好的出结果的计算过程。

  • tf.matmul可以实现矩阵乘法的过程。
  • 需要对函数进行定义
    • tf.random_normal([n,m],float32)定义正态分布,nm是行数和列数,也是前一层和后一层的神经元个数
    • tf.truncated_normal([n,m],float32)去除大于两倍标准差的正态分布
    • tf.zeros([n,m],float32)产生全零的数组权重w和偏置b需要自己定义,需要用tf的随机生成函数:
    • tf.constant([a,b,c][d,e,f])产生常量

反向传播

反向传播是根据已知的数据,让神经网络进行计算,计算结束后把算出来的结果与实际结果进行比对,然后对模型的参数进行调整,使得模型计算出来的数据更加符合实际结果。把计算结果与实际结果进行比对的方法有很多,比如用最小二乘法设一个损失函数loss。参数每次调整的幅度叫做学习率,学习率过大会在正确的数据上下来回波动起不到优化的结果,学习率过小会优化缓慢。

反向传播中,需要训练的参数,需要把需要训练的参数用tf.placeholder进行占位。训练可以选不同的优化方式。

举个例子

这里,引用课上老师的例子,有一家工厂生产一种零件,每个零件都有体积和重量两个属性,两个属性之和大于1即为不合格(判定合格与否的标准我们自己偷偷知道即可,不告诉神经网络)。然后,给神经网络一堆零件,告诉他们每个零件是否合格,让它自己总结规律,对以后的新零件给出合格与否的判断。

老师给出的源代码如下:

#coding:utf-8 
#0导入模块,生成模拟数据集。
import tensorflow as tf
import numpy as np
ATCH_SIZE = 8 #一次喂8组数据
SEED = 23455

#基于seed产生随机数
rdm = np.random.RandomState(SEED)
#随机数返回32行2列的矩阵 表示32组 体积和重量 作为输入数据集
X = rdm.rand(32,2)
#从X这个32行2列的矩阵中 取出一行 判断如果和小于1 给Y赋值1 如果和不小于1 给Y赋值0
#作为输入数据集的标签(正确答案)
Y_ = [[int(x0 + x1 < 1)] for (x0, x1) in X]
print "X:\n",X #X是个32行2列的矩阵
print "Y_:\n",Y_ #Y_是个32行1列的矩阵

#1定义神经网络的输入、参数和输出,定义前向传播过程。
x = tf.placeholder(tf.float32, shape=(None, 2))
y_= tf.placeholder(tf.float32, shape=(None, 1))
w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

#2定义损失函数及反向传播方法。
loss_mse = tf.reduce_mean(tf.square(y-y_))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss_mse) #train_step = tf.train.MomentumOptimizer(0.001,0.9).minimize(loss_mse) #train_step = tf.train.AdamOptimizer(0.001).minimize(loss_mse)
#三种不同的优化器任选

#3生成会话,训练STEPS轮
with tf.Session() as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)

# 输出目前(未经训练)的参数取值。
print "w1:\n", sess.run(w1)
print "w2:\n", sess.run(w2)
print "\n"

# 训练模型。
STEPS = 3000
for i in range(STEPS):
start = (i*BATCH_SIZE) % 32
end = start + BATCH_SIZE
sess.run(train_step, feed_dict={x: X[start:end], y_: Y_[start:end]})
if i % 500 == 0:
total_loss = sess.run(loss_mse, feed_dict={x: X, y_: Y_})
print("After %d training step(s), loss_mse on all data is %g" % (i, total_loss))

# 输出训练后的参数取值。
print "\n"
print "w1:\n", sess.run(w1)
print "w2:\n", sess.run(w2)

Leave a Reply

Your email address will not be published. Required fields are marked *