03-2 Minimizing Cost without tensorflow APIs

■ 텐서플로우 함수를 사용하지 않고 Cost Minimizing 기능을 구현한다.

▶ 내장함수를 사용하지 않고 편미분으로 직접 구현함

learning_rate = 0.1

- 학습률을 설정한다

gradient = tf.reduce_mean((W*X-Y)*X)

- Cost 함수를 W에 대한 편미분을 했을 때의 값

- 편미분을 통하여 기울기 값을 구한다.

descent = W - learning_rate*gradient

- 현재의 W값에서 학습율과 기울기의 곱을 한 값을 뺀다.

update = W.assign(descent)

- 그 값을 W에 업데이트 한다.

# Lab 3-2 Minimizing Cost
 
import tensorflow as tf
 
tf.set_random_seed(777)  # for reproducibility
 
 
x_data = [1, 2, 3]
 
y_data = [1, 2, 3]
 
 
# Try to find values for W and b to compute y_data = W * x_data + b
 
# We know that W should be 1 and b should be 0
 
# But let's use TensorFlow to figure it out
 
W = tf.Variable(tf.random_normal([1]), name='weight')
 
 
X = tf.placeholder(tf.float32)
 
Y = tf.placeholder(tf.float32)
 
 
# Our hypothesis for linear model X * W
 
hypothesis = X * W
 
 
# cost/loss function
 
cost = tf.reduce_mean(tf.square(hypothesis - Y))
 
 
# Minimize: Gradient Descent using derivative: W -= learning_rate * derivative
 
learning_rate = 0.1
 
gradient = tf.reduce_mean((W * X - Y) * X)
 
descent = W - learning_rate * gradient
 
update = W.assign(descent)
 
 
# Launch the graph in a session.
 
sess = tf.Session()
 
# Initializes global variables in the graph.
 
sess.run(tf.global_variables_initializer())
 
 
for step in range(21):
 
    sess.run(update, feed_dict={X: x_data, Y: y_data})
 
    print(step, sess.run(cost, feed_dict={X: x_data, Y: y_data}), sess.run(W))