1x.is_leaf
2
3>>> True

そして、「leaf Tensor」の grad_fn も、None を返します。

1x.grad_fn is None
2
3>>> True

自動微分を行うタイミング

まず、計算の「終わり → 始まり」へ向かって、微分計算していく手法を、「誤差逆伝播法（Back propagation、あるいはBackprop)」と呼びます。

PyTorch の自動微分の機能では、グラフを自動的に作り、Backprop を行えるように準備してくれるのです。

最終的に、いつ自動微分を行うのかは、ユーザーが決めることができます。

自動微分とグラディエント（grad）

では、ここで y に対して、自動微分を実行してみましょう。

1y.backward()

y を計算する際に使われた変数、これに微分が自動で計算されます。

このとき、y の計算に使われた変数には、grad という属性が作られます。

こちらも、プリントしてみましょう！

1print('w.grad = ', w.grad)
2print('b.grad = ', b.grad)
3
4>>> w.grad =  tensor(5.)
5>>> b.grad =  tensor(1.)

grad は、「gradient」の略で、日本語では「グラディエント」とか「勾配」と呼ばれています。

グラディエント（勾配）の例

数学や物理では、「勾配」とはある関数の「最大傾斜を表すベクトル」のことで、y の全微分から導くことができます。

参考までに、全微分から勾配を求める式も見ていきましょう！

「$y = f(w, b)$」とし、y は、w と b の関数だとします。

$$dy = \frac{\partial{f}}{\partial{w}}dw + \frac{\partial{f}}{\partial{b}}db = \begin{pmatrix} \frac{\partial{f}}{\partial{w}} \\ \frac{\partial{f}}{\partial{b}} \end{pmatrix} \cdot \begin{pmatrix} dw \\ db \end{pmatrix}$$

よって、

$$\mathrm{grad} \, y = \begin{pmatrix} \frac{\partial{f}}{\partial{w}} \\ \frac{\partial{f}}{\partial{b}} \end{pmatrix}$$

となります。

つまり「グラディエント（勾配）」とは

グラディエントとは、簡単にいうとw や b の値を増やすときに、yの値がどの程度変わるのかを表したもの。

先ほどのy は、直線の式なので、次のように簡単に表現できます。

1. 「w.grad = 5 は 、w が１増えると、 y が５増える」
2. 「b.grad = 1 は 、b が１増えると 、y が１増える」

もともとの式が、 y = w * x + b で x = 5 なので、正しいことがわかりますね！

線形回帰をやってみる

いよいよ、与えられたデータに対して、「線形回帰」を適用してみましょう！

「線形回帰」とは、データの分布を直線によって、近似させる手法です。

y = w * x + b では、x が入力値で、 y が x に対するデータの実測値となります。

これらデータを直線で最も近似させて表すとき、最適なパラメータ値「w」と「b」は、一体いくつなのかを求めるのです。

教師データを作る

まず、データを作ります。

1# ランダムに２００このデータを直線の周りに分散
2N = 200
3x = np.random.rand(N)*30-15
4y = 2*x + np.random.randn(N)*5
5
6# float32型にしておく
7x = x.astype(np.float32)
8y = y.astype(np.float32)

ここでは、y ＝ 2x という直線の式に、ノイズを加えたものを用意しました。

また、データ型は「フロート32」にしておきます。

理由は、あとで使う PyTorch のモジュール（ nn.Linea など）がフロート32対応のものが多く、フロート64型のままだとエラーになるためです。

データ描画

では、データをプロットしましょう。

1# データを描画
2plt.scatter(x, y, marker='.')
3plt.xlabel('x')
4plt.ylabel('y')
5plt.show()