【前編】PyTorchの自動微分を使って線形回帰をやってみた

自動微分を行うタイミング

まず、計算の「終わり → 始まり」へ向かって、微分計算していく手法を、「誤差逆伝播法（Back propagation、あるいはBackprop)」と呼びます。

PyTorch の自動微分の機能では、グラフを自動的に作り、Backprop を行えるように準備してくれるのです。

最終的に、いつ自動微分を行うのかは、ユーザーが決めることができます。

自動微分とグラディエント（grad）

では、ここで y に対して、自動微分を実行してみましょう。

y を計算する際に使われた変数、これに微分が自動で計算されます。

このとき、 y の計算に使われた変数には、 grad という属性が作られます。

こちらも、プリントしてみましょう！

grad は、「gradient」の略で、日本語では「グラディエント」とか「勾配」と呼ばれています。

グラディエント（勾配）の例

数学や物理では、「勾配」とはある関数の「最大傾斜を表すベクトル」のことで、 y の全微分から導くことができます。

参考までに、全微分から勾配を求める式も見ていきましょう！

「\(y = f(w, b)\)」とし、 y は、 w と b の関数だとします。

$$dy = \frac{\partial{f}}{\partial{w}}dw + \frac{\partial{f}}{\partial{b}}db
=
\begin{pmatrix}
\frac{\partial{f}}{\partial{w}} \\
\frac{\partial{f}}{\partial{b}}
\end{pmatrix}
\cdot
\begin{pmatrix}
dw \\
db
\end{pmatrix}
$$

よって、

$$\mathrm{grad} \, y =
\begin{pmatrix}
\frac{\partial{f}}{\partial{w}} \\
\frac{\partial{f}}{\partial{b}}
\end{pmatrix}
$$

となります。

つまり「グラディエント（勾配）」とは

グラディエントとは、簡単にいうと w や  b の値を増やすときに、yの値がどの程度変わるのかを表したもの。

先ほどの y は、直線の式なので、次のように簡単に表現できます。

1. 「 w.grad = 5 は 、 w が１増えると、  y が５増える」
2. 「 b.grad = 1 は 、 b が１増えると 、 y が１増える」

もともとの式が、  y = w * x + b で x = 5 なので、正しいことがわかりますね！

線形回帰をやってみる

いよいよ、与えられたデータに対して、「線形回帰」を適用してみましょう！

「線形回帰」とは、データの分布を直線によって、近似させる手法です。

y = w * x + b では、 x が入力値で、  y が x に対するデータの実測値となります。

これらデータを直線で最も近似させて表すとき、最適なパラメータ値「 w」と「 b」は、一体いくつなのかを求めるのです。

教師データを作る

まず、データを作ります。

ここでは、 y ＝ 2x という直線の式に、ノイズを加えたものを用意しました。

また、データ型は「フロート32」にしておきます。

理由は、あとで使う PyTorch のモジュール（ nn.Linea など）がフロート32対応のものが多く、フロート64型のままだとエラーになるためです。

データ描画

では、データをプロットしましょう。