【後編】YAMLを使ってPyTorchのOptimizerのパラメータ管理をすごく簡単にする方法
2021.12.20
後編~YAML で Optimizer のパラメータ管理が簡単に!~
ArgumentParser などで、Optimizer やパラメータ追加のたびに、いちいちコードを書き換えるのは面倒…
そんな悩みを解決してくれるのが「YAML」です。
Optimizer のパラメータ管理が簡単になるだけでなく、コード自体もより単純でスッキリしたものになります。
前回に引き続き、「YAMLを使ってPyTorchのOptimizerのパラメータ管理をすごく簡単にする方法」をご紹介します!
前編をお読みでない方は、こちらをまずお読みください。
YAML でシンプルなコーディングを実現
さて、これを実現するコード「main3.py」は、冒頭のサンプルコード「main1.py」や「main2.py」よりも複雑で巨大なものなのでしょうか?
いいえ、そんな事はありません。
実は、コードそのものがよりシンプルになります。
YAML を使うための下準備
Python | バージョンは3.6以上 |
PyTorch | バージョンは1.0以上 |
環境については、上記を想定しています。
YAML を使えるようにインストールします。
1 | > pip install pyyaml |
準備はこれだけです。
サンプルコード:main3.py
main3.py の中身は、下記のとおりです。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 | # -*- coding: UTF-8 -*- # ファイル名:main3.py import argparse import torch import torch.optim as optim import torch.nn as nn import yaml def make_optimizer(params, name, **kwargs): # Optimizer作成 return optim.__dict__[name](params, **kwargs) def get_args(): # 引数の導入 parser = argparse.ArgumentParser(description='YAMLありの例') parser.add_argument('config_path', type=str, help='設定ファイル(.yaml)') args = parser.parse_args() return args def main(args): # 設定ファイル(.yaml)の読み込み with open(args.config_path, 'r') as f: config = yaml.safe_load(f) # Model作成 model = nn.Linear(1, 1) optimizer = make_optimizer(model.parameters(), **config['optimizer']) print(optimizer) if __name__=='__main__': main(get_args()) |
ご覧のとおり、main1.py や main2.py に比べて、よりシンプルなコードに変更されています。
では、変更箇所を一つ一つ見ていきましょう。
引数を導入する
まずは、「引数の導入」のコードです。
1 2 3 4 5 6 | def get_args(): # 引数の導入 parser = argparse.ArgumentParser(description='YAMLありの例') parser.add_argument('config_path', type=str, help='設定ファイル(.yaml)') args = parser.parse_args() return args |
ここでは、設定ファイル「.yaml」を指定する config_path のみを引数として扱っています。
Optimizer を作成する
次は、 make_optimizer で、Optimizer を作成するコードです。
1 2 3 | def make_optimizer(params, name, **kwargs): # Optimizer作成 return optim.__dict__[name](params, **kwargs) |
名前空間 optim
ここの optim は、下記のところでインポートされた名前空間です。
1 | import torch.optim as optim |
optim._dict_ に Optimizer の名前を渡すと、そのクラスを取得できます。
Optimizer のオブジェクトを作成する際に渡した **kwargs に、YAML で設定されたパラメータの値が入ってきます。
設定ファイルを読み込み、make_optimizer に渡す
次は、 main のコードを見てみましょう。
1 2 3 4 5 6 7 8 9 10 | def main(args): # 設定ファイル(.yaml)の読み込み with open(args.config_path, 'r') as f: config = yaml.safe_load(f) # Model作成 model = nn.Linear(1, 1) optimizer = make_optimizer(model.parameters(), **config['optimizer']) print(optimizer) |
ここでは、設定ファイルを読み込み、返り値の config から取り出した 'optimizer' セクションを make_optimizer に渡します。
この部分は、設定ファイルの YAML がプログラムでどのように処理されていくのか、順番に見ていくとよりわかりやすいでしょう。
パラメータを追加
まずは、パラメータを追加する config2.yaml の内容を思い出して下さい。
1 2 3 4 | optimizer: name: SGD lr: 0.05 momentum: 0.9 |
YAML 設定ファイルを読み込む
下記のコードで、YAML の設定ファイルが読み込まれ、 config に格納されます。
1 2 | with open(args.config_path, 'r') as f: config = yaml.safe_load(f) |
この config は dict オブジェクトです。
Python だとどうなる?
Python では、このようになります。
1 | {'optimizer': {'name': 'SGD', 'lr': 0.05, 'momentum': 0.9}} |
config['optimizer'] のところは、 'optimizer' をキーとして値を取り出しています。
1 | {'name': 'SGD', 'lr': 0.05, 'momentum': 0.9} |
記述は違っても呼び方は同じ
よって、以下の2つのコードは、まったく同じ呼び方ということになります。
1 | optimizer = make_optimizer(model.parameters(), **config['optimizer']) |
1 | optimizer = make_optimizer(model.parameters(), name='SGD', lr=0.05, momentum=0.9) |
引数の名前が指定されているなら、順番は気にしなくていい
ここで、 name lr momentum それぞれの順番は重要ではありません。
Python では引数の名前が指定されている場合、その順番は関数の宣言通りでなくても良いからです。
よって、YAML の設定ファイルが以下のように記述されていても、同様に動作します。
1 2 3 4 | optimizer: momentum: 0.9 name: SGD lr: 0.05 |
name は最初に記述しよう
ただし、どの Optimizer 設定にも必須な name は、一番最初に記述しておいた方が違和感が少ないです。
YAML の設定変更だけで、どんなOptimizer もサポート可能
make_optimizer では name で Optimizer のクラスを取り出し、 **kwargs にある残り全てのパラメータをそのまま渡します。
1 2 3 | def make_optimizer(params, name, **kwargs): # Optimizer作成 return optim.__dict__[name](params, **kwargs) |
上記のコードが、下記のように実行されているイメージになります。
1 2 3 4 | def make_optimizer(params, name='SGD', lr=0.05, momentum=0.9): # Optimizer作成 optimizer_class = optim.__dict__[name] # optim.SGD class return optimizer_class(params, lr=lr, momentum=momentum) |
以上をまとめると、「YAML で指定した name で Optimizer のクラスを取り出し、残り全てのパラメータを、そのクラスのオブジェクトを作るときに渡している」となります。
このやり方だと、どの Optimizer のどのパラメータでも、YAML の設定を変えるだけでサポートできるようになります。
YAMLを使う際の注意点
ここからは、YAML の設定時に注意したいポイントをまとめてみました。
name で指定する Optimizer の名前は PyTorch で定義されているもののみ
例えば、 SGD のところが sgd と書かれていたらエラーになります。
設定できる Optimizer の名前は、下記のリンクで確認できます。
【Github ソースコード】
https://github.com/pytorch/pytorch/blob/master/torch/optim/__init__.py
独自定義のクラスを使いたい場合
また、独自に定義した Optimizer のクラスを取り入れたい場合もあるでしょう。
その時は、「 make_optimizer で、独自の名前空間をはじめにチェックする」などの工夫が必要になります。
Optimizer のパラメータ名は定義されたものを使う
lr を learning_rate など、違う名前で設定したら PyTorch から怒られます。
これは、ソースコードと設定ファイルでパラメータ名が統一されるので、利点でもあります。
Optimizer ごとの設定の詳細は、下記のリンクを参照してください。
【pytorch 公式ドキュメント】
https://pytorch.org/docs/stable/optim.html
「true」と「false」を使う
Python では True と False なのですが、YAML では全て小文字です。
慣れないうちは間違えやすいので、気をつけましょう。
小数点を忘れずに
「1.0e-4」なら OK ですが、「1e-4」と記述すると、Python の str 型として認識されてしまいます。
「1.0」のように、必ず小数点をつけましょう。
ちなみに、「1.e-4」でも大丈夫ですが、「1.0e-4」の方が読みやすいと思います。
list 型は[]を使う
YAML では[0.9, 0.09]は list 型として認識されますが、(0.9, 0.09)は str 型になってしまいます。
Adam の betas パラメータは tuple 型ですが、 list 型で渡しても問題ありません。
よって、YAML では [] で記述しましょう。
さいごに
いかがでしょうか?
YAML を使えば、「Optimizer のパラメータ管理」や「簡潔かつ分かりやすいコーディング」が簡単にできます。
また、YAML でパラメータ設定をする方法は、Scheduler や DataLoader にも適用できます。
とても便利なので、ぜひ応用してみてくださいね。
こちらの記事もオススメ!
書いた人はこんな人
- 「好きを仕事にするエンジニア集団」の(株)ライトコードです!
ライトコードは、福岡、東京、大阪の3拠点で事業展開するIT企業です。
現在は、国内を代表する大手IT企業を取引先にもち、ITシステムの受託事業が中心。
いずれも直取引で、月間PV数1億を超えるWebサービスのシステム開発・運営、インフラの構築・運用に携わっています。
システム開発依頼・お見積もり大歓迎!
また、現在「WEBエンジニア」「モバイルエンジニア」「営業」「WEBデザイナー」「WEBディレクター」を積極採用中です!
インターンや新卒採用も行っております。
以下よりご応募をお待ちしております!
https://rightcode.co.jp/recruit
- ライトコードの日常2月 29, 2024座談会はじめました!ライトコードの話ちょっと聞いてみませんか?
- ライトコードの日常12月 27, 2023年忘れ!ライトコード大忘年会2023
- ライトコードの日常12月 1, 2023ライトコードクエスト〜東京オフィス歴史編〜
- ITエンタメ10月 13, 2023Netflixの成功はレコメンドエンジン?