Unity+OpenCVで画像処理に挑戦！
2021.12.20
Unity に OpenCV が対応
ゲームエンジンの中でも世界最大のシェアを誇る「Unity」。
画像処理ライブラリ「OpenCV」が Unity に対応したため、画像処理が簡単にできるようになりました。
今回は、Unity で OpenCV を使い、画像処理する方法を解説していきます。
OpenCV とは？
| 対応言語 | C/C++、Java、Python、MATLAB |
「OpenCV」とは、Intel が開発したコンピュータビジョン向けライブラリです。
画像処理機能だけではなく、解析や機械学習機能も備えています。
マルチプラットフォーム対応かつ、オープンソースなので、基本的には無料で使うことができます。
【OpenCV 公式サイト】
https://opencv.org/
OpenCV でできること
- リサイズ、トリミング、モザイク処理、色処理などの基本的な画像処理
- 物体検出・追跡
- カメラキャリブレーション
- コンピュテーショナルフォトグラフィ
- 機械学習
- GUI
実際に Unity + OpenCV で画像処理に挑戦！
それでは、実際に Unity と OpenCV を使って画像処理をやってみましょう！
アセットストアからアセットをダウンロード
まずは、以下のリンクからアセットをダウンロードしましょう。
その後、Unity エディタでインポートしてください。
【OpenCV plus Unity】
https://assetstore.unity.com/packages/tools/integration/opencv-plus-unity-85928
安全ではないコードの実行を許可
Unity で OpenCV を使うには、コードの実行を許可する必要があります。
Build Settings → Player Settings のインスペクタから「Unsafecode」を許可します。
ポインタなどを使う時も、これと同様です。
必要なファイルとオブジェクトを用意する
今回は、以下の画像ファイルを使います。
この画像ファイルをダウンロードし、コピーの上、名前を変えて2つのファイルをインポートしましょう。
画像設定を変更
さらに、画像の設定を以下の通りに変更してください。
「Read/Write Enable」で、外部ソースコードからの処理を許可します。
RawImage を配置
次に、Unity の Scene 内に、2つの RawImage を配置します。
ソースコードの記述
最後に、以下のソースコードを、先ほど用意した RawImage にアタッチします。
「originalimage」の部分に、元の画像が代入されます。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 | using System.Collections; using System.Collections.Generic; using UnityEngine; using OpenCvSharp; using UnityEngine.UI; namespace OpenCvSharp { public class AttackeffectLookOperator : MonoBehaviour { public Texture2D originalimage; Mat originmat; Mat hsver; Mat bindata; Texture2D binary_tex; private readonly static Scalar LOWER = new Scalar(50, 150, 10);//抽出したい色のHSV形式での下限ベクトル private readonly static Scalar UPPER = new Scalar(100, 255, 255);//抽出したい色のHSV形式での上限ベクトル // Start is called before the first frame update void Start() { originmat = OpenCvSharp.Unity.TextureToMat(this.originalimage);//画像の取り込み hsver = new Mat(); Cv2.CvtColor(originmat, hsver, ColorConversionCodes.BGR2HSV);//形式をRGBからHSVに変換 bindata = hsver.InRange(LOWER, UPPER);//抽出したい色のHSVでの上限下限を設定 binary_tex = OpenCvSharp.Unity.MatToTexture(bindata);//グレースケールで色を抽出し二値化 GetComponent<RawImage>().texture = binary_tex; } // Update is called once per frame void Update() { } } } |
結果を確認
結果は、以下のようになります。
見事、青色のみを抽出することが出来ました！
OpenCV と HSV 形式
今回は「HSV形式」で色を指定しています。
HSV は一般に用いられる RGB と違い、「色相」「彩度」「明度」の3成分で色を決定します。
OpenCV の HSV 色空間
OpenCV で HSV 形式を使う場合、各成分の値は以下の通りです。
| 色相（Hue） | 0～180 |
| 彩度（Saturation） | 0～255 |
| 明度（Value） | 0～255 |
本来、HSV 形式の色相の値は「0～360」なのですが、OpenCV の色相最大値は「180」なので注意してください。
黄色を指定
例として、黄色を指定してみましょう。
上記のコードでは、この部分で青色を指定しています。
1 2 | private readonly static Scalar LOWER = new Scalar(50, 150, 10); private readonly static Scalar UPPER = new Scalar(100, 255, 255); |
ここを以下のように変えれば、黄色が抽出されます。
1 2 | private readonly static Scalar LOWER = new Scalar(10, 150, 10); private readonly static Scalar UPPER = new Scalar(50, 255, 255); |
実行
実行してみると、以下のようになるはずです。
さいごに
今回は、Unity と OpenCV を使って画像処理する方法をご紹介しました。
アセットを使えば、「ゲームの処理」と「画像処理」を一つのソフトに統合できるため便利ですよ。
画像処理以外にも、OpenCV には便利な機能がたくさんあるのでオススメです！
こちらの記事もオススメ！
書いた人はこんな人
- 「好きを仕事にするエンジニア集団」の（株）ライトコードです！
ライトコードは、福岡、東京、大阪の3拠点で事業展開するIT企業です。
現在は、国内を代表する大手IT企業を取引先にもち、ITシステムの受託事業が中心。
いずれも直取引で、月間PV数1億を超えるWebサービスのシステム開発・運営、インフラの構築・運用に携わっています。
システム開発依頼・お見積もり大歓迎！
また、現在「WEBエンジニア」「モバイルエンジニア」「営業」「WEBデザイナー」「WEBディレクター」を積極採用中です！
インターンや新卒採用も行っております。
以下よりご応募をお待ちしております！
https://rightcode.co.jp/recruit
ライトコードの日常12月 1, 2023ライトコードクエスト〜東京オフィス歴史編〜- ITエンタメ10月 13, 2023Netflixの成功はレコメンドエンジン？
- ライトコードの日常8月 30, 2023退職者の最終出社日に密着してみた！
- ITエンタメ8月 3, 2023世界初の量産型ポータブルコンピュータを開発したのに倒産!?アダム・オズボーン
関連記事
採用情報
\ あの有名サービスに参画!? /
バックエンドエンジニア
\ クリエイティブの最前線 /
フロントエンドエンジニア
\ 世界を変える…！ /
Androidエンジニア
\ みんなが使うアプリを創る /
iOSエンジニア
