はじめに

新田

こんにちは、(株)ライトコードの新田です。
普段はデータの案件をいろいろやっています。
先日、Google Cloud Professional Data Engineer を受験して合格しましたのでその話をまとめようと思います。

試験範囲について

想像していたよりも範囲が広かったです。
試験範囲のサービスについてざっくりまとめてみたいと思います。

BigQuery

言わずと知れたデータウェアハウスです。
BigQueryの設問が一番多かったように思います。
マテリアライズドビュー、オーソライズドビュー、フェデレーションクエリ、DataFormやLookerStudio、BigQueryML、予約スロットとか料金まわり、などなど関連する機能の設問も幅広く問われます。業務でよく使っているので知っていることも多かったですが、業務に役立てそうな知識も登場して勉強になりました。

BigLake

比較的新しいサービスです。BigQueryと比較して外部データソースへのアクセスが強いと言うところがポイントです。

Dataflow

サーバーレスのストリームデータ処理をするサービスで、Apache Beamの実行環境を提供してくれます。
Pub/Sub -> Dataflow -> BigQuery と言う流れでリアルタイム処理をするのが定番のようです。

Composer

Apache Airflowのフルマネージドです。
いろいろなバッチ処理をオーケストレーションしてくれます。
いろいろなタスクがある場合はとても便利ですが、ちょっとしたことだけをしたい場合にはオーバースペックで、他の方法の方がいいことが多いです。

Pub/Sub

メッセージングサービス。Dataflowと組み合わせてリアルタイム処理で使うような問題が多かった印象です。

Dataproc

Hadoop, Sparkなどのフルマネージドです。hdfsからgsへ移行するような話が多いです。

BigTable

分析向けのNoSQLで、時系列データやセンサーデータのような頻繁な更新に強いです。
行キーに関する問題をよくみました。

その他

そんなに詳しい問題ではありませんが、CloudStorage, CloudSQL, AlloyDB, Spanner, Dataprex, Dataprep, DataFusion, Datastore, AutoML, Memorystoreなどがたまに登場しました。

実際にやった勉強

試験ガイドと模擬試験

公式の試験ガイドと模擬試験です。ざっくりどのような内容が問われて、どの程度くわしいことが問題になるのか把握できると思います。

Coursera

Courseraで公開されているGoogle公式のこの6つのコースに取り組んでみました。
まずまずボリュームがあります。よく知っている項目は飛ばしてあまり馴染みのない項目を中心に取り組みました。また、体験期間内で終わらせたので無料でした。
動画の講義を受けたり、チェックテストを受けたり、ハンズオンラボを行ったります。
ハンズオンラボでは一時的なGoogle Cloudのアカウントが提供されて、実際にハンズオンできるのがなかなかよかったです！
また、これらの講座は、Skills Boostのほうでも同様な講座があるようでした。

Udemyの問題集を解く

Udemyに対応する問題集があるので、練習問題として使いました。
本番にも似た使いやすいUIがいいですね。
講座によっては、テストを開始するたびに問題の順番が毎回変わるので、復習するときには少し使いにくかったです。
また、1割くらいの内容で答えが間違えているように思いました、注意した方がいいかもしれません。

受験方法と当日について

自宅受験は大変という話を聞いていたので、テストセンターを予約しました。
これまでオラクルやシスコ、統計検定の試験をテストセンターで受けたことがありますが、同じようなかんじです。
また、「名前が完全に一致した身分証」が必要で、「文字も一致している必要がある」と注意書きがありますが、ローマ字の名前で登録していても問題ありませんでした。

受験後について

試験終了後すぐにPCの前で結果が確認できます。他のベンダ系の資格とは異なり、Googleの試験では結果だけが伝えられて得点を知ることはできません。
また、「最終的な試験結果が確定されるためには、Googleによる審査が必要です。」と表示されますが、試験の翌日ごろにバッジ獲得のメールが来たら試験結果も確定ということらしいです。

感想

データエンジニア領域は馴染みがある方だと思っていましたが、あまり馴染みのないサービスを中心に新しく知ることも多く、今後それらのサービスを利用する機会があるときに役立つと思います、いい勉強になりました。
ちなみに、受験料は会社が負担してくれました。また、一部の資格は合格すると祝い金ももらえる仕組みができたのでモチベーションが上がります！

まとめ

• 試験範囲がまずまず広い
• CourseraやSkill Boostのハンズオンラボがおすすめ
• テストセンターでの受験がおすすめ
• ライトコードは技術力を大切にする会社なので資格試験が経費になるし、祝い金がでる仕組みもある