本記事では、AWS re:invent 2020における発表内容から注目のサービス3つを厳選して紹介します。
注目のサービス① AWS Glue Elastic Views
まさにデータベース間の「糊付け」を実現するAWS Glueの新機能が誕生
AWS re:Invent2020において、データベースのアナリティクスに関しては3つの新機能（AWS Glue Elastic Views、 AQUA for Amazon Redshift、Amazon QuickSight Q）が発表されましたが、中でも注目すべき「AWS Glue Elastic Views」にフォーカスして紹介していきます。
なぜAWS Glue Elastic Views が誕生したか？
現在、多くの事業者はデータレイクを既に構築中、もしくは構築済みの段階にあります。したがって、最適かつ、安全なセキュリティやアクセス制限を施すことで、個別のシステムから全データを集約し、機械学習やアナリティクスを行うことができます。
しかし、レイテンシや運用上の問題から、データレイクの外部に設置するデータストア内包量が、ことのほか増加してしまっているのが現状です。こうした背景から、より簡単にデータを移行する方法が求められていました。この要求に応えるために誕生したのがAWS Glue Elastic Viewsです。
AWS Glue Elastic Views のしくみ
AWS Glueとは
AWS Glue Elastic Viewsを解説する前に、その機能元となるAWS Glueの概要を簡単に紹介しましょう。AWS Glueとは、一言でいえば、サーバーレスでフルマネージドなデータ準備サービスです。機械学習やアナリティクス向けの抽出（Extract）、変換（Transform）、読み込み（Load）の頭文字をとったETLと呼ばれるジョブを自動で簡単に実行することができます。AWS Glueが、AWSのデータベース間などを繋ぐ「糊付け（Glue）」として処理を構成、実行してくれます。
AWS Glue Elastic Viewsとは
AWS Glue Elastic Viewsは、複数のデータストア間でデータを複製したり、結合したりしてデータの移行を容易にするAWS Glueの新機能です。これは、SQLと互換性のあるPartiQLを使用して各種データストアからデータ抽出をして組み合わせ、ターゲットとなるデータストアに「マテリアライズドビュー」と呼ばれる仮想的なテーブルを複製してくれるものです。
AWS Glue Elastic Viewsを使用すると、複雑な作業をすることなく、たとえばAmazon Auroraからイタリアンレストランなどの位置情報を抽出し、Amazon DynamoDBに保存された顧客レビューと組み合わせて、Amazon Elasticsearch Service上でイタリアンレストランの所在地別のレビューを検索できるエンジンを構築する、といったことが可能になります。
常に最新の情報を維持できるAWS Glue Elastic Views
AWS Glue Elastic Viewsは、ターゲットデータベース内のデータを自動で最新の状態に維持することができます。つまり、継続的にソースデータを監視し、変更があればターゲットデータベースを数秒で更新してくれるのです。
いずれかのソースデータベースに変更が生じた際には、開発者は AWS Glue Elastic Viewsからのアラート通知を受け取ることができます。そして、変更に応じたマテリアライズドビューの微調整ができるのです。
AWS Glue Elastic Viewsで次のステージに向かうAWS
AWSにとって、データマネジメント戦略の鍵となってきたのは、タスクに最適なツールを常に提供し続けるということでした。それゆえに、ここ数年は毎年新しいデータベースの発表がre:Inventで行われてきました。そのことを考えると、新しいデータベースの発表についてはそろそろ一息つくタイミングであったのかもしれません。
今回のre:Inventをみると、AWSがストレージ、データベース、アナリティクスのワークフロー間のデータ移行に注力しているように見受けられます。顕著な動きとしてAWSは、Aurora PostgreSQLのためのBabelfishを利用して、SQL Serverのワークロードを獲得しようとしていることなどが挙げられます。
しかし、真の注目トピックの1つは、今回紹介した「AWS Glue Elastic Views」といっても過言ではないのではないでしょうか。複数のデータソースへの検索結果を集約し、そのテーブルを半永久的に保存できるマテリアライズドビューをいとも簡単に構築できるAWS Glue Elastic viewsこそ、AWSが「データ統合への旅」という、新たなステージに向かうための必須サービスといえるでしょう。
注目のサービス② AWS Fault Injection Simulator（FIS）
AWSクラウドの生みの親ともいわれるWerner Vogels（ワーナー・ヴォゲルス）氏（CTO）は、これまでシステムアーキテクチャに関するさまざまな思想的支柱を打ち立ててきました。
中でも印象的なものが、「Everything fails all the time.」、つまり、「すべてのハードウェア、アプリケーションは必ず朽ち果てるものであり、開発者はそのことを前提にシステムを設計しなければならない」、というものです。
今回のAWS re:invent2020において、12月15日にWerner Vogels氏によるKeynote（基調講演）が氏の地元であるオランダのアムステルダムから配信されました。このKeynoteは、まさに「Everything fails all the time.」に基づいた原点回帰、そして革新的な進化へと向かう発表となりました。
その内容こそが、次に紹介する「AWS Fault Injection Simulator（FIS）」です。
AWS Fault Injection Simulator（FIS）とは
AWS FISとは、可用性向上アプローチ「カオスエンジニアリング（chaos engineering）」をフルマネージドで提供するサービスです。
カオスエンジニアリングとは
カオスエンジニアリングとは、動画配信サービスを提供するNetflixによって確立された、耐障害性向上アプローチの一つです。わざとシステムに障害を発生させ、障害に対するシステムの挙動を確認するというループを繰り返すことで、システム障害への対策を強化していく、逆説的なセキュリティ手法です。
AWS FISにおいては、このカオスエンジニアリングをAmazon EC2やAmazon ECS/EKS、Amazon RDS（今後ニーズに応じて対象サービスを拡大予定）で実行中のワークロードに適応させて、さまざまな障害からの対策能力を高めています。
AWS FISの動き
①実験テンプレートをテスト環境に注入
AWS FISでは、サーバーの遅延やデータベースエラーといった、いわゆるシステムの障害（Fault）を「実験テンプレート」として事前に作成します。
AWS FISが実装するシステム障害の内容としては、以下が挙げられます。
・サーバーの速度低下
・サーバーの障害
・データベースアクセスエラー、またはそのクラッシュ
作成したテンプレートはテスト環境に注入（Injection）され、シミュレーションが実行されていきます。
②システム障害が行き過ぎないように保証
AWS FISは実験が行き過ぎないようにすることを保証しており、特定のパラメーターに達するとテストが停止され、システムは通常に戻ります。
AWS FIS誕生の背景
AWS FIS誕生を語るために、AWS GameDayを実装した元レスキュー消防士のJesse Robbins氏（ジェシー・ロビンズ）の功績について触れてみましょう。
AWS GameDayが示した障害対策という「火消し」
AWS GameDayとは、チームでポイントを競い合う対戦型のイベントです。AWS上に構築された各サービスを改善したり、障害に対応したりすることで、各チームはポイントを稼いでいきます。逆にサービスがダウンしているとポイントが減少するため、参加したエンジニアたちは自分たちの知識を集約して、障害に対応しなければなりません。
Robbins氏の目標は非常に単純明快でした。すなわち、「炎との戦い」でその感覚が訓練されているように、エンジニアリングチームに災害時の対処方法を直感的に理解させることを目標としたのです。
GameDayでは、あらゆる障害があらゆる側面から同時多発的に発生し、障害に対処しようとするたびに新しい問題が発生するという極めてハードな状況下で進行していきます。当然、エンジニアのストレスレベルは規格外となりますが、Robbins氏の狙いは、まさにそこに存在する心理的効果でした。つまり、GameDayに参加したエンジニアは、GameDayを通じて、大規模な混乱が発生するという事実を受け入れる能力を身に着ける、ということです。
Robbins氏は、周りのすべてが燃えて崩壊しているという事実を受け入れること、それこそがエンジニアにとって非常に重要であるとし、それを経て自分の考えや知識を集約して、最終的には「火を消す」ことができると指摘しています。
GameDayだけでは、企業全体で障害対策に取り組めない
さて、GameDay導入後、従来のテストと検証では注意を払わなかったアーキテクチャ上の問題とボトルネックが完全に明らかになりました。
しかし、予想外の障害に対応するというGame Dayの特性上、同イベントに関する情報は非常に漠然とした方法で提供されるため、参加者はこのイベントの準備を十分に行うことができません。そのため、企業全体で取り組むことは難しく、企業としては、大惨事を防ぐ個々の手段が重視されていきました。
AWS FISによって、さまざまな企業が「カオス」に取り組めるように
そこで、このAWS FISが誕生しました。AWS FISを使用すると、予想し得る大規模システム障害＝「カオス」が生じても、その裏側で通常作業が可能となるのです。
つまり、AWS FISによって、あらゆる規模のエンジニアリングチームがグローバルインフラストラクチャの混乱を解決するための、極めて効果的かつ実践的なトレーニングを行えるようになる、ということです。
「カオス」によって創造を生むAWS FIS
わざとシステムに負荷をかけること、それは破壊であり混沌を招くものと誰しもが思います。しかしながら、そこからより弾力性のあるシステムが創造され、それが進化の礎となること、これこそがカオスエンジニアリングの存在価値であり、AWS FISの真骨頂といえるのではないでしょうか。
注目のサービス③ Amazon Lookout for Vision
機械学習による異常検知の必要性
AWS 2020 re:Inventでは、工業や製造業のユーザーが、業務効率や品質管理向上を図ることのできる５つの新しいサービスを発表しました。各サービスは、機械学習とセンサー解析、コンピュータビジョンを複合的に活用したもので、セキュリティや職場の安全性を向上させるために極めて有効な包括的サービスとなっています。
本記事では「Amazon Lookout for Vision」を中心に、各概要をわかりやすく簡単にまとめています。
Amazon Lookout for Vision とは
Amazon Lookout for Visionは、フルマネージドの異常検知サービスです。主に製造業、製薬、半導体業界が利用することを想定されており、、製品の異常や欠落部品、物体画像の違いなどを簡単に特定できるようにします。
より早い段階で運用コストを削減し、品質を向上させてくれるツール
企業は生産サイクルの初期段階で、欠陥を検出することを求めています。スクラップや手直しを最小限に抑え、手作業を削減することで、製品の品質を向上させ、運用コストの削減につなげるためです。
より早い段階で欠陥を検出するために、Amazon Lookout for Visionには、大きく2つのメリットが存在しています。
メリット①「30枚」の基準値だけで、評価してくれる
作業環境の変化によってカメラアングル、ポーズ、照明などが変化しても安定して対応可能です。基準値となる「合格画像」をわずか30枚提供するだけで、機械部品や製造している製品を評価してくれます。
メリット②インターネット環境が整っていなくても稼働する
Amazon Panorama Appliances上でも稼働するほか、2021年初頭からは、Amazon Lookout for VisionをAmazon Panorama AppliancesやほかのAWS Panoramaデバイス上でも実行できるようになるため、インターネットの接続が制限されている、あるいはまったく接続できないところでも活用できます。
そのほかの関連サービス
前述のとおり、AWSは「産業用に特化した5つの新しい機械学習サービス」は、「未来志向のスマートな工場の立ち上げに大きく寄与するであろう」とも述べています。
ここで、Amazon Lookout for Visionに関連するその他の４つのサービスの概要を紹介していきます。
Amazon Monitron
Amazon Monitronは、振動や温度の変動に基づいて、機械が正常に動作しているかどうかを検知する、エンドツーエンドの機械監視ツールです。ユーザーは、機械学習主導の予測メンテナンスシステムを構築する際のコストと複雑さを削減し、コアとなる製造、サプライチェーン、オペレーション機能に集中することができます。
「Monitronセンサー」（振動や温度データを取得するIoTセンサー）、「Monitronゲートウェイ」（データを集約してAWSに転送するためのゲートウェイ）、「Amazon Monitronサービス」（機械学習を活用した異常分析のためのクラウドサービス）から構成されており、機械学習やクラウドの経験がなくても、機器の異常パターンを検知して「数分で」結果を提供可能です。
モーターやポンプなどの回転機器、コンベアベルト上、あるいは、冷却ファンやウォーターポンプのような少数の重要な機械、大規模な産業用設備など、さまざまな産業用機器を監視することができます。
また、各機械に異常があれば、アラートを受け取ることも可能です。機械の健康状態を確認し、メンテナンスのスケジュールを立てる必要があるかどうかを判断できます。さらに、アラートの精度にフィードバックを入力することもできます。
Amazon Lookout for Equipment
既存センサーからAWSにデータを送信して、機器の異常行動を検知するための予測値を返してくれるのが、Amazon Lookout for Equipmentです。既存のセンサーを持っているが機械学習モデルを自身の環境に構築したくないユーザーは、Amazon Monitronではなくこちらのサービスを利用するとよいでしょう。
センサーデータを分析し、正常なパターンや健全なパターンを評価し、ユーザーの環境に合わせてカスタマイズされたモデルを構築することが可能です。ただし、データ内容の自由度が高い分、送信する際の設定はユーザー側で行わなければなりません。
AWS Panorama Appliance
AWS Panorama Applianceとは、既存のカメラにコンピュータビジョンを追加することができるデバイスです。たとえば、製造ラインにすでに設置してあるカメラで、部品を識別したり、作業員がヘルメットを着用しているかどうかを確認したりするといったことが、このデバイスで実現できます。
また、AWSのマシンラーニングやIoTサービスと統合されているため、カスタムマシンラーニングモデルの構築やビデオストリームの分析にも利用できます。さらに、AWSのマシンラーニング機能をエッジまで拡張し、信頼性の高い接続がない現場でも、ローカルで予測を行うことが可能です。
Panorama Applianceは、AWS またはサードパーティが事前にトレーニングしたコンピュータビジョンモデルを使用して作動します。さらに、Amazon SageMakerで開発されたコンピュータビジョンモデルをデプロイすることもできるのです。
AWS Panorama Software Development Kit（SDK）
AWS Panorama Software Development Kit（SDK）により、ハードウェアベンダーは、エッジでコンピュータビジョンモデルを実行できるカメラを構築することができます。つまり、カメラメーカーがAWS Panorama Applianceと同じ機能を持つカメラを開発できるようにするための開発キットです。
Amazon Lookout for Visionの料金について
Amazon Lookout for Visionは従量課金制です。学習と推論それぞれにかかる時間で、料金が算出されます。
学習にかかる料金の計算
Amazon Lookout for Visionの場合、学習時には3つの異なるアルゴリズムが並列で稼働します。そのため、「学習にかかった時間×3（利用されるアルゴリズムの数）」の料金がかかります。
たとえば、学習が30分で済んだとしても、実際には3つのアルゴリズムが同時に使われているため、請求されるのは「30分×3＝1.5時間」分です。
単純な「学習にかかった時間」分だけの請求ではないので、注意しましょう。
推論にかかる料金の計算
推論にかかる料金は「プロビジョニングしたユニット数×使用時間」となります。ユニットが動いている限り、異常を検出していないときでも課金されてしまいます。不要の場合はユニットを停止するよう注意が必要です。
Amazon Lookout for Visionで、コンピュータビジョンのハードルを越える
コンピュータビジョンによる異常検出ソリューションは、機械学習モデルの構築、デプロイや、それらを管理する高度なスキルをもつデータサイエンティストチームが必要とされてきた、ハードルの高い分野のものでした。Amazon Lookout for Visionは、そんなハードルを越えられなかったユーザーを強力に支援するように発展していくでしょう。あらゆるトライアルのサイクルを通じたユーザーからのフィードバックによって、より多くの知識が得られ、システム性能が向上していくことを期待します。
富士ソフト アマゾン ウェブ サービス (AWS)のご紹介
