自分のメモがてら、MagicLeapから提供されているUE4のExampleプロジェクトの中身をのぞいて順番に動かしていきます。
自分の主観も入っているので解釈が違っていたらマサカリください。分かり次第随時更新していきます。
Audio Capture
オーディオキャプチャサンプル。Bumperボタンで録音、停止を切り替えます。
SynthコンポーネントのAudioCaptureを使っていて、録音されたとほぼ同時にMasterスピーカから録音されたデータが再生されます。
CoarseLocation
自分の世界的な位置、緯度経度を取得して地球モデルにピンを指してくれる。
(位置情報取得を許可していないので画像では何もピンが打たれていません)
Contancts
MagicLeap内に保存されているフレンド情報の取得、表示。
(友達いないので何も表示されていません)
Controller
MagicLeap用コントローラの、ボタン、スクロールイベントなどの各種情報取得
DynamicPersistence
自分の見ている方向にRayを飛ばして衝突した位置にピンを置く。日本語に直訳すると動的持続性。
左手のジェスチャーでピンを置いて、3秒経過すると色が変わり情報が保存されます。
このピンはアプリ、デバイスを再起動しても位置情報が保持されます。
Gestures
右手と左手、それぞれのハンドジェスチャー。楽しい。
HandMeshing
認識している手にMeshをつけてくれる、または仮想的な壁に対してオクルージョン機能をいれてくれる。
(ただしく動作が確認できていないです)
ImageCapture
その名の通り画像キャプチャ、指定のマテリアルに書き込んでくれる...のですが、正しく動作が確認できず。
ImageTracking
画像追跡。認識した画像に対してピンをうったりできる。認識したことをトリガーに何かしらのイベントを発生させるのが主な使い方
当然、かなりの高負荷。毎フレームやるのは極力避けよう。
これもキャプチャを撮ろうとしたんですけど、別プロセスで既にカメラを使用しているとのエラーでキャプチャできず...。
キャプチャとトラッキングを併用するには自分で組む必要アリとのことなんですかね。
アプリ起動した状態で上記の画像を見ればどういうことかわかります。
Meshing
認識した空間をメッシュ化していく。
ワイヤフレーム
オクルージョン
頂点カラー
ポイントクラウド
Planes
平面認識
MLMCA
キーボードからのテキスト入力ができる?
Raycast
衝突検知。コントローラからのRay、HeadPoseからのRay、そしてアイトラッキングからのRayの3種類がある
VideoCapture
映像キャプチャ。イマイチ動作確認取れず
WACOM
WACOM!多分接続されたWACOMタブレットの入力情報が受け取れるんだろう。持ってないんで試せず。
終わりに
できること多いけどMagicLeapつけているとおデコ熱くなる