2022-01-24 (月)
眠い…….
WebRTCのリモートデスクトップでマウスイベントをデータチャネルで送れるようにしてみる.キーボードは,Oculus QuestでBluetoothキーボード使うよりPCのキーボード使う方が楽なので後回し.ブラウザからはマウスをコントロールできないので,ホスト側でマウスを操作するデーモンを起動しておくようにする.
Goからマウスやキーボードを操作するのgo-vgo/robotgoが良さそうだけどCgo使ってるのでビルドが少し面倒.Windowsの場合は lxn/win やkbinani/win とかを使って直接Win32 APIを呼んだほうが無難かも.
マウスの操作はウインドウ単位にするのは難しいので,Screen Capture APIでデスクトップ全体をキャプチャしてるのか知りたいのだけど,VideoTrackのラベルから推測するしかなくて自動的に設定するのは難しそう. (参考: https://zenn.dev/mima_ita/articles/c8d0b3f5e0e424) Chromeだと謎の数字が入ってるけど,ウインドウハンドルに変換できたりするんだろうか.