サンフランシスコのシュトゥーロタワーを体験する没入型ガウススプラットの世界が話題に
引用元：https://news.ycombinator.com/item?id=43120582
同じ作者の『Tunnel Vision: An Unauthorized BART Ride』をおすすめするよ。めっちゃ良いドキュメンタリー映画で、YouTubeで無料で見れるよ。
電車が動き始めた時に頭に浮かんだのが“Good morning, and welcome to the Black Mesa transit system”だよ。
90年代の子どもとして、これが当時の未来予想の通りの“サイバースペースの博物館”の一例だと思う。夢を続けてくれてありがとう！
俺もそう思った！開いた瞬間、Encartaの3Dバーチャルツアーを思い出したよ。
人工博物館プロジェクトにも興味あるかも。色んな場所にそのサイバースペースの夢が実現されてるから！
これと似た感じのもので1980年代のDomesdayプロジェクトが思い出される。1986年に出たもので、静止画像をクリックして移動するだけだったけどね。
昔、ラジオ技術者の友達に西脚のエレベーターで上に連れて行ってもらった。小さくて圧迫感があったけど、景色は最高だったよ！
これを自分で作る方法をもっと詳細に知りたいな。自分のスプラットを有名な場所のコラボライブラリに貢献したいし、インタラクティブなものをWikipediaに追加できそう！
https://reddit.com/r/GaussianSplatting/ では、このテーマについて少しずつ話してるね。また、https://radiancefields.com/ は最新の進展を報告しているよ。
詳しくはツイッターのスレッドで少し色付けしたよ。
こちらにコメントのリンクがありますね。
最初の投稿だけ表示されてて、それ以降のスレッドが読み込まれないみたい。
俺は普通に動いてるよ。
フォトグラメトリーと同じ流れで、たくさんの画像や動画を撮影して、SOTAのガウシャンスプラッティングツールに統合する感じかな。
試せるアプリがあるよ。https://scaniverse.com/で、スマホのGPUを使ってスプラットするんだ。
サンフランシスコってほんと美しいな。なんとも言えない静けさがあるんだ。南から電車で来るときの霧が丘を流れる様子とか、スートロの景色とか、塔の近くのユーカリの木のトローブとか。これがその静けさを捉えてる。
著者のVincent Wooは霧の素晴らしいタイムラプス動画もいくつか持ってるよ！<a href=”https://www.youtube.com/playlist?list=PLXhk-g2kj99k6FMp2tZ2X…”>ここから見れるよ。
メタバーススタンダードフォーラム、最近ガウシャンスプラッティングについて活動があったらしいよ。標準化が早すぎるかどうか議論中。3月5日にニアンティックとセシウムの講演者を迎えたタウンホールがあるみたい。詳しくはこちら。他の関連トークもあるよ。
それすごい！2009年頃に、スートロタワーの展望スポットからデジカメで高解像度の写真をたくさん撮って、Microsoft Photosynthで合成したら、驚くほど高解像度のポイントクラウドができたんだ。再びその結果を見たいな。こちらを参照。
塔からのギガピクセル画像がリリースされたって。ここでチェックしてみて。
素晴らしい作品だね。今まで体験した中で一番いいガウススプラッティングだわ。特に遠くの物体や空の表現が素晴らしかった。VRモードに切り替えた時に気づいたことが多くて驚いた。 Sutro Towerのアンテナは、10のテレビ局、3つのFMラジオ局、そして法律執行機関やタクシー、学校バス、無線インターネットなど20の通信ユーザーに利用されてて、ベイエリア全体に信号を送信してるんだ。 Sutroがまだ現役のラジオ塔だって考えたこともなかった。SFのランドマークだから、もう廃止されたもんだと思ってたよ。 すごい体験だった。昨晩MQ3で試したけど、あれだけフォトリアルなものは初めてだ。ただMQ3がパンクしそうになって、リアルに部屋が透けて見えたくらい。座って始めればよかったけど、低フレームレートと不正確な地平線で転倒の危険があった。 投稿ありがとう！本当にクールなプロジェクトだね。スプラット体験とその方法論を共有してくれて感謝！ 2023年5月にレベル6で30分過ごす特権があったけど、想像以上に素晴らしかった。少しでも高所恐怖症があるなら、全体が悪夢になるかも。 どうやってその機会を得たの？ サンフランシスコで放送テレビの仕事をしてて、上の施設のメンテナンスを担当しているエンジニアと親友なんだ。10年も前から行こうって話してたのに、やっと実現したよ。 すごくクールだけど、幾何学的な小さなクセで”アンキャニー・バレー”を感じるのが気になる。こういうスプラットを自動で3Dモデルに変換する後処理ステップがあったらいいな。 これは最近の論文にある凸スプラッティングのアイデアに近いね。凸形状を使って、実際の3Dオブジェクトを近似する方がガウスよりも適しているかも。 すごいね！これは面白い作品だね！ Meta Quest 3はすごい負荷がかかるね。動画が15秒遅れて、没入感がすごくズレるし、ほんとに倒れそうになる。見た目はめっちゃ綺麗なのにもったいない！ 不思議だね。Intelの統合グラフィックスだと全然問題なくて、15〜20fpsでもすぐ始まるし、反応もいいよ。 悪いのはどっちなんだろうね？Meta Quest本体かな、ウェブサイトの3D実装かな？古いノートパソコンでは問題ないし。 QuestのSnapdragon GPUはタイルレンダリングの設計だよ。ガウシアン・スプラットの描画はその設計にすごい負荷がかかるからね。動かすために必要なオーバードローやアルファブレンディングが多くて、モバイルGPUには厳しいんだ。構造的な問題だよ。 でも、Metaの技術デモではQuestプラットフォームでもすごい映像が描ける可能性があるってことだね。 Questは性能不足で、基本的にミッドレンジのAndroidフォンみたいだね。もっと効率的なコーディングか、簡単なモデルにすれば助けになるよ。Scaniverseの中では良いフレームレートを出してるけど、モデルは簡素で見た目がイマイチなんだ。 見た目がめっちゃ素晴らしいし、iGPUでもサクサク動く感じがする。魔法みたいだね。カメラを動かすとオブジェクトがちらつくのはなんでだろう？近寄ると表面が透けるのも気になる。 これはほんとにクールだね。ガウシアン・スプラッティングの技術が特定の視点からリアルに見える印象を与えてる気がする。しばらくはGoogle Earthより見た目がいいかも。 これ最高だよ！数年前に引っ越してからSutro Towerに魅了されてる。アンテナが何のためか見えるのもいいね。 めっちゃキレイ！映像と音楽の組み合わせが懐かしい気持ちにさせてくれた。昔働いていた街にしばらく行けてないから余計にね。 同じ気持ちだった！素晴らしい作品だね！ これすごい！生物や文化のキャプチャーに使うものを作ってるんだけど、JSデコーダーについて詳しく教えてくれない？Playcanvas Reactと一緒に使えるかな？ これをアップストリームに持っていこうとしてるから、PlayCanvasが今後話題にすると思うよ。参考になるのはCPUデコーダーのこちら：https://github.com/vincentwoo/blog/blob/master/3d/sutro_towe…、GPUデコーダーのはこちら：https://github.com/vincentwoo/blog/blob/master/3d/sutro_towe…。フォーマットの詳細はここで確認してね：https://github.com/nerfstudio-project/gsplat/blob/main/gspla…。 このアプリはPlayCanvas Web Componentsで作られてるよ：https://github.com/playcanvas/web-components/。PlayCanvas Reactと似てるけど、完全にWeb Componentsベースの構造なんだ。両方のフレームワークで同じスクリプトが使えるよ。 これってReactのリリース前から作業してたのかな？それともWeb Componentsを選んだ特別な理由があったの？リアルタイムデータを取り込んでXR/ARができればいいなって思ってるけど、HTML/CSS/JS以外はあまり詳しくないんだ。 もしTunnel Vision（同じ作者）がまだ見てなかったら、ぜひ観てみて。ほんと素晴らしいプロジェクトをやってる人だよ。 BARTの前面からの動画は結構退屈だけど、良い動画だよ。アルプスを走る機関車の方が面白いよ。 文脈が内容を定義する。 ん？ いいね！ おい、俺のサインは何て書いてある？ 大都市から始めて、どこでも高品質なガウシアン・スプラットを生成するのはどれくらい現実的かな？最終的には、現実の場所でゲームやインタラクティブ体験ができるといいなと思う。Microsoft Flight Simulatorみたいにドローンで飛ぶことから始められるはず。ただ、訓練用AIにとってリアルなシナリオを生成するのには役立つかも。 衝突処理はスプラットデータから逆算するのはそんなに難しくないと思う。高品質なスプラットがどこでも見られるのは、今後10年で実現するんじゃないかな？スケーリングやLoD、ストリーミングの問題は未解決だけど、早期の研究は promising だよ。 スプラットデータと衝突についてのリソースを教えてくれない？特に植物のスプラットデータからの測定に興味があるんだ。薄い葉っぱのような平面を他の手法よりもよく再構築できるから。 Street ViewではNeRFがもう使われてるよ。（NeRFはガウシアン・スプラットに似てるけど、異なるレンダリングのトレードオフがある）https://blog.google/products/maps/sustainable-immersive-maps… カメラの角度を変えずに上下に動ける機能があったら良いと思う。これなら、マウスの右ボタンでパンするよりもずっといい解決策だ。 QとEを使うと上下に動けるよ。 おもしろいね、どのブラウザ環境でやってるか教えてくれる？ Firefoxでも同じエラーが出てるんだよね。 ありがとう、今修正中だよ。 サンキュー！今はめちゃくちゃうまくいってる。 チームと一緒に働いてたから偏見あるけど、SnapがPlayCanvasを買収したのは本当に評価されていないと思う。素晴らしい技術だ。 R/Cドローンがあんなにアンテナに近くで飛ぶのにびっくりだわ。100,000ワットを超えると周波数の違いはあまり関係ないんだな。 すごくクールだね、よくやった！ SFの上からのインタラクティブなビューずっと探してた。SFの立体感を体験したいし、いろんな丘がどうなってるのかも見たい。Google MapsやEarthでは物足りないから、全体の街のがあれば教えて！ イースターエッグが見つからないんだけど。ヒントくれる？ :) タワーの最上部をよく見てみて！ :) 上のガントリーから手を振ってる奴のことかな？ これ素晴らしいけど、マウスルックを実装してほしい！そうすればもっと没入感が増すし、FPSの操作の標準になるから。 右クリックで視点移動できるんだね。 なるほど、トラックパッドのマルチタッチジェスチャーでもできるけど、ホントはもっと視点移動したいな。ポインターキャプチャAPIで制御できるけど、ぜひやって！ AndroidのChromeだと全く動かなくて、アバウトダイアログが超遅く表示されてる。テキストもレイアウトし直してるし、”小さな立方体”が見えないし、アバウトダイアログを消す方法もない。バックグラウンドは気になるけど、もっとテストが必要かも。 ＞>アバウトダイアログを消すにはマージンをタップって、驚き！ コンソールエラーは出てなかった？AndroidのChromeでかなりテストしたよ。 モバイルでコンソールエラーを見る方法が分からないな。リモートDevツールなしで。今日再試したけど遅いけど、今回は操作できたから面白かった！Pixel 8のChrome 113。 2年半前のOnePlus Nord 2Tで両方のブラウザで動いたよ。フレームレートは高くないけど、普通に使える。結構古いミドルレンジの電話でも十分だね。 Nothing Phone 2で超快適だった！あなたはどの電話使ってるの？ AndroidのChromeで普通に動いた。Pixel 7なんだけど。 ここでの詳細レベルの制約は何なの？元データ（解像度低すぎるカメラや遠すぎる）、処理の制限、リアルタイムでのブラウザ描画のいずれ？これはフルディテール、それともウェブ用にダウンサンプリングされたバージョン？ 元画像の処理とアライメントが問題だと思う。 背景音楽がNina Nesbittの曲’On The Run’と完璧に合ってて、サイトを開いたときに流れてたんだけど、全然背景音楽があることに気づかなかったよ。もっとコメントを表示（1）
もっとコメントを表示（2）
もっとコメントを表示（3）
