速報 Google Geminiがオンプレミスで利用可能に！自社データセンターで動かせるってマジ？
引用元：https://news.ycombinator.com/item?id=43632049
Googleからの発表だよ: https://cloud.google.com/blog/products/ai-machine-learning/r…
ハードウェアがGoogleのTPUじゃなくてNVidiaのBlackwellなの、マジ面白いね。ってことはGoogleはエネルギー効率とコストで有利になる可能性があって、独自のハードウェアを他の人が使えないようにするってことかも。
第三者のためにTPUハードウェアを構築するビジネス（設計、構築、販売、サポートなど）全体を立ち上げるのは、クラウドでTPUに対する需要が溢れている現状では、おそらく割に合わないんだろうね。自社でハードウェアを実行する企業は、より一般的に役立つCUDAを好むだろうし。
この理由の一部は、顧客がCUDAを利用できることを好むためだと思われるよ。TPUは多くのユースケースで優れているけど、顧客はCUDAをターゲットにすることの移植性を好むんだよね。
TPUが優れているユースケースってどんなの?
Geminiモデルの実行とか。
推論にCUDA対応デバイスを使用するメリットって何?
俺の理解だと、CUDAは小さいバッチとかジョブで有利だけど、TPUは大きいジョブで有利なんだよね。CUDAの方が使いやすくて、典型的な小さいワークロードに適してるんだ。ある時点から大きいMLの負荷とか推論になると、TPUの方が理にかなってくるんだよね。
＞ not Google TPUs
供給が限られてるんだよね。Google自身も自社で使う分が足りてないんだ。
GoogleはTPUを第三者に提供してないよね？もし提供したら、リバースエンジニアリングのリスクがめちゃくちゃ高くなると思うんだけど。
マジで？現代のチップのリバースエンジニアリングは簡単じゃないって。できる会社は最初から自分で設計できるし。でも、最新プロセスでテープアウト（デバッグ済み）するのはめっちゃ金かかるんだよね。
US政府と軍のために、外部ネットワークから遮断されたair gappedソリューションを許可してもらうことに力を入れてるってことは、何かあるんだろうね。
詳細はちょい薄いけど、これって暗号化されたGPUを使うconfidential VMが必要になるのかな？（それに、誰かがSEV－SNPとTDXをクラックして、海賊版コピーが広まるまでどのくらいかかるんだろう？）
モデルの進化のペースを考えると、裏ルートを行くメリットは長くは続かないはず。何か見落としてるかな？
独自のトレーニングデータへのアクセス：Search、YouTube、Google Booksが参入障壁になるかもね。
Common Crawlがあるじゃん。LLMのトレーニング用にスクレイピングされたウェブデータで、非営利団体が無償で提供してる。
Common CrawlはLLMの出力でどんどん汚染されていくから、LLMの出力が少ないトレーニングデータの方が貴重になるだろうね。
よくある誤解だよね。LLMのゴミをフィルタリングするのは、人間のゴミをフィルタリングするのと大差ないよ。むしろ、LLMが生成した出力の方が、ネットでランダムに見つかる人間のテキストより質が高いことが多い。最新のLLMがLLM自身が生成した合成データをますます多く使うのも偶然じゃない。人間のデータだからって価値があるわけじゃない。大事なのはデータの質だけ。ネットはゴミだらけだから、何らかの方法でフィルタリングする必要があるんだよ。
でも、人間のゴミをフィルタリングするシグナルと、LLMのゴミをフィルタリングするシグナルは違うんじゃない？LLMが生成するテキストは一見高品質に見えるけど、事実に反することがある。例えば、LLMは適切にフォーマットされてて、ドキュメンテーションやコメント、テストまで含まれているコードを生成できるけど、存在しないライブラリを使ったり、論理的に間違ってたりする。
LLMの出力は、LLMの出力でトレーニングされたLLMがモデル崩壊を起こす可能性があるから、特に有害なんだ。
＞https://www.nature.com/articles/s41586-024-07566-y
LLMってマジで人間の比じゃないくらい大量のゴミデータ生成するから、フィルタリングが全然追いつかないって問題があるんだよね Google BooksとLibGenの違いってどこかにまとまってないのかな？Google以外のモデルってLibGenで学習してるのがほとんどだと思うんだけど 自宅にこのモデル動かせるだけのハードウェア持ってる人ってマジで少ないと思うし、企業がリークするリスク考えたら、まずありえないんじゃないかな 一般ユーザーのことなんて、マジでどうでもいいと思ってるでしょ たった1社がリークするだけで終わりよ ハッキングされてリークされるパターンもあるよね 現実的に考えて、このサイズのモデルを動かせるのは大企業だけだよね。訴えられるリスク考えたら、許可なしにモデル使うとかありえないでしょ いやー、まだAIにアホみたいにお金突っ込んでる非テック企業とか、セキュリティ意識低い企業とか、ランサムウェアの標的にされてるとことか、マジでデータセットがリークされる可能性あると思うよ。小売とか消費者向け製品の会社とかね。（セキュリティ弱い非西洋の政府とかも） 国家レベルの話だよね Mossadみたいな政府系の組織もあるしね。エアギャップとかスパイには通用しないし。訴えるとか無理ゲーでしょ ハッキングされて、うっかりデータが漏洩しちゃうかもね。 ＞SEV-SNPを誰かがクラックするまでどれくらいかかるかな。 ウォーターマーク付きのモデルの重みと、モデルをリークした場合の多大な責任を想定してるんじゃないかな。 これって、連合学習を通じてモデルを強化するのにすごく良い方法かもね。 連合学習のインターンしてたんだ。シミュレーターで色々な連合アルゴリズムを実装して、意味のある方法で比較するタスクだった。最後に実装するはずだったのがFedMA。あれはマジで鬼畜。問題を解決するたびに別の問題が2つ発生して、上司も助けてくれなかった。異なるネットワークでニューロンをマッチングさせるってのは理にかなってるけど、近似コストの計算方法が難解すぎて理解できなかった。 オンプレミスにデプロイする一番の理由は、Googleとかの“学習”から完全に隔離することじゃん。 それがプライバシー保護の仕組みのポイントでしょ。複数のクライアントに共通することしか学習できないはず。個人のデータはノイズで隠されるから大丈夫。 いやいや、そこじゃないんだよ。弁護士はプライベートデータを使った“学習”なんて絶対に許可しないって。法的な助言がなくても、企業は対価なしにそんなことするほどバカじゃないでしょ。 なんで的外れなの？最初は弁護士もクラウドストレージに反対するかもしれないけど、クライアント側で暗号化されてるって説明すれば変わるかもよ？報酬は「Googleから安いレートでサービスを受けられる」とか「エアギャップされたサービスは対象外」とか色々な形がありえるし。 大事なのは、このシステムがインターネットに接続されてないとダメってこと。そうなると、オンプレミスでホストするのとGCPでホストするのと、データ流出しないってGoogleが約束してくれる以外、大差ないじゃん。Googleを信用してればね。信用できないなら、自社ホストでエアギャップするしかない。 これって明らかに政府の契約狙いだよね。でもGoogle Distributed Cloudを普及させるにはアリかもね。 オンプレミスのデータセンターをたくさん使ってる金融機関はマジで喜ぶと思う。うちの会社はまだクラウドは使ってないんだよねー。自社ビルに6つもデータセンターがあるし、それ以外は全部コロケーションのラックで動かしてる。 インターネット回線はどこ？ ＞金融機関ねー。 そうかなー？俺の知る限りGCPは機密ネットワークの承認はまだ取れてないはず。そこが一番難しいんだよね。Azure OpenAIはもう1年以上前から政府ネットワークでの稼働が承認されてるのに。これは規制の厳しい業界、特にバイオ医薬品の顧客獲得を狙ってるんじゃないかな。 ＞Google Cloud Nextでの発表によると、Google Public SectorのGoogle Distributed Cloud Hosted (GDC Hosted)が、米国情報コミュニティのTop SecretとSecretミッション、そして国防総省(DoD)のTop Secretミッションでの利用を許可されたらしいよ！ FedRAMP Highの認定を取るのが、アメリカ政府相手にするならマジで重要。GCPのサービス範囲は意外と広いんだよね、この分野。 Googleのブログによると、GDCのエアギャップ製品はアメリカ政府のSecretとTop Secretミッションで承認されてて、Geminiも使えるらしい。セキュリティとコンプライアンスは最高レベルだって。 銀行業界も同じだね。こういうのずっと探してたんだよ。Googleは需要があるって判断して、OpenAIとかAnthropicがサポートする人員を確保できないうちに参入を決めたんじゃないかな。 これって明らかに政府の契約狙い撃ちじゃん？別に会社のデータをあちこちにばら撒きたくないのは、政府機関だけじゃないって。 めっちゃ秘密主義の会社は別として、セキュアなプライベートクラウドが絶対必要で、投資する価値があるってなるのは、政府機関とか、政府関連の規制が厳しい分野だけだよ。 えーと、すぐに思いつくのは、医療とか、銀行とか。 どっちも政府の施設が求めるレベルの秘密性には全然届かないよ。医療とか銀行は個人情報漏洩しまくってるのに、マジで何のペナルティも受けてないじゃん。 ただの個人的な話はデータじゃないから。 医療とか銀行は、ちゃんと基準満たしてれば、第三者のデータセンターにデータ置くの全然問題ないよ。 医療関係でFedRAMPとかマジでいらないから。 付け加えると、オンプレミスって10～20年前より10～100倍くらい楽になってきてるんだよね（それでもまだ難しいけど）。「自分のデータセンターで動かしたい」ってのが、F500みたいな大企業だけじゃなくて、もっと小規模な会社でもできるようになってきてる。 え？20年前はオンプレが当たり前で、クラウドなんてなかったじゃん。 そうそう、AWSは2005年にプライベートベータで、2006年に公開されたんだよね。存在は知られてたけど、まだアクセスできなかった人が多かったんだよ。https://www。zdnet。com/article/how-amazon-exposed-its-guts-th… どっちも規制まみれで、それが必要になってるってことだよね。 MicrosoftのCopilotと戦うことになるね。 これってSundarがGoogle Cloudに強制したのかな？それともGoogle Cloudがやりたかったことなのかな？一見、Geminiを自社展開できるようになったら、Google Cloudの収益が減るように見えるけど。でも、完全に損をするわけじゃないよね。だって、Google Cloudはまだ何らかの基盤技術を提供してるはずだし？それに、オフプレミスなんて考えもしない顧客もいるだろうし。 Google Distributed CloudはCloud orgの一部だから、どっちにしても収益は入るんじゃないかな。オンプレ版の方が高くつくかもしれないし。 DeepSeekみたいにできるのかな？それとももっと複雑で高価になるのかな。そんなの欲しい人いるのかな。 絶対欲しいって人はいっぱいいるよ、特に金持ちはね。AIを導入する企業が一番心配してるのは、どんな用途でもデータがネットワークから出ていくことなんだ。特に（でもそれだけじゃないけど）EUではね。 Deepseekはただのモデルの重みだよ。ネットワークアクセスは必要ないよ。 DeepseekはGemini 2。5 Proとは比較にならないよ。 DeepSeek-R2は…どうなんだろうね。 Deepseekを使いたい人は、この製品の顧客じゃないんだよね。Deepseekはサービス契約を提供してないし。 Googleがこれをやるのに、TPUを他のデータセンターに売らないのはマジで謎。Nvidiaの時価総額を見れば、どれだけチャンスを逃してるか分かるはずなのに。 考えられる理由は、TPUを秘密のソースだと思ってるか、長期的なサポートをしたくないか、製造能力がないかのどれかじゃないかな。 間違いなく3つ目だね。GPUはまずGoogle自身のコンピューティング需要を満たす必要があって、それからじゃないと販売できない。トレーニングとか推論とかめっちゃやってるし、社内需要も高いから、余分に製造するのは難しいんじゃないかな。特に利益を出すのはね。 Googleは兆ドル企業だよ？チップ工場を作る資金調達に困るわけないじゃん。本気でやりたいならできるはずだけど、リーダーシップがないから無理なんだろうね。今の政治情勢なら、工場を建てればすぐに許可が下りるだろうし。なのに、なんでやらないの？ 工場を建てるのはほぼ無理ゲー。TSMCにお金を積んでも、他の会社も同じことするからね。 TPUは垂直統合されてるからね。もしGoogleがNvidiaやTSMCと競争すると言い出したら、投資家としてはリーダーシップがコアコンピテンシーを見失ったと思うだろうね。1000億～2000億ドル以上も投資して対等になろうとするのは、資金の無駄遣いだよね。自社のジョブのためにキャパシティを増やせば、余った分を顧客に提供できるんだし。 ハッカーがウェイトを盗み出すリスクってどれくらいあるんだろう？ CPUベースの暗号化を使ったコンフィデンシャルVMを使えば、かなり低いと思うよ。Xboxが10年間ハッキングされてないのと同じ。 海賊版ゲームとか、マルチプレイでチートやボットを使ったりとかかな。 これ結構すごいんじゃない？air gapped productってことは、どこかの政府に提供する場合、担当者が新しいweightsをロードするためにVMにSSH接続する必要があるってことだよね。でも、weightsに工夫を凝らしたり、watermarkを入れたりする方法はたくさんありそう。 銀行で働いてるんだけど、プライバシーの問題でAIの使用が禁止されてるんだよね。こういう製品には大きな市場があると思うよ。もっとコメントを表示（1）
https://bughunters.google.com/blog/5424842357473280/zen-and-…
https://federated.withgoogle.com/もっとコメントを表示（2）
＞ってことはTier 1とかTier 2の業者と直接光ファイバーで繋がってるってことじゃん。大手のところはNYSEと直結してたりするし。
＞自前で回線引いてないなら、BT RadianzとかIPC Systems、Colt Technology Servicesとか使ってるんじゃない？もっとコメントを表示（3）
