嘘だろ GoogleがAI分野で全勝 秘密兵器TPUがヤバすぎ
引用元：https://news.ycombinator.com/item?id=43661235
この記事、TPUのこと全然触れてないじゃん。Googleのエコシステムの外の人には、JAX + TPUがマジでどれだけ凄いか伝わってないと思うんだよね。Googleは他の大手より構造的に有利な点が多いけど、一番デカいのは、自分で計算ソリューション作ってて、それがめっちゃ成熟してて競争力もあるってこと。TPUは学習にも推論にもマジ優秀[1]、特にスケールがデカいとき。Googleは成熟したハードウェアを自分のニーズに合わせて作れるから、競争でめっちゃ有利。AI企業は根本的に「他の誰にもできないことって何？」って問に答えなきゃいけない。Googleのハードウェアの強みは、他の人が新しいモデルをHugging Faceに公開しても消えない明確な答えになるんだよね。
＞記事から引用：
＞”あっ、なんか忘れてる。そうそう、Googleはハードウェア企業でもあるんだ。GoogleはNvidiaとAIチップ市場で戦ってる（GPUへの依存をなくすためと、最終的には他の会社にチップを売るため）。調子はどう？TPUの第7世代、Ironwoodを発表したばかり。スペックはマジ凄い。Nvidia Blackwellみたいに、AI推論の時代のために作られたチップなんだ。”
追加されたのは良いけど、俺がコメント書いたとき、まだそのセクションなかったんだよね。
いや、あったよ。
thunderbird120を擁護すると、この記事の作者、途中で編集してるんだよね。https://archive.is/K4n9E 見て。最近のTPUリリースとか、TPU for allについての記述がない。
マジだ。勘違いしてた。記事を早く読んだと思ってたけど、編集された直後だったんだな。
「なんか忘れてる」ってのが、めっちゃ分かりやすいヒントだったじゃん。今回の件を教訓にして、めっちゃ確信があって、あらゆる証拠を考慮に入れない限り、人のこと嘘つき呼ばわりしないようにしようね。
え、マジ？誰も嘘つき呼ばわりしてないじゃん。間違ったこと言うのと、嘘をつくのは違うってこと、分かってない人多すぎ。
DeepSeekがオープンソースを続けると仮定すると、今後はモデルのアーキテクチャに「秘密のレシピ」はなくなるはず。データとトレーニング/Servingインフラだけが重要になって、Googleはその両方で有利な立場にいるよね。
Googleは配布の面でも有利だよねー。大規模なユーザーを獲得して、既存の収益源に結び付けることができる。Android、Gmail、Docs、Searchを通じて、リーチが広い。YouTubeもそうだけど、関連性は薄いかも。あなたが挙げた2つの要素と、潤沢な資金を合わせれば、Googleはマジで有利な立場にいる。
ここ9ヶ月くらい、GeminiがGmailとかDocs、Calendar、Keepノートのデータにどれだけアクセスして、ちゃんと使えるか試してるんだけど、マジで改善がすごいんだよね。全部がマジで使えるプロダクトになってきてて、最高。
YouTubeはマジでいい位置にいるよねー。動画生成モデルとかもあるし。AIエディターもめっちゃ出てきそう。
頼むから、YouTubeにはマジで見たい動画おすすめしてほしいわ。
個人的にはそういう悩み聞いたことないな。業界系の動画を匿名じゃないブラウザでちゃんと見てる？5個くらい見れば、YouTubeのアルゴリズムもマジでいい感じにおすすめしてくるよ。
わかる。YouTubeのアルゴリズム、マジで微妙なんだよね。いろんなジャンルとか雰囲気の動画見たいのに全然出てこない。同じチャンネルの動画を2つくらい見ると、そればっかりになるし。マジでコントロールさせてほしい。興味ある動画があっても、おすすめが偏るのが嫌で見ないようにしてる。これマジでユーザー体験として終わってると思う。
TPUが有利とは限らないと思う。15年前からあるけど、決定的な優位性はないように見える。開発費は高いし、アーキテクチャが昔のアルゴリズムに特化しすぎてるから、何度も設計変更してるんだよね。NVIDIAの方がCUDAで速いし。落ち着いたら専用アクセラレータが有利になるかもしれないけど、NVIDIAもできる。GoogleがTPUへの投資に見合う成果を出せるかまだわからない。
内部事情にどれだけ詳しいかわからないけど…TPUのおかげでGoogleの計算能力は10倍、いや20倍になってると思うよ。それに、高いNVIDIAのチップを確保するために競争する必要もないし。垂直統合の目的は、競合に制限されないようにスタック全体をコントロールすること。TPUはその重要な要素の一つ。Ads部門がTPUの一番のヘビーユーザーで、おかげでGPUじゃ無理な高価なモデルをたくさん動かせる。広告収入でTPUへの投資は余裕でペイできてる。
いやいや、めっちゃ競争してるって。チップは全部台湾の同じ工場で作られてて、キャパシティは取り合い。Googleも他の会社と同じように、製造能力とか優秀な設計者を奪い合ってるんだよ。
＞広告収入で投資をペイできてる
”昔はよく聞いたけど、コストとか収入の数字が適当だったりするんだよね。会社が儲かればいいんだけど。TPUじゃなくてGPUを大量に買った方が安かったかどうかが問題。それには機密データが必要だし、Googleが秘密取引できたかどうかの仮定も必要になる。”
＞開発費は高い
”電気代とか冷却コストもヤバいから。性能/消費電力の効率を上げればペイできる。何度も改善してるってことは、赤字じゃないってことじゃない？”
TPUはペイできるかもしれないね。特にNVIDIAのマージンがデカいし。でも、資金があるからってペイできるとは限らない。昔Googleで働いてた時、儲かるかどうかわからなくても、社内で全部やろうとする哲学があったんだよね。
Googleにいた頃、利益が出るかどうかも分からずに色んなプロジェクトに金出してたんだよねー。 Nvidiaも同じくらいの期間に同じくらいの数のチップ設計を発表してんじゃないの？ 問題は設計の数じゃなくて、アーキテクチャの安定性なんだよね。NVIDIAのチップはずっと汎用目的で、速くてパワフルになったけど、CUDAは常にどんな種類のニューラルネットワークでも実行できた。TPUは特定のNNタイプに特化しすぎてて、アルゴリズム設計の小さな進化にも対応できなかった。だからGoogleもGPUハードウェアをたくさん使ってたんだよ。 11年くらい前からあるよね。 数え方にもよるけど、親コメントは正しいと思う。ハードウェアってすぐできるもんじゃないし。最初のチップの計画と研究開発に4年くらいかかるのは普通。 間違ってたわ、皮肉なことにGoogleのAI概要を検索すると15年って書いてある。引用元の記事はTensorFlowの作成を”起源”として数えてるみたい。 Jaxを結構使ってるけど、tf/pytorchよりずっと良い。 TPU（Tensor Processing Unitsの略）はGoogleのカスタムAIアクセラレータハードウェアで、GPUとは完全に別物だよ。2015年くらいに発表されたはずだけど、Geminiでようやく効果を発揮し始めたんじゃないかな。 信じられないかもしれないけど、Wikipediaも知ってるよ。低精度、高スループットに最適化されてるって書いてあるよね。俺にはGPUに特定の最適化を施したものにしか聞こえない。 Googleの構造的な弱点はGoogleであること。 最新のBERTに拡張コンテキストを組み合わせたら、自然言語でのウェブ検索はもう解決済みだって。マジで、Googleが検索のためにやってること全部時代遅れになっちゃったんじゃない？ウェブ検索のUIは時代遅れかもしれないけど、検索自体はアツいぜ。AI全部に必要なんだから、ウェブでもローカルでもさ。モデルには最新の情報が入ってないし、記憶から確実に引用できないからね。 ポイントは、Google検索の秘密のソースはより良い検索だったってことで、さっきのコメントはそこでの優位性がなくなったって言ってるんだよね。ウェブをクロールするのは簡単じゃないけど、検索の質ほどの参入障壁じゃないってこと。 えー、マジでそうかな？ウェブのクローリングはめっちゃ参入障壁高いと思うけど。だって、すごい数のサイトがGoogleとかBing以外のアブナイクローラーをブロックしてるじゃん。例えば、Redditみたいなサイトをクロールしてみたらすぐわかるって。あっという間にブロックされて「データが欲しけりゃ金払え」って言われるよ。 Googleはリスク回避しすぎで何もできないけど、稼ぎ頭の商品を潰さないと完全に詰むよね。Googleの稼ぎ頭は関連性の高い広告だよ。LLMの出力や自然言語のウェブ検索で、関連性の高い広告を表示できるじゃん。ユーザーがGoogleのサービスを使ってれば、それが何であれ、広告が表示されてれば問題ないと思うな。あと、「ウェブ検索はもはや王冠の宝石ではなく、Perplexityみたいな回答サービスが必要とする配管」って、AIベースの製品を売ってるなら、これはマジで競争上の大きなアドバンテージだよね。良い検索結果をAPI経由でみんなに提供する必要はなくて、自社のAIジェネレーターだけで使えるようにすればいいんだから。 Kodakはデジタルイメージングの台頭から利益を得る良い位置にいたんだよー。1970年代後半から1980年代初頭にかけて、Kodakの研究所はカラーイメージセンサーのパイオニアで、当時最高の解像度のCCDを製造してたんだから。Bryce BayerはKodakで働いてた時に、事実上すべてのカラーイメージセンサーで使用されているBayer pattern filterを発明して特許を取得したんだぜ。でも問題は、Kodakには巨大なフィルム事業があって、たくさんのフィルム工場、たくさんの従業員、たくさんの幹部、そしてたくさんの経常収益があったこと。デジタルに両足で飛び込むことは、それらすべてを脅かすことになったんだ。だから、彼らは初期のリードを活かせなかった。そして今、彼らは倒産し、ブランドを第三者のバッテリーメーカーにライセンス供与するまでに落ちぶれたんだ。 良い話だね。Sonyがクラウドアーキテクチャ/デジタル配信、音楽レーベル、映画スタジオ、携帯電話、音楽プレーヤー、スピーカー、テレビ、ラップトップ、モバイルアプリ…を持ってたのに、SpotifyやNetflixを作るのを見逃したのを思い出すよ。でも、GoogleはKodakとは少し違うと思うな。規模と影響力が違うレベルだよ。GSuite、Cloud、YouTube、Androidは、Searchからのかなり大きな多角化だと思うな。Searchがまだ稼ぎ頭だとしても… 社内文化とか、不快な真実を指摘した時にどうなるかってことだよね。メッセンジャーを撃つのか、それとも彼女の警告に耳を傾けて、沈没しかけてないTitanic号の方向転換をするのか？RIM/Blackberryもそれを回避できなかった。CEOたちは給料に見合わないと思われがちだけど、そうじゃない場合もあるよね。彼らの失敗を見ると、KodakのCEOが違ってたら、あんなことにはならなかったと思うし、彼らの中にはそれに見合う人もいると思うな。 王様/CEOが偉大なら、独裁政治はうまくいく。でも、バカが王位についたら、必ず災いが起こる。違う統治システムならKodakを救えたかどうかはわからないけど、一人の男の選択が巨大な組織に災いをもたらしたとき、俺はその男を責めない。そんな間違いを犯す権力を彼の肩に置いた構造を責めるよ。 1分あたり0.5kWのコストは約0.001ドルだから、技術的にはそのレートで利益を上げられるよ。本当の問題はGPUのコストなんだよねー。2万ドルのGPUを5年で償却すると、1秒あたり0.046ドルのコストがかかるんだ。😊 Googleはgoogle.comのウェブページをAIに接続するだけでいいんだよ。もうやってるし。 GoogleってAIのあらゆる面で勝ってるって言うけど…マーケティング（Googleのチャットボットあるの？）とか、信頼性（建国の父たちが多様性に富んでたって誰が知ってた？）とか、安全性（2.5 Proのモデルカードはどこ？）とか、市場シェア（毎週ChatGPT使ってる人が世界で10人に1人もいるんだぜ）とか、あと、雰囲気（big G応援してる人いる？）とか、色々あるよねー。でもGemini Pro 2.5はマジで良いモデルだと思う。そこは認める。 Googleのソフトのせいでマジ最悪な目にあったんだよね。友達が俺のスマホでGeminiいじってたら、勝手に俺の名前をJohnだって登録しちゃって、それからずっとJohnって呼ばれるハメに。でも、それを忘れてって言っても、自動じゃ無理とか言って、保存された情報ページに飛ばされるんだけど、アプリにそのメニューがないからブラウザでURL開いて、またGoogleアカウントにサインインしろって言われるんだ。で、”問題が発生しました”って出て、保存された情報リストは空っぽでぶっ壊れてる。半年前に報告したのにまだ直ってないし。マジでJohnって呼ばれるのを止めさせる唯一の方法は、”俺の名前はJohnじゃないって覚えといて”みたいな感じでリストに追加させることだった。 よっ、John元気？ ”やあJohn、HNのユーザー名が更新されてないみたいだね。2時間後にa2128からjohn2128に変更するよ。今のユーザー名のままが良いなら、ヘルプのdiscordチャンネルで手順を確認してね” GoogleはLLMが何か物議を醸すことを言うのをめっちゃ恐れてるよね。話題の記事を要約してほしいと思っても、Geminiは絶対に答えないんだ。ChatGPTとかGrokは全然気にしないのに。 Geminiで同じこと気づいたわ。ありふれた質問にも答えないんだよね。よっぽど”啓蒙された”人しか不快に思わないようなことにも。だから、万能のリソースとしては使い物にならないのが残念。人は好奇心旺盛なのに、質問に答えないと、信頼できない情報源にたどり着く可能性があるよね。 複雑な質問に自信満々にデタラメを答えるのが一番最悪。信頼できる人間とか、複数の情報源にリダイレクトする方がずっと良い。 ChatGPTと物議を醸すようなことについて話すんだけど、ニュアンスとか悪魔の代弁者的なことにも結構対応できるよ。頼めばね。頼まないと、エコーチェンバーになりやすいけど、それはそれで良いことかも。 Deepseekは西側の検閲を回避。 質問に答えないってのは、それを隠蔽することにはならないんだよね。むしろ、信頼できない情報源にたどり着く可能性を高めちゃうんだよ。でも、それはそれで良いんじゃない？ 誰にとって良いのさ？ 読者にとってだよ。AIが権威ぶって読者に何を考えるべきか指図するより、AIが何が真実か判断しようとするよりマシってこと。でも、AIはウェブを検索して、拒否せずに結果を示すべきだよね。もちろん、常に情報源を明示して。あと、AIは決して権威的な口調を使うべきじゃないし、情報を集めるためにどんな手順を踏んだのか、どのサイトを辿らなかったのかを明確にすべきだよね。 そうそう、Muskが言ってる「AIは何があっても真実を語るべき」ってのは、マジでデタラメ。いつものように、虚偽広告で訴えられるべきだね。 Elon Muskは長年、嘘の広告を垂れ流してるよね。 Googleのファンじゃないけど、AI StudioでGeminiをカスタムプロンプトとフィルター無効で使うと、今のところ一番検閲が少ない商用モデルだと思うよ。 Grokより検閲が少ないってマジ？ Grokを仕事で使ってる人ってどれくらいいるの？ ＞Googleは、LLMが何か物議を醸すことを言うのをすごく恐れてるよね。 Tayの幽霊が、まだすべてのAI企業を悩ませてるんだね。 これってむしろ良い機能じゃね？AIの言うことを鵜呑みにして、物議を醸す話題についてデタラメ言う人が増えるのはマジ勘弁。信頼できる情報源にリダイレクトするのが一番良いと思うよ。 Gemini Pro 2.5が最高のモデルとは言えないな。特にマルチモーダルとかfunction callingでは。業界で重要なのはそっちだし。ただのチャットボットじゃ勝敗は決まらないと思う。Googleはイノベーション起こす気ないでしょ。元Googlerも元OpenAIの人も同じようなこと言ってるし。文化的にはOpenAIの方がまだ上かな。 ＞マルチモーダルとかfunction callingはどこが強いの？ 信頼って点、マジでその通りだと思う。AIの力は知ってるけど、Googleはマジで信用できないから、ChatGPTに言うようなことはGeminiには絶対言わない。 それは面白いね。 ＞Googleはマジで信用できないから、Geminiには絶対言わない。 なんでOpenAIの方がGoogleより信用できると思うの？ 俺もそう思う。理由は簡単で、ビジネスモデルだよ。 GPに同意。理由はビジネスモデル。 OpenAIにビジネスモデルなんてないじゃん。75セントで1ドル売ってるようなもん。追い詰められたらデータ売るよ。OpenAIのどこに安定と信頼があるの？リーダーシップが崩壊してドラマばっかりでしょ？CEOは信用できないし。 OpenAIにビジネスモデルがないって言ってるけど、2024年の収入は30億ドル超えたみたいだよ。＞「データを売って食いつなぐ」って言うけど、契約違反になるんじゃない？うちの会社はChatGPT enterpriseにお金払ってるし。それにOpenAIが持ってる俺のデータなんて、ウェブサービスに入力したやつだけじゃん。Googleはネットの半分で人を追跡してるよ。広告のせいだね。独占禁止法の規制当局は、GoogleがDoubleClickとかAdMobとかを買収した時に寝てたのかな。 俺にとっては信頼性よりも、彼らがその情報をどう使うかの方が重要なんだよね。Googleは俺の周りの人たちを特定して、プロファイリングして、影響を与える可能性がある。どんなに善意があっても、そんな力は欲しくない。OpenAIは何ができるの？データを売るくらいでしょ。でも、それは関数とかAPIの構文を聞いたプロンプトの集まりだよ。 Googleがデータを売らないと思ってる？他の会社が収集して転売しないと思ってる？どっちにしても、最初はそうなんだよ。「この会社には力も影響力もないから、何ができるんだ？」ってね。でも、突然、追跡とプロファイリングをされて、データを売られるんだ。 簡単に言うと、Googleはデータを溜め込む悪い評判を築く時間が長かったってこと。 OpenAIのビジネスモデルの重要な部分って、学習のためにデータを溜め込むことじゃないの？まだデータを売ったり（アクセスを売ったり）する評判はないのはわかるけど、もし資金が枯渇したらどうなるんだろう？Googleは信用できないけど、データを提供するなら、情報を収益化するのではなく、継続的に機能するビジネスモデル（例えばApple）が良いな。OpenAIにはそれがない。 Geminiを試すのをためらってるのは、以前のモデルを使った時に信頼を失ったから。名前も覚えてないけど、一貫して酷くて、50％以上の確率でハルシネーションを起こしてた。Geminiは良くなってるかもしれないけど、試す気になれないんだよね。 Googleは大きな市場シェアを持つ他の製品と統合するのに最適な立場にいるよね。今のところPMの自己満足に過ぎないけど、GeminiがGmailとかMeetとかDocsとかで実際に使えるようになれば、大きなことになるかも。APIユーザーにとっては、直接の消費者ほどこれらの懸念は重要じゃないと思う。APIがこれからもっと大きな市場になるんじゃないかな。 Gemini 2.5を使うのをやめたんだ。UIがMPBのCPUを最大まで酷使して、プロンプトを2秒に1文字しか入力できないんだ。チャットも削除できないし。他に同じような人いる？ GCPはこの強い立場から負けたんじゃないの？3番目に大きいかどうかさえわからない。 彼らは「強い立場から負けた」って言うのは、最もパブリッククラウドのようなデータセンターを持っていて、他の会社より後になってそれを販売することを考え始めたからだよ。Bard/Geminiはchatgptより遅れて始まったけど、LLMには参入障壁はないんだ。GoogleはGCPよりも早く動き出した。資金も人もインフラもあるから、他の会社よりも早く物事を進めることができる。それが今何百万人ものユーザーを持つことよりも重要。ほとんどの人はまだLLMを頻繁に使っていないし、切り替えは簡単。Googleはgoogle.com、YouTube、gmail、chrome、androidなどで10億人以上のユーザーとの明らかなエントリーポイントがある。 元OpenAI社員だけど、マジでそれな。OpenAIの優秀なML人材は、独立するか他のスタートアップに行っちゃったんだよね。まだ残ってる人もいるけど、1年後にはどうだか。OpenAIのヒット商品ってChatGPTアプリだけど、サブスク料金には限界があるじゃん。そのうち無料化して、広告が主な収入源になると思うな。OpenAIにいた頃からGOOG株しか持ってないんだ。検索ビジネスは脅威にさらされてるけど、色々カードを持ってるから復活すると思う。OpenAIはGoogleにとってウザい存在だよ。ユーザー獲得のために金を使えるから。Googleはユーザーが多いから同じようにはできないし、上場企業だから株主にも説明責任があるし。でもOpenAIの投資家も、もう金をつぎ込む気はないんじゃないかな。Googleは、もっと早くユーザーにイノベーションを提供できるように、無駄な手続きを減らすべきだね。（Sam Altmanの話は置いといて。）もっとコメントを表示（1）
＞それって小規模な投資の話でしょ？ Googleの技術インフラグループは選択肢を探ったりリスクをヘッジするために色々やってるけど、ちゃんと利益になるものしかスケールさせないって。バカじゃないんだから。
TPUも最近のAIブームまでは細々とやってたじゃん。
今でもTPUが何なのかマジで理解できないんだけど。GoogleのGPUのマーケティング用語？ それとも全く別のもの？
https://en.wikipedia.org/wiki/Tensor_Processing_Unit
拡張されたコンテキストを持つ最新のBERTは、自然言語Web検索を解決した。Googleが検索のために行うことはすべて時代遅れになったと言っても過言ではない。Google検索がまだ終わってないのは、すべてのWebページをベクトルデータベースにインデックスするのに時間がかかるから。
でも、そのアーキテクチャのアップデートをリリースしたのはGoogleじゃなくて、夏の間に十数人でコラボしたhugging faceだった。Google版は2018年に登場して10年間も放置されてた。なぜなら、自分たちのビジネスモデルを破壊するから。
Googleはリスクを冒すのを嫌がるけど、キャッシュカウ製品を食い潰さないと完全に終わる。Web検索はもはや王冠の宝石ではなく、Perplexityのような回答サービスが必要とする配管。GoogleがiPodを殺して次の20年を勝ち取るようなiPhoneの瞬間を起こせるとは思えない。
＞LLMの出力や自然言語のウェブ検索で、関連性の高い広告を表示できる。
たぶんね。でもLLMはレスポンスごとにもっとコストがかかるんだよ。0.2秒のCPUで半セント稼ぐのはとても儲かる。でも30秒で複数のGPUを使って1000Wの電力を消費して半セント稼ぐのは…そうじゃない。もっとコメントを表示（2）
Claudeは東側の検閲を回避。
Grok Unhingedはワイルドな体験ができる。
これっていつから始まったんだろ？マジな質問。GoogleのLLMとチャットプロダクトは、他のモデルプロバイダーより検閲が酷い気がするんだよね。黒人ナチスとか、石を食べるとか、接着剤入りのピザとか、色々あったけど。もっとコメントを表示（3）
マジな質問。変化が早すぎてついていけないんだけど。
大企業は社内ポリシーとか管理体制を作るじゃん。Googleでエンジニアやってる人知ってたらわかると思うけど、コードリリースにはプライバシーとセキュリティのレビューが必要なんだよ。
スタートアップは無法地帯って感じ。ポリシーがコロコロ変わったり、エンジニアがポリシー無視したり、CEOがデータ売ったり、資金が尽きてデータを売り払ったり。
Googleは安定してる。OpenAIはドラマだらけで映画にできそう。2年後、4年後に何してるかわかんないよね。
GoogleがOpenAIを買収して、ChatGPTでしたこと全部知られる可能性は考えないの？
Googleの収入源は広告。それもターゲティング広告。つまり、グローバルなデジタル監視がビジネスモデルの基本なんだ。
Googleの主な収入源は広告。特にターゲティング広告で、グローバルなデジタル監視が不可欠。
※要約：元OpenAI社員がGoogleのAI分野での勝利を認めるコメント。OpenAIの人材流出やビジネスモデルの限界、Googleの潜在能力について語っている。Sam Altmanについては批判的な意見を持っている。
