高すぎる！GPT-4.5の価格が話題に、実用性はどうなるのか？
引用元：https://news.ycombinator.com/item?id=43197872
GPT 4.5の価格はマジで高すぎる。
入力：75.00ドル／1Mトークン
キャッシュ入力：37.50ドル／1Mトークン
出力：150.00ドル／1Mトークン
比較のためのGPT 4oの価格：
入力：2.50ドル／1Mトークン
キャッシュ入力：1.25ドル／1Mトークン
出力：10.00ドル／1Mトークン
GPT 4.5はめっちゃ大きくて計算も重いモデルだから、GPT 4oの代わりにはならないとのこと。今後APIでの提供を続けるかどうかを評価中ってさ。実用的なフィードバック待ってますねって感じ。試してみるけど。
＞”私たちはその強み、能力、実際の適用可能性についてもっと知るのを楽しみにしています。もしGPT 4.5があなたのユースケースにユニークな価値を提供するなら、あなたのフィードバックが私たちの決定を導く重要な役割を果たします。”
「これが何に使えるか全然分からないけど、たくさんお金と時間をかけて作ったし、今新しいものを発表する圧力がすごいんです。何か役立つことがわかったら教えて！」って感じ。$XXXBの評価を維持するには自信が足りないね。
＞”初期テストでは、GPT 4.5との対話はより自然に感じられます。その広い知識ベース、ユーザーの意図に従う能力の向上、そしてより高い『EQ』により、ライティングの改善、プログラミング、実際の問題解決で役立つと期待しています。より幻想を少なくするとも予想しています。”
「初期テストでは幻想が減ったとは言えないけど、この文を近くに置けば、あなたがその関連性を自分で導き出すのを期待しています。」
GPT-4.5が言ってる例では、”The Trojan Women Setting Fire to Their Fleet”って作品が火の描写が素晴らしいって言ってるけど、それは明らかに幻想だね。絵には火は全くなくて、煙だけしかないよ。
いや、これは最高のセールストークだね。こういうデコぴん的な企業の宣伝文を書くのは苦手だし、嫌いだ。またGPT 4.5がその文を上手に書けるのか、専門家が作ったあの小さな芸品には敵わないのかな。
はい、あんなに高い価格で説得力を持って自分を売れるAIなら興味を持たれるべきだね。
リンクにはデータがある。
リンクは大幅な減少を示しているから、見てみて。
hallucinationをグレップしたり、
https://imgur.com/a/mkDxe78
LLMベンチマークが実際のユーザー体験を反映しているとは全く思えない。特に、GPT-4oが元のGPT-4より幻想が少ないって言ったから。
GPT-4.5、もしかしたらすごいモデルかもね！
Claudeが3.5から3.7にバージョンアップしたばかり。OpenAIも、GPT 4が出てから長い間バージョンアップがないって専門家が言ってたから、リリースはClaude 3.7への反応かもしれないね。
グラフによると、少なくとも一つのベンチマークではハルシネーションがかなり少ないみたいだね。
SimpleQAでは37％のハルシネーション率かぁ。難しい質問が多いから仕方ない面もあるけど、Claude 3.5 Sonnet（2024年6月版）は35％だった。OpenAIがこのエリアで遅れをとってるってことだと思う。
ベンチマークは事前に知らされてるのかな？ベンチマークへの答えがトレーニングデータに含まれてる可能性はある？
過去に不正にベンチマークデータを手に入れたことがあるから、一度バレたら今もやってるかもね。
実際にはやってたみたいだよ。フロンティアMathの問題セットのほとんどにアクセスできたと暴露されたから、みんなが機密だと思ってた頃にね。その後、o3モデルのベンチマークを公開したし、彼らの「口頭での合意」を信じるかは自由だけど、アクセスがあったのは確かだ。
“greater”の使い方が興味深いな。多分“better”と言いたいのだろうけど、地理用語だし“better”の意味にはならないよね。“wider”とか“covers more area”って感じだ。
確かに、企業のメッセージには疑念を持つべきだけど、この文脈での“greater”が“higher”や“better”以外の解釈はないと思うよ。
このモデルで“better”が何を意味するか観察するのがポイントだと思う。EQは4oより“better”らしいけど、LLMがどうやって感情を持つのか理解できない。LLMはただの回帰装置だし、感情とは無関係だよ。
これは結構辛辣な見方だね。別の解釈では「これはかなり高価だけど、改善されたパフォーマンスを望む顧客がいるかもしれない。需要がないならやめるから、そのオプションに価値があるか教えてほしい。」って感じになるかも。
150Bドルの企業が、金をドブに捨ててるような状況で、この程度の結果はちょっと弱いと思う。何年もかけて巨額の投資をして出てきたのが、1) すごく高価で、2) いくつかの条件下では他の選択肢よりちょい良いだけってのはどうなんだ？無料で同じくらいの性能を誇る競合がたくさんいるし、金とGPUを集めればすぐに他社を追い越すってことが日常茶飯事だしね。
あんまり反対したくないけど、別の見方もあると思う。新バージョンが前のよりよくなると思ってたのに、結局微妙な改善に終わった場合、どうする？顧客に出すべきか秘密にするべきか、両方の考え方があると思う。ただ進歩が遅くなってる可能性はあるかも。 もう少しデータセンターを増やせば、機械神を作れるかもな。あと何百億も投資して、発電所や湖を増やせば、全てがうまく行くかも。正直、古いことの新しいバージョンを追い続けてるだけなのを見ると辛くなる。 もう終わりだな、pretrainingはダメだ。サムは間違ってたかも？ ＞ “これが何の役に立つかわからない” と言われても、最初のマイクロコンピュータからVisiCalcまでの時間差を考えてみて。多分10年ぐらいかけてLLMの使い方を理解することになるし、高精度のモデルを市場に出すのは重要だと思うよ。新しい技術には予測が難しいから、試してみる必要がある。 ChatGPTの初リリースから820日。Apple IIは859日で、時間的にはほぼ同じ距離。最初のマイクロコンピュータのAltair 8800からVisiCalcまでに4年9ヶ月かかってて、実際はすごく早く進むことが多い。 インターネットにも社会的ネットワークの前から有用な使い道はたくさんあった。誰かが役立つものを考えるだろうという前提で何十億も投資するのは良いビジネスとは言えないよ。 LLMにはすでにたくさんの生産的な使い道があるけど、最大のものはまだ待っているかな。まずは市場の反応を見るために、構築する必要がある。ビジネスとしてはむしろ素晴らしいことだと思う。 ＞ “LLMにはたくさんの生産的な使い道がある” と言ったけど、今のところは遊び道具に過ぎないと思う。信頼性がないから、改善しない限りあまり役に立たないんじゃないかな。 役に立つツールだよ。$100の無料トライアルでClaudeを試してみて。間違いも多いけど、時間を節約できる。10分かかる作業が30秒で済むこともあって、詳しい指示を出すほど性能が良くなる。信頼性がないからって無価値とは限らない。 何に使うのかわからないけど、めっちゃお金と時間かけて作ったし、新しいものを発表しろってプレッシャーがすごい。誰か助けてくれたら嬉しい。 価格は高すぎる印象。ざっと見た感じ、Llama 3.1 405Bみたいなもので、高品質なデータ生成のほうが価値があるかも。能力とか価格を比較するためにスプレッドシートを作ってるんだけど、役立つといいな。 Sam Altmanの制限についての説明はちょっと曖昧で、”悪いニュース：巨大で高価なモデル。PlusとProに同時に出したかったけど、GPUが足りないんだ。”とのこと。 専門家じゃないけど、毎回のリリース見ると、Altmanの自信が夢物語に見えてしまう。市場の流れに注意してる管理者がいるから、彼に無駄になってほしくないな。 彼に下着買ってあげてるのは君だよ。インデックスファンドの方が運用よりも好成績だと思うけど、手数料考えると特にそうだよね。 これが彼らの最後の試みで、GPT-5の訓練が失敗したことで、次は推論モデルだけが前進の道だと思う。 これが示すのは、もっとたくさんのチップが必要だってことだと思う。 従来のGPT-4と比べるのが妥当かも。GPT-4は1Mトークンあたり30ドル、4.5は2.5倍の価格だし、プレトレーニングをぎりぎりまで伸ばす目標だったんだろう。 2025年のAIは素晴らしい技術だけど、製品じゃない。OpenAIにはビジネスモデルが無く、利益には遠いと思う。激しい競争とオープンソースが迫ってるし、投資者には厳しい状況になりそうだ。 AIオートメーションの本当の疑問は、タスクを人間にやらせるのとAI企業にやらせるの、どっちが安いかだよね。 公式なの？みんなこの瞬間を待ってたよ。トランスフォーマーはもう進化が難しいって去年から分かってたし、GPT-5の遅れも同様の主張を引き起こしてた。サム・アルトマンがAGIが労働力に入るって言ってたけど、次の大きなリリースが2025年にあるから、それが真実を証明するかが重要。GPT-4.5のリリースは、残念ながらあまり変わらない方向を示してる。2030年にはOpenAIは今の形で存在してないだろうね。でも、19世紀の鉄道革命みたいに、OpenAIが崩れた後も有用な技術は残ると思う。そんな未来があっても、超富裕層はかなりの損失を被るだろうね。 GPT-4.5はプレトレーニングに重きを置いていて、推論は含まれてないことに注意が必要だね。GPT-5が実現したら、4.5に推論が加わることで違った印象になると思う。コストの壁が課題だけど、4.5が4.0と同じくらいのコストに下がれば、推論も入れられて大きな進化が見込まれるよ。 推論が加わったら、LLMを未だにストキャスティック・パロットと呼ぶのは適切なのか疑問だね。大規模なサンプリングとフィルタリングのプロセスで、訓練データを超えた何かを得る可能性が見えてきたと思う。その点で、パロットの比喩は不正確に思える。 ストキャスティック・パロットと呼ぶのは適切じゃなかったし、注意してる人は分かる通り、シーケンスモデルは部分的にでもOODに対応できる。たぶんみんな知ってるよ。 OODってのは、モデルが訓練データと違った入力に直面することを指すよ。これを知らない人のために。笑 それは、パロットの知能を過小評価しすぎるってことだよね。 モンテカルロ法や確率微分方程式を学んだことがある人にとって、ストキャスティック・パロットって言葉は決して悪い意味じゃなかった。ほんと、決定論は小さな心には求められるもので、進んだ確率論を理解してる人には合わない。 その言葉が使われた論文を読んだら、明らかにそれは軽蔑の意図があったって分かるし、上の発言者を小さな心って呼ぶつもりかは分からないけどね。 LLMに公平さを求める人たちがいるのが変だね。もし気分が良くなるなら、エリザ効果は人間にもストキャスティック・パロットが多いって証拠だと思う。そして、ストキャスティック・パロットであっても一般化できる理由があるんだ。LLMは新しい存在だから、それに関する言葉は便利だと思う。 あなたのコメントには同意するけど、そのフレーズが導入された論文を読むと、明らかに彼らが意図していたのはそういうことじゃないんだ。 これは単なる詐欺でしかないと思う。理由を持っていないんだ。 直感的にそう思うけど、ちゃんとした定義がないと断言はできないよね。少なくとも似たような出力を繰り返す過程が、理由付けの一部にはなりそう。 4.5のコストが4.0と同じになるのが障壁だね。4.0のAPIのトークンコストは10倍高いけど、4.0の方が良いモデルとされてるし。4.5は完全に廃止されるか、より効率的な新しいモデルが出ると思う。 今のLLMは誰の生活も良くしていないと思う。技術の研究がもっと必要だし、ネットにゴミコンテンツを増やすのは利点がない。ソフトウェア開発者の生産性向上は世界には役立たないし、もっと重要な問題を解決するべきだ。 ゴミコンテンツの増加が大問題で、ここの1年でウェブの使い方が大きく変わった。GoogleやDuckDuckGoは使わなくなって、特化した検索エンジンを使うようになったよ。ちょっと面倒だけど、検索キーワードをブラウザに設定すればめちゃくちゃ楽。 LLMはすごく役立ってる。プログラム作成が苦手な人にとっては特に。最近Claude 3.7が古い製造機のファイルを現代的な自動化用に変換するプログラムを作ってくれた。これで$1,000/年のソフトを省けたし、すごい時間の節約になった。 簡単な自動化のスクリプトをすぐに作れるのはすごく助かってる。プログラムに定期的に取り組んでないから、全て覚えるのは無理だし、手動でやるのは時間がかかるから、LLMのおかげで助かってる。 Claude Codeを使ってるけど、ペアプログラミングに役立つ。ただ、ほとんどの作業を見守る感じで、頭を使ってやる部分の方が多い。簡単なタスクを任せて、時間を節約できると思う。 仕事でAIを使って生産性が上がってることは確かだけど、それが世界をどう良くするのかは疑問。Sam AltmanのようなCEOが語るAIの良さは、具体例が少ない気がする。便利と良いは別物だと思う。 どの問題領域がこの技術で手薄だと思う？ エージェント的なASIに恐れを抱いてるから、これが本当であってほしい。アライメントについて考える時間がもっと必要だよね。 アライメントの問題は解決する気がしない。技術的解決と社会的コンセンサスが必要だけど、コンセンサスはなかなか難しいよ。最終的には国の目標に合わせて調整されると思うけど、国々の目標はしばしば衝突するからね。 残念ながら同意だわ。エージェント的なASIを作るのは自殺行為だと思う。楽観主義者が描くユートピア的な未来は不安定で、超知能のエージェントがいる世界は危険すぎる。最初はうまくいっても、結局安心して暮らせないパラダイスができるだけだと思う。 お前の言う「エージェント的AI」と、例えば「スクリプトキディ」や「黒帽ハッカー」との違いは何なの？狭義のAPIの重要性が観察されてきたけど、エージェントAIが持つ力はそれほど特別だとは思えない。AGI以前から悪いことをするHGIがいるんだし、 dual keyの仕組みがあれば、核戦争だって避けられるかもしれない。 お前の言う「エージェントAI」と「スクリプトキディ」や「黒帽ハッカー」の違いは、知性の違いだよ。超知能の体験をするには、最新のGoエンジンをダウンロードして、何度も負けてみるのがいい。これが世界で運用されてたら、全く理解できない速度で好きなことをやられる可能性がある。 世界って知識で勝つゲームじゃないんだ。ホワイトハウスの今の大統領を見てみなよ。 ＞今のASはGoボードに制限されず、現実の世界で動いているところを想像してみてよ。“これまでで完璧な情報のゲームの能力を根拠にするのは合理的じゃない”って思うけど、どうしてその問題ドメインが互換性があると思うの？ 私はそんなことを言ってたのではないよ。Goを例に出して、優れた知性に無力感を感じる経験はこういうことだって言いたかっただけなんだ。負け続けてると、なぜ負けてるのか分からないし、何もできない。 完全に同意だわ。チェス/囲碁/ポーカーは、人間がAIの動きの理由を理解できなくなることがあるって示してる。トップのチェスプレイヤーも言ってるけど、エンジンの動きのいくつかは理解できないんだ。これはASIにも同じことが言えるし、その中には人間に害を及ぼす動きもあるだろうね。 ＞お前の言う「エージェントAI」と「スクリプトキディ」や「黒帽ハッカー」との違いは何なの？ 知性の違いだよ。人間の敵は制約があるけど、AIは違う。人間と犬の知能の差に似ている。 ＞アクセラレーショニズムが言ってるのは、資本主義はただそれ自体を自律的に進めていて、我々の行動の余地は限られているってことだよね。Nick Landが言うには「ブロックチェーンやドローン、ナノテクノロジーが押し寄せる中で、アクセラレーショニズムは自己の深淵へと進むだけで、結局、人類はそれを問題視するっていうんだ。出来ることは限られてるのに、どうにかしようとするのは」って感じだ。 ASIはSFのトロープに過ぎないし、現実には存在しない。AGIも同様で、具体的な意味が合意されているわけじゃない。つまり、現実に恐れを抱く必要はないよ。 「アラインメント」ってのは、AI企業の約束を軽視するために作られた言葉にすぎないよ。 AI企業がアライメントを嫌がってることを考えれば、なかなかの見解だね。 ＞結局、人々の生活は良くなると思うけど、翻訳者やグラフィックデザイナーの生活が良くなるとは思えない。彼らは新しい仕事を探さないといけない。 グラフィックデザイナーは、ブランド戦略を必要とする企業内では安全だと思うけど、AIが過去のアートを尊重するのは難しいかもね。 正直、デザイナーたちに自分たちが作ったデザインシステムを使わせるのも大変だし、AIが人間以上にうまくできるとは思えない。ただ、AIは人間の判断を無視して「正しい」ことをするのが難しいだろうね。 今、LORAを使って一貫したAIポルノモデルが生成されてるけど、企業ブランドの一貫性にも同じ手法が使えるかも。今はツールが原始的だけど、インターネットのおかげで進化するんじゃないかな。 OpenAIが今でも世界で最高のモデルを持っているのに、非常にドラマチックに感じるね。 ＞結局、人々の生活は良くなるとは思えない。今は少し良くなっているかもしれないけど、将来的にはもっと悪化するリスクがある。AIアシスタントの会話に商品のプレイスメントが入り込むなんて、広告業界も喜ぶだろうね。 GPT-4.5-previewを使って、このスレッドのまとめを作ったよ（コメント数は324）。使用したスクリプトは、https://til.simonwillison.net/llms/claude-hacker-news-themes…もっとコメントを表示（1）
もっとコメントを表示（2）
もっとコメントを表示（3）
結果はここにあるよ： https://gist.github.com/simonw/5e9f5e94ac8840f698c280293d399…
入力トークンは25797、出力トークンは1225で、合計コストは$2.11だったよ！生成にかかった時間は154秒。
