なぜ今もLLM強気派がいるのか理解不能なんだがwww まだバグだらけなのにマジで凄さが分からん！
引用元：https://news.ycombinator.com/item?id=43498338
マジでわからんのよなー。LLMいじってるとマジすごいって思うわけ。何十年も夢見てたことが今できてるんだぜ？ちょっとスペルミスってても、ニュアンス伝わるし、まるで人間みたいに話しかけてくるし、マジでクールな画像生成してくれるし、コードも書けるし、マジですごいことだらけじゃん？
なのに、みんな全然感動してないし、完璧なスーパーインテリジェンスじゃないとか文句言うんだぜ？50歳超えのオタクからしたら、こんなすごいテクノロジーないってマジで思うわ。SFの世界が現実になったみたいじゃん。確かに限界はあるけど、進化のスピードがヤバすぎ。
なのに「20年の経験があるベテランエンジニアみたいにコード書けないじゃん！」とか言ってる奴ら、マジでクレイジー。
LLMって、ただスーパーインテリジェンスじゃないだけじゃなくて、多くの用途で、従来の検索とかStack Exchangeみたいな昔のインテリジェンスより劣ってるんだよね。3年前は簡単にアクセスできたのに、今はLLMに取って代わられようとしてるし。それがマジでつまんない。
それに、この人の文句って、スーパーインテリジェンスを求めてるわけじゃないと思うよ。もっと基本的なことを求めてるだけで、長年の誇大広告とは全然違うじゃん。
＞”LLMは最初からリンク、参考文献、引用を捏造し続けている。”
＞”引用元を教えてって言ったら、404エラーになる。”（なんでこんな問題、手動で直さないんだろ？リンクが生きてるかチェックするだけじゃん。マジでつまんない。）
＞”科学論文を引用してるのに、調べても存在しない。”
＞”Gemini試したけど、もっとひどくて、ソースを探すことすら拒否して、自分で調べろって指示してくる。”
＞”概算の見積もりにも使ってるけど、いつも間違ってる。”
＞”昨日、論文をGPTにアップロードして要約させたら、2025年の論文だって言われた。PDFのヘッダーには2023年って書いてあるのに。”
ノルウェーの自治体がLLMを使って、学校の構造に関するレポートを作らせたらしいんだけど（学校の数、必要な数、場所、規模、メリット・デメリットなど）、LLMが科学論文を捏造して引用して、レポート全体が完全なデタラメになったらしいよ。
それって、LLMテクノロジー全体がすべてのアプリケーション、すべての実装において価値がないってこと？
自分が働いてた会社は、顧客サービスソリューションに何百万も費やしたけど、全然うまくいかなかった。でも、受託ソフトウェアは全部無駄だとは言わないよ。
マジそれな。自分もLLMを雑用的な開発タスクによく使うよ（シェルスクリプトをAnsibleに移植するとか）。そういう用途にはマジで使える。LLMは、大量の反復的な単純な調整が必要な場合に強い。例えば、全てのpostgresのinsertクエリを、対応するmysqlのinsertクエリに置き換えるとか。
「LLMはクソ」みたいな話をする奴らは、大体こんなパターン：
1. LLMに論文を読ませて、範囲外のこととか、本来の使い方じゃないことをやらせる。
2. LLMが案の定、失敗する。
3. ユーザーは、ツールの使い方を間違えたんじゃなくて、ツール自体が根本的に壊れてるって言う。
LLMの失敗談は、どんなモデル、どんなプロンプト、どんな足場を使ったのか、もっと詳しく書くべきだと思う。それで全然違うから。Deep Researchを使って、関連のある記事を探して、そこから事実をレポートに持ってきてるのか？それとも、ChatGPT Freeに数行入力して、盲目的に信じてるのか？
LLMはツールであって、神託じゃないんだから。使うには考えとスキルが必要だし、全てのLLMが互換性があるわけじゃない。ドライバーが違うのと同じだよ。
LLMが最初にどうマーケティングされたかが原因だと思う。盛り上げるために「俺たち」は世界を約束されたんだよ。Googleのエンジニアが、自分たちが意識のある知能を作ったって言いふらそうとしてた「リーク」覚えてる？実際には、Bardは、自分の左ケツのほっぺたと同じくらい意識がないよ。
OpenAIも同じようなことしてて、安全面に異常なほど重点を置いてる。自然言語検索エンジンなのに、デタラメを作り出す癖があるのにね。でも、LLMは、幻覚を見る癖があるにもかかわらず、自然言語検索エンジンとして多くの使い道があるってことには同意するよ。例えば、関数呼び出しとか、歴史的な出来事を説明して、正確な用語やイベントを見つけ出すことができるのはマジで便利。
LLMが自分のユースケースにめちゃくちゃ合うと、みんな過大評価しすぎなんだよ。それに、ここにいる人のほとんどはコーダーで、すでにコーディングが得意で、どんどんうまくなってる。
LLMが役に立たないタスクもたくさんあるから、そういうタスクをやってる人は、当然LLMにハマらない。
研究者とか化学者にLLMを使わせようとしても、ほとんど役に立たない。
弁護士に使わせると、弁護士には当たり前のことを見逃すだろうし。
プロのリサーチャーに使わせると、良いソースを見つけてくれない。
自分も、難しいトピックで困ってて、LLMに聞いたら、デタラメな情報が返ってきたことが何度もあるよ。
弁護士でLLMを使いこなしてる人を少なくとも2人知ってるよ。
今はまだ、LLMはツールであって、全ての目的に適してるわけじゃない。でも、弁護士の仕事には使える。
弁護士がLLMを使ってトラブルに巻き込まれてるニュースをよく見るよ。LLMが捏造した判例を引用したりしてるからね。バレなかったら、「生産的」に使ってるのと同じに見えるだろうけど。
Sabineが言いたいのは、現実ってのが、商業モデルの裏にいる金持ち連中が描こうとしてるのとは違うってことなんだよね。連中は、人間みたいな認識能力を持ったもんを作り出したって言いふらしてるけど、実際は、前例のない規模で予測アルゴリズムを最適化しただけ。自分たちは知性、つまり知識やスキルを獲得して応用する能力を作り出したって言いたいんだ。でも、みんな知ってるじゃん？連中が本当に作ってるのは、軍事的・政治的に価値のある情報のコレクションだって。この技術は確かにすごいし、面白いんだけど、企業のお偉いさんたちの手に渡ると、ゆっくりと利益を生み出すための化け物に変貌していくんだよ。
＞連中は、人間みたいな認識能力を持ったもんを作り出したって言いふらしてる
それはお前の解釈じゃん。そういうこと具体的に言ってる会社、あるなら見せてくれよ。
ここ100年で、LLMみたいに人を感動させる発明っていくつあった？2010年に今の技術持ってったら、イタズラか何かだって思うんじゃない？まだ生まれて半世紀も経ってないのに、もう当たり前だと思ってるし。
LLMは万能の解決策じゃないし、生活のあらゆる面で役立つわけじゃない。すべての産業を加速させるわけでもない。でも、自分のスマホに話しかけて、一般的な話題について話したり、情報を得たり、語学の練習したり、子供に科学の基礎を教えるアシスタントを作ったり、仕事の効率を上げたりできるなんて、今までなかったじゃん。
LLMを見る目は白黒思考じゃダメだよ。最高の発明か、役立たずかの二択じゃない。でも、みんなそうやって問題を提示してるし、Sabineもその一人だよね。
「人間みたいな知性を作った」って直接言ってる大手企業はないよね。でも、AIが人間の認識に近づいてると思わせるような、含みのある言葉を意図的に使ってる。それが宣伝や投資、PRにつながるんだ。
＞そういうこと具体的に言ってる会社、あるなら見せてくれよ
1. DeepMindの研究者: Sparks of Artificial General Intelligence: Early experiments with GPT-4 - https://arxiv.org/abs/2303.12712
2. Sam Altman: “GPT-4 is not AGI, but it does exhibit more general intelligence than previous models.”
3. Muskは、AIが「宇宙を理解する」道を歩んでると主張してる。Teslaの自動運転AIを「Full Self-Driving (FSD)」と名付けるのも、存在しない自律的な推論のレベルを示唆してて誤解を招くよね。
4. MetaのAIチーフ科学者、Yann LeCunは、AIに人間と同じような「常識」と「世界モデル」を与えようとしてると繰り返し言ってる。
＞ここ100年で、LLMみたいに人を感動させる発明っていくつあった？
ELIZAは、1964年から1967年に開発された初期の自然言語処理コンピュータプログラム。
ELIZAの作者Weizenbaumは、人間と機械のコミュニケーションを探求する方法としてこのプログラムを作った。彼が驚いたのは、彼の秘書を含め一部の人が、このコンピュータプログラムに人間のような感情を抱いたことだった。60年前の話。
つまり、人間ってのは簡単に騙されちゃうんだよね。
Sam AltmanがTwitterで「AGIの作り方、もうわかった」って言ってるのはどうよ？十分に近いんじゃない？
CEOがそんなこと書いてる例、他にいくつ挙げられる？俺ならもっと挙げられるけど。Elonは2021年にはカメラ駆動のレベル5自動運転ができるって言ってたけど、信じた？
＞ここ100年で、LLMみたいに人を感動させる発明っていくつあった？
たくさんあるよ。例えば掃除機。
＞でも、自分のスマホに話しかけられるなんて、今までなかったじゃん
昔から電話に「話しかける」ことはできたじゃん。オウムや犬に「話しかける」のと同じように。それってどういう意味？
LLMの話をしてるなら、まだ本当に会話できたって思えることはないな。会話って感じになるにはラグが大きすぎるし、関係ない返事が返ってくることも多いし。
おい、みんな聞いてくれ。しばらくすると、目新しさは薄れるんだ。わかるよ。ギガバイト単位の行列が、テキストや画像、音声を解釈して生成できるなんて、奇跡的だって。すごいし、本当にそう思う。ある意味、恐ろしいくらい。
でも、それがどれだけすごいかってことばかりに時間を費やしてると、すごいことと役に立つことは違うってことを忘れちゃうかもしれない。
で、LLMって役に立つの？…もちろん役に立つけど、現実から目を背けちゃダメだ。LLMはどのくらい役に立つの？ReactのフロントエンドをCRUD APIにダンプできるから、多くのソフトウェアの仕事にとっては有害かもしれない。でも、また同じようなUIをダンプするだけじゃ、目新しさはないって指摘しても、傷つく人は少ないといいな。ソフトウェアエンジニアリングのタスクには役立つってことだ。複雑なクラッシュをデバッグできる？今のところ10戦全敗だ。Claude 3.7からGemini 2.5、CursorからClaude Codeまで、ジュニアレベル以上の人ができるような方法で問題を解決させるのは本当に難しい。ほとんどの場合、問題をどんどん掘り下げていって、最終的にはコードを無効にしてバグのあるコードパスが実行されないようにするんだ。
だから、Sabineが科学論文の解釈には役立たずだって言っても、全然不思議じゃない。トレーニングデータにあるような、しょーもないベンチマークで高いスコアを出すことは、一般的な知識とは違うんだ。コンテキストウィンドウが広いってのはすごいけど、そこそこ大きいドキュメントを突っ込んでも、重要な詳細に注意を払わせるのは難しい。一番効果的なのは、参照させたいドキュメントがトレーニングデータに確実に入ってる場合だ。
LLMができることはすごいし、ある程度役立つけど、ベンチマークで少しスコアが上がったくらいじゃ、今のAIアーキテクチャの問題は解決しない。インターネットは一つしかないのに、モデルのスコアを少しでも上げるために、文字通りインターネットを燃やしたんだ。市場が、スクレイピングできるインターネットがなくなって、特異点にはまだ遠いってことに早く気づけば、それだけ良いことになる。
今の状態を評価することと、株式市場的な意味でLLMに強気なことの間には違いがあると思う。
株式市場で強気になることの大きな問題は、OpenAIが現在のLLMを投資家に売ってるわけじゃなくて、AGIを売ってるってこと。投資家への売り込みはだいたいこんな感じ。
＞もし目標を達成すれば、我々（とあなた）は無限のお金を手に入れることができる。だから、我々の技術への投資の期待値は無限ドルだ。目標を達成できる確率を聞く必要はない。なぜなら、どんなパーセントでも無限にかければ無限になるからだ。
OpenAIとその取り巻きの創業者たちはAGIを売ってるから、LLMはAGIじゃないし、AGIに漸近的に近づいてる兆候も見られないって指摘する反発が起こるのは当然だ。LLMは、すぐに何が起こるか分からないような素晴らしい変革をもたらす何かに漸近的に近づいている。しかし、注意深く見ている人には、Altmanの約束には近づいていないことが明らかだ。
AIバブルは崩壊するし、それは苦痛を伴うだろう。筆者と同じように、それは避けられないと思ってるし、そう思ってる人が少ないことに驚いてる。でも、そのおかげでクールな技術がたくさん生まれて、多くがオープンにリリースされて商品化されてるから、それは素晴らしいことだ！
LLMがAGIじゃないって信じてる人は、ベン図が苦手なんだと思う。だって、辞書的に言えば、間違いなく人工的で、一般的で、知的じゃん。
そういう売り方ならいいんだけど、誇大広告が多すぎるんだよね。「みんなの仕事を奪う」とか言われてるし。期待値を上げすぎなんだよ。OpenAIが税金計算してくれる動画とか覚えてる？超知能AIが、ついていけないほどの速さで社会を根本的に変えるって予測とかさ。そういうのが反発の主な原因だと思うよ。
LLMは税金計算を全部やってくれるわけじゃないけど、手伝ってくれるよ。仕事がなくなるってことはないだろうけど、効率は上がるかも。ただ、同じ量の仕事を少ない人数でこなせるようになるから、職を失う人もいるかもね。でも、全体的にもっと多くのことが達成される可能性もあるんじゃない？ もしLLMが俺の会計データにアクセスできたら、今の最先端のLLMなら税金計算できると思うぜ。その理屈がマジで分からん。 タスクによるよね。Sabineみたいに、めっちゃニッチな科学分野の最先端で研究してると、LLMはマジで役に立たない。意味不明なゴミしか吐き出さない。でも、LeetCodeの問題とか解かせるとマジ優秀。 「LLMは20年の経験があるベテランエンジニアみたいにコードを書けない」とか言ってるけど、そこが問題じゃないんだよね。LLMの問題は、嘘をでっち上げるところ。しかも、みんなそれを鵜呑みにしてる。たまに役立つコードを生成するけど、しょっちゅう”doTheHardPart()”メソッドを呼び出すだけ。Selection sortを書いてって言ったら、Bubble sortを書いてきたこともあった。何度聞き直してもダメ。プログラミング以外だと、もっとヤバい。LLMの出力をそのまま引用してる人を見かける。LLMは弁護士でも医者でもないのに。LLM企業とジャーナリストがそれを煽ってるのが問題。 ＞LLMは嘘をでっち上げるところ。 ＞みんなLLMの言うことを鵜呑みにしてる。 みんな、Wikipediaが始まった時も同じこと言ってたよね。 それは違う。Wikipediaは誰が見ても同じ情報が表示されるし、間違ってたら誰でも修正できるから、信頼性が高いんだよ。 ＞信頼性が高い。 医者の80%がLLMを信頼できる相談相手だと思ってるって言ってる人がいたけど、LLMが作ったコードはコンパイルできないし、存在しないAPIをでっち上げたり、文法が間違ってたり、ロジックが完全に壊れてたりするのに、なんで人の命を預けられると思うんだ？ 人間ってマジで嘘つくし、ハルシネーションもするし、根拠も知識もないのに権威を主張するよね。ありとあらゆることを信じ込むし、勘違いも多いし。LLMは完璧じゃなくていいんだよ。普通の人間よりマシならそれでOK。LLMアンチはLLMの限界について間違ってないけど、人間の能力を過大評価しすぎなんだって。 block chainとかNFTと違って、LLMは間違いなく生き残るテクノロジーだよね。でも、まだLLMに強気な人がいるのがマジで謎。今の評価額は、市場がLLMをシニアエンジニアみたいにコード書けるし、AGIもあるって勘違いしてるからでしょ。LLMプロバイダーがそうやって宣伝してるし。ベンチャーキャピタルの投資が終わって、ちゃんと黒字になる値段でサービスを提供できるかどうかも怪しい。だって、少なくとも今はめっちゃ金かかるじゃん。 LLMの利用料金払うのは全然OKだし、モデルはどんどん小さく、安くなってるしね。5年か10年後には今よりもっと普及してると思うよ。 でも、今の会社が儲かるかどうかとか、今の評価額が妥当かどうかは別問題だよね。将来は「Open-weightモデルがニッチな分野でそこそこ使える、無名のクラウドプロバイダーが電気代よりちょっと高い値段で提供して、利益は薄い」みたいな未来もありえるんじゃない？ LLMのおかげでエンジニアの効率はマジで上がるし、今までソフトウェア開発できなかった人たちも開発できるようになるんだよね。データもちゃんとあるし。それだけでもかなりの価値があると思うよ。 多くのソフトウェア開発者は、最初の悪い経験で「LLMはクソだ」って決めつけて、すぐ諦めちゃうんだよね。LLMがプログラミングにどれだけ役立つか知らないのはかわいそう。それに、全部手入力したい人もいるし。そういう人たちは理解できない。 ゴミみたいな結果しか出ないって状況を抜け出すには、どれだけ時間が必要なんだろう？C/C++で大規模な独自のコードベースのシステムコード書いてるんだけど。OpenAI（1年以上前）とか、最近だとCursor、Grok-v3、Deepseek-r1とか試したけど全部ダメだった。後半の二つは最初は良かったんだけど、だんだん悪くなったし。 LLMがどれだけ役に立っても、それを理解できない人や、理解しようとしない人は必ずいるんだよね。まあ、いいんだけど。そういう人を説得したり、改心させたりするのは私の責任じゃないし。放っておくのが一番。 分かりみ。興味ない人に興味を持たせるのは疲れるよね。特に、LLMの凄さを知ってて当然な人が知らないとイライラする！ あんたらにイライラするのは、私がAIを使って仕事を手伝わせようとしたら、毎回ひどい結果になるからだよ。あなたたちには役に立つのは分かるけど、それは全ての人に当てはまるわけじゃないんだよね…なんでみんなに同意してもらいたがるの？他の人の意見を聞くのが“疲れる”って言うのも意味不明。まるで宗教みたい。 マジでClaudeの経験が違いすぎて何て言えばいいかわかんないわ。記事の例はLLMが得意じゃないことばっかだし。彼女が「うまくいかない」って言うのも、俺の経験と全然違うんだよね。AI使う人って、失敗例探すか成功例探すかのどっちかじゃん？俺は簡単なスクリプト書くのにLLM使うけど、マジで便利。syntaxとか調べるより早いし、間違っててもすぐわかるし。AIの良いところ見ればマジ使える。ダメなとこ探してたら、ただのhypeだなって思うだけ。でも全部が全部そうじゃないよ。 ＞Look for the ways that AI works, and it can be a powerful tool. Try and figure out where it still fails, and you will see nothing but hype and hot air. Not every use case is like this, but there are many。”AIの良いところを見ればマジ使える。ダメなとこ探してたら、ただのhypeだって思うだけ。でも全部が全部そうじゃないよ。 何やってるか知らんけど、なんでうまくいかないんだ？俺の使い方がAIに最適なのかもだけど、そんな気はしないんだよね。少なくとも、frontierモデルのおかげで生産性が上がったのは確か。 お前の使い方はマジでAIに最適だよ。簡単なスクリプトで、広く使われることもないんだから。大規模なコードを解析する必要もないし、メンテナンスとかアップデートも不要。オフィスでプロっぽいメールが書けない人が使うくらいしか、お前の使い方より良い例はないね。 俺がやるようなコーディングは、普通のSWEがやるよりずっと得意だと思うよ。だって、俺のコードの方がシンプルだし。でも、コーディングだけじゃないと思うんだよね。LLMが役立つ場面は他にもたくさんあるはず。HNには複雑なソフトウェアプロジェクトやってる人が多いから、LLMが役に立たないって思うのかもしれないけど、それは違うと思う。SWEが給料高いのには理由があるんだよ。 LLMに問題点を示唆すると、それがどんなに間違っていても、すぐに同意してくるってのが一番の問題。例えば「Xが問題かも」って言うと、必ずXが問題だって言い出して、他の情報も全部Xを正当化するように解釈するんだよね。そうなると会話が台無しになるから、最初からやり直すしかない。LLMの使い道は、ほぼ正解に近い情報を生成させて、そこからGoogleで調べるくらい。コードの編集やデバッグには全く役に立たない。結局、自分でやるのと同じくらいの時間と労力がかかる。 逆に、うまくいった時はマジで魔法みたい。livecd imageがちゃんと初期化されなくて、1週間くらい悩んでたんだよね。ドキュメント読んだり、コード読んだり、strace試したり、logs見たり、同じ問題抱えてる人のフォーラム見たり。で、ChatGPTに聞いたら「udevadm triggerを使え」って言われたから試したら、動いた。ググっても見つからないような問題でも、LLMなら解決できることがある。 デバイスが初期化されない問題の解決策が“udevadm trigger”で、LLMに言われるまでわからなかったって言うなら、お前のググるスキルを疑うわ。「linux device not initializing correctly」でググったら、5番目に“udevadm trigger”が出てくるぞ。 今朝、LLMを使って、初めて触るdatabaseに対してSQL queryを書いたんだよね。スタート地点を与えて、やりたいことを説明したら、それっぽいsolutionを出してくれたんだけど、schemaを全部教えてなかったからちょっと間違ってた。少し修正したら動くようになって、そこから機能をどんどん追加していった。エラーが出たら、エラーメッセージをそのままLLMに渡すと、修正案を出してくれる。たまに修正がうまくいかないから、こっちで修正する必要があるけど。SQL syntaxなんて滅多に使わないから、自分でやるよりずっと早かった。 LLMがコードに役立たないって言う人ってさ、LLMとの会話が足りないんじゃないかなーって思うんだよね。最初のプロンプトで完璧な結果を期待するのは無理があるって。何回かやり取りして、使える解決策にたどり着けるかどうかが本当のテストだと思うよ。 なんでそんなことしなきゃいけないの？LLMと会話するより、自分で最初から書いた方が早くない？ LLMを使いこなせるようになれば、5回くらいのやり取りで、手で書くよりずっと早くコードが書けるようになるよ。たとえ最初から完璧なコードが書けたとしてもね。 それって、コード書くのが苦手な人か、タイピングがめちゃくちゃ遅い人にしか当てはまらないんじゃない？ つまり、LLMの主な利点は、タイピングが速いってこと？ そう、その通り。 それって全然すごくないよね。タイピング速度はプログラミングの制約にならないし。プログラマーにとって大事なのは解決策を考えることであって、タイピングはそのほんの一部だよ。 そうなのよ。だから、私がLLMから得られる生産性向上は、コードをコンピューターに入力する作業の2～5倍だって言ってるの。それって私の仕事の10%くらいだけどね。 ＞私がLLMから得られる生産性向上は、コードをコンピューターに入力する作業の2～5倍だって言ってるの。それって私の仕事の10%くらいだけどね” LLMを使うメリットがわからないってことは、新しいことを学んでないんじゃない？ マジかー、数時間で終わったってマジ？オレならSQLの構文なんて３年に一度くらいしか思い出さないから、一日がかりだったかもなー。SQLをちょっとでも理解してれば、数時間で書けるってマジだって。複雑なことしようとしてない限りはね！SQLは手書きでも全然余裕っしょ オレも同じような経験ばっかだわ。なんでLLMがうまくいくって言う人がいるのかマジで謎。 LLMでコーディングがうまくいかない人向けに記事書いたから、見てみて！https://simonwillison.net/2025/Mar/11/using-llms-for-code/ ブログいつも見てるけど、AIの記事ばっかりでうんざりしてきたからそろそろ購読やめようかなー。 ＞プロジェクトが小さいからLLMが役に立つだけのコンテキストを提供できるとか、よく使われる言語を使ってるからとか、そういうのが理由でしょ？ 30万トークンって、コードで言うと何行くらいなんだろ？オレが仕事で触ってきたコードベースは、コメントとか空白除いても10万行は余裕で超えてるけどなー。 ＞LLMはこれにほぼ完璧に対応できる。構文やドキュメントを調べるより早いし、間違っててもすぐわかるし修正も簡単。 LLMについてずっと言ってるんだけど、何が欲しいか、どう聞けばいいか、正しい出力がどうなるかわかってるなら、LLMはマジで最高（少なくともClaude Sonnetは）。ベテラン開発者にとっては、生産性を高めるためのマジで効果的なツールだよ。 ＞ベテラン開発者にとっては、生産性を高めるためのマジで効果的なツール みんなLLMを叩きすぎだってうんざりするわ。オレの毎日の仕事ではAIがマジで役に立ってるから、みんながどこからそんな考えが出てくるのか理解できない。まあ、どうでもいいけど。 エッジケースに対処しなくていいコードなんて、大したことに使われないっていつも言ってるわ。 議論見てると、正確じゃなくていいとか、外部コンテキストが要らない簡単な仕事してる人が多いみたいで驚くわ。 もっと深く聞くと、プロンプトが全然ダメなことが多いんだよね。「Garbage in, garbage out」って言うじゃん。LLMを効果的に使うには試行錯誤が必要だったし。教えるのも私たちの役目かもね。 問題解決のために「試行錯誤でプロンプトを改善しろ、やり方は教えない、モデルにもよる」って言うなら、LLMが便利なツールだとは思えないよね。 それってどの電動工具にも言えるよね。マイターソーはすごいけど、使い方を学ばないと指を切っちゃう。LLMは簡単に使えるって売られてるけど、努力が必要なんだよ。誤解を招くよね。 LLMでSQL書くのは、マイターソーの代わりにテーブルソーを使うみたいなもんかな？結局どっちにしても作業は必要ってことだね。 無料版のChatGPTしか試してない人が多いんだよね。最新のsonnetモデルとは全然違うのに。 LLM使うたびに横でチェックして止めたい。「ちょっと確認させて」って。嫌でしょ？でも質の高い仕事をするには、レビューとテストが必要なの。LLMが上手くいく例を見せられるけど、吟味するとダメなことが多い。プロトタイプには使えるけどね。 LLMが失敗するってわかってるけど、どれくらいの頻度で失敗するか誰も教えてくれないのが怖い。0．2％？2％？20％？誰も知らない！計算結果がランダムに間違ってたら使えない。LLMに事実を聞いても、ハルシネーションかどうかどうやって判断するの？LLM支持者はこの質問に答えないんだよね。 要は、今の評価額に見合うには、ニッチな用途で優れてるだけじゃダメなんだよ。テキストやスピーチが主な仕事の人間を全部置き換えられないと期待に応えられない。 この記事で一番面白いのは、LLMの使いにくさがマジで変わってないってことが改めて分かるところだよね。もっとコメントを表示（1）
まだ誰も触れない問題だよね。知らないことは「知らない」って言えるAIが必要だよね。どうなってるんだろ？
それってLLMの問題じゃないよね。でもマジで困る。ChatGPTが言ってたことをそのまま言うなよ。お前が知ってることを言えよ。ChatGPTから得た情報を自分で確認したならいいけど、LLMを引用して、それが正しいと思い込んでる人がいるとマジで引く。
そういうコメントの方がLLMのハルシネーションより心配だわ。主張のソースを辿ったら、全然違うことが書いてあったり、ソースがめちゃくちゃ怪しかったりすることが何回もある。今はみんなLLMが信用できないって分かってるけど、WikipediaとかAskHistoriansの投稿とかYouTube動画とか、怪しい情報源を鵜呑みにしてる人が多い。みんな情報を批判的に考えられないのが問題。LLMは新しい技術だから、まだ疑いの目で見られてるけど、慣れてきたら他の情報源と同じように思考停止すると思う。
もっと標準的なアプリケーションなら試してないけど(tigみたいなncursesフロントエンドをpythonで作るとか)、まだ手をつけてない。
マジでLLMに期待してるんだけど、今のところダメなんだよね。英語でコンピューターに「プログラミング」させるのは良いアイデアだとは思わないけど、有能なAIアシスタントとペアプログラミングしたい。結果が出てる人は、AIが書いてない高度なAPIとかライブラリを活用して、よくある問題を解決してるように見える(簡単なゲームとか、簡単なWebアプリとか)。言語自体がやってることを無視して、LLMの結果を褒めてるのと同じ。
いつかうまくいくと信じてるけど、いつになるかわからない。それに、LLMと会話できるだけでソフトウェアエンジニアになれると思ってる人たちのことにもイライラする。仕事のほとんどはプログラミングじゃないんだよね。解決策を考えたり、会議で他の人と話したり、顧客が本当に何を求めているか理解したり、自分の作業を記録したりすることの方が大事(これはAIに手伝ってほしい)。
Vibe codingは、現代版のVB6みたいなもん。Windows GUI App作ったぜ！みたいな。プログラマーじゃない人とか、半端なプログラマー(Pythonでデータを加工する人)が使えるものを作れるようになったのはすごいけど、スプレッドシートとかHypercardとかもあったし。Andrejがスマホアプリ作ったのはちょっとすごいけど、ちょっと悲しい。AIに何千億も費やして(ありがとう)、これが成果ならバブルはすぐに弾けるよ。もっとコメントを表示（2）
-edit- あと「学生が勝手にreference作るとかない」って言ってるけど、マジで？
問題は、AIすごいって言う人が多すぎてウンザリするってこと。同じことやっても全然うまくいかないし。そりゃ疑うわ。
(最近の例: https://simonwillison.net/2024/Sep/10/software-misadventures… )
LLMからは、調査とか計画とか、いろんな活動でも恩恵を受けてるけど、コーディングの加速ほど目立たないの。
なるほどね。それなら納得。あなたはソフトウェア開発者じゃないんだ。
コードを書くのが得意じゃないから、LLMを使うと生産性が上がるんだね。納得。
私は週の50～80%はコード書いてるけど、普通のソフトウェア開発者なら当たり前だよ。
私たちは違うんだね。あなたがLLMに助けられるのは、コードを書く機会が少なすぎて、腕が鈍ってるからだよ。
確かに、普通のCRUD処理みたいな日々の業務にはLLMは必要ないかもね。でも、新しいプロジェクトで、新しいツール、新しいコード、新しい言語、新しいライブラリとかに挑戦する時には、LLMはめっちゃ役に立つよ。
そういう状況では、LLMより速くできるわけないじゃん。
もちろん、不完全だったり、イマイチだったり、間違った答えを出すこともあるけど、SWEの経験があれば見抜けるから。もっとコメントを表示（3）
記事読んだけど、LLMの汎用性に対する考え方が偏ってる気がするんだよね。プロジェクトが小さいからLLMが役に立つだけのコンテキストを提供できるとか、よく使われる言語を使ってるからとか、そういうのが理由でしょ？大企業の巨大なコードベースで何年も開発してる身としては、LLMはマジで役に立たないんだよね。別に全部の人に役立つ必要はないと思うけど、オレらがLLMの使い方を間違ってるって言うのは違うと思うな。
2024年のStackOverflowのアンケート見てみなよ。
プロの開発者の70%は、この一年でJS、SQL、HTML/CSS、PY、TS、Bash/Shell、Javaのどれかしか使ってないんだってよ。LLMは全部得意な言語じゃん。アメリカのアンケートだから、もっとニッチな言語使ってる人が多いかもだけどね。
コードベースの規模も同じようなことが言えると思う。数日前にはGemini Pro 2.5に30万トークンのコードベースを与えたら、うまく動いたらしいし。巨大なコードベースでも、関心の分離ができてれば、関係のあるコンテキストは全部与えられるってことだよ。[1] https://simonwillison.net/2025/Mar/25/gemini/
でも、本当に欲しいのは、エディタに組み込まれてて、巨大なレガシーコードベースで学習して、質問に答えてくれたり、コードを提案してくれたりするやつなんだよね。いつかそうなるといいなー。
マジでこれ。
昔、複数の.csvレポートを生成する関数があって、それをs3://my_bucket/reports/{timestamp}/.csvにアップロードしたかったんだよね。
ChatGPTに「現在のディレクトリにあるすべての.csvファイルをold_reportsディレクトリに移動し、create_reports関数を呼び出し、現在のディレクトリにあるすべてのcsvファイルをs3://my_bucket/reports/{timestamp}/.csvにYYYY-MM-DD形式のタイムスタンプでアップロードする関数を書いて」って頼んだら、完璧なコードを作ってくれたんだよね。正しいコードはわかってたんだけど、boto3の正確な呼び出し方とか、ファイルの移動がos.moveなのかos.renameなのかとか、datetimeオブジェクトの正確なフォーマット方法とかを調べるのが面倒だったんだよね。
LLMのおかげで、自分でやるよりずっと早くできたわ。
アプリ全体とか、クラス全体とかは書かせないけど、こういう個別のブロックなら最高。
クラス全体とか、巨大なSQLクエリとか、terraformスクリプトとかを作るのに使ってるよ。出力されたものを見て、修正して、自分のニーズに合わせて調整するんだ。最初から完璧なものはできないけど、自分で書いても同じだしね。それでも、時間の節約にはなるよ。
これマジ重要。
LLMは自律的なソフトウェア開発者とか、ジュニアをシニアレベルに引き上げるとか宣伝されてるけど、あれは広告。
LLMはベテラン開発者にとって一番役に立つんだよね。ベテランがやるような退屈な作業を肩代わりしてくれるから。ジュニアにとっては、退屈な作業こそが学習になるのにね。
LLMが得意じゃない例ばっかり出して、LLMが得意な状況を無視してるんだよね。誰かを説得したいわけじゃないけど、LLMはマジで役に立つし、時間の節約になるって言いたいだけ。LLMを使いたくない人がいても別にいいけど、オレは市場で優位に立てるからね。ありがとう。
＞”引用元教えてって頼んだら404エラーのリンクが出てきたり、引用をググっても存在しなかったり、科学論文を調べても見つからなかったりするんだもん”
LLMヘビーユーザーからしたらよくあることだけどさ。引用元とかURLとかマジ苦手じゃん？でもさ、これコンピューターじゃん！「このすごいコンピューター、事実確認がちゃんとできないんだよね」って、過去40年のコンピューターのイメージと真逆じゃん。
