驚愕！ハッシュテーブル内の検索が速くなる方法を大学生が発見！
引用元：https://news.ycombinator.com/item?id=43002511
KrapivinはYaoの予想を知らなかったことでブレイクスルーを達成した。Balatroの開発者も知らずにすごいデッキビルダーゲームを作った。問題に対して無知でいるのがいいアプローチかもって思い始めてる。でも今の世界は繋がりが強くて、なかなか新しい発想が出てこないのが悲しい。インターネットは素晴らしいけど、思考が均一化されちゃうのは辛いな。
それは本当に、まったく新しい方向の解決策がある場合だけだと思う。前の成功した取り組みを無視すると、枯れた土地を耕すだけになっちゃうことが多いからね。
そうだね、同じアイデアを再発見する結果になったりもするよね。医療研究者が三角形法則を再発見した例が思い浮かぶ。
それは実際には問題じゃないよ。一方で、そのアイデアが本当に有用であることを示しているし、他方で現在忘れ去られたアイデアが再発見されるチャンスもあるってことだ。
学生にとっては問題ではないね。以前に解決された問題を解くことは、解決できる問題に取り組んでるから良い学びになる。実社会の問題解決はだからほとんどが既存の理論の応用だし、研究者が理論を拡張しないとさらなる問題解決には繋がらないんだよ。
自分が見たことがあるのは、巨人の仕事を模倣することで得たものだ。
創造性や革新にはコストがかかる。
同意する。既存の解決策を再発見しても、そこから学ぶ経験は非常に価値がある。プロジェクトで局所的な最大値に達しなくても、その経験が次のプロジェクトでの成功につながるかもしれない。
それって、無駄な時間を費やしているとは言える。既に研究されていることなら、前の研究者が見落とした細かい点や最適化を逃す可能性もある。
必ずしも『無駄』とは言えない。第一原理から解決策を探る力は強力なスキルになるし、鍛えることができる。全く調べないのは無駄だが、一概には言えない。
既存の文献を読むだけじゃダメだよ。アイデアを生み出す力も練習が必要だね。
一見明白な直感が間違ってるか、不完全な例だね。
いろんな分野で概念やパターンが同じことあるよね。ただ言葉が違ったり、知識の基礎が違うだけで。数学って共通言語があるから統一できるけど、数学のいろんな分野を理解してる人は少ないから難しいね。
トラペゾイダルルールってホント素晴らしいよね。もう18年も使われてるのに、まだそれが笑いのネタにされちゃってる。
確かに笑いのネタにされてるのもしょうがないよ。18年前にGoogleがあったんだから、「曲線の下の面積」で検索してから論文書けばよかったのに。エディット：実際にはその論文は1994年に書かれたみたい。だから「18年」ってのは何を指してたのか分からないけど。
医療文献では数学の問題がよく見られるね。これは滅多に数学知識が深くない医療従事者が多いからかも。今週も「頻度主義の95％CI：真の推定値がこの範囲にある確信が95％」っていう間違った理解を見かけたし、これがチュートリアル論文からの引用とは驚いた。
自分で考えて発表したからって、先にそのアイディアがあった人たちに劣るのかな？創造的に考えることができたっていう点では評価できるんじゃない？
自分で考えたんだから、自分を卑下する必要はないよ。でも基本を知らなかったり、調べるのを怠るのは良くないよね。
もっとひどいのは、プライベートでだけ考えたわけじゃなくて、自分の『偉大な』発見を発表しちゃったことだね。
責めるべきは査読者だよ。これがあるからこそ査読制があるんだ。誰もが全てを知ってるわけじゃないし、CSの論文でもよくあることだよね。
1994年にそれが確認できるとは思えないけどさ。
1994年には微積分の教科書はあったよ。自分の教科書で“曲線下の面積”を見つけるのに30秒、数値積分のセクションを見つけるのにまた30秒かかった。
数学の特定の範囲を知っていて、関連する教科書を持ってたから簡単だったけど、生物学の知識は全然ないんだよね。1994年にはMichaelis-Mentenモデルがあることすら知らなかったろうし、今みたいにChatGPTで調べられる環境があったらもっとよかったのに。
大学教育には知識の網を広げる役割があるんだよ。色々な人から学べることで知識が深まっていくってことだ。
確かにそうだね。
論文のタイトルに“曲線下の面積”が書いてあるんだから、その計算の情報は図書館で簡単に見つけられたはず。
これは純粋な査読に反対する意見だと思う。Dr. Taiはトラペzoイドルールの発表者なんだが、もし彼女が過去の微積分を知ってたら、意外にいい結果が出てたかもしれない。
Dr. Taiが微積分を学んだ証拠はないんだ。ただ彼女がトラペzoidalルールについて論文を発表したことは事実だよ。
彼女がホイールを再発明した理由が数学科に笑われたくなかったからってのは、ちょっと信じがたい。
“18年”はリンク先のブログ投稿が2007年の3月に公開されてからの年数のことだと思う。
再発明を恥じるべきでないって強い主張だね。でも、トップクラスの人じゃないと自己責任要素もあるしね。
それ、あんまり強い主張じゃなくない？楽しみや理解を深めるための再発明は良いけど、『新しい』方法を発表するなら事前に調査くらいはしようよ。特に勉強中に聞いたことのある方法ならなおさら。
生存者バイアスもあるって思う。第一原理から始めていい解決策を見つけるのは稀だし、結局良い解決策出ないことも多い。ただ、既存の『最先端』をそのまま受け入れるのは良くないよね。
10年以上前の『最先端』、実際には大したことなかった例が多いよ。文献や解決策にはバイアスがあるし、やっぱり良い解決策を見つけるチャンスは時間が経つにつれて減っていく。
1973年にClifford Cockが公共鍵の問題を解いた時、GCHQが３年間も解けなかったんだよね。偏見のない新しい視点が重要な違いを生むこともあるんだ。
もっとひどいのは、既に効果がないと証明されたものを追いかけることだよね。
個人の成長の観点から見ると、既存の有効無効な解決策を再発見することにも大差ないかも。どちらもその分野の制約を内面化するからね。
数学や計算科学以外では、証明されてないことはないよ。科学研究は証明が伴わないから。数学や計算科学でも、間違った論理の研究は面白い発見につながることもあるからね。
それが最高の発見につながるんだよね。
でも、無駄な時間がかかっちゃうこともあるよ。例えば、永久機関や無限データ圧縮みたいにね。
科学の大発見ってさ、もともとは人々が金属を金に変えようとしてた時に生まれたんだよね、いわゆる錬金術。リンの発見や、砒素、アンチモン、ビスマスの元素としての特定、さらに硝酸や硫酸、塩酸の開発なんかもその一環。結局、錬金術は現代化学に進化したわけで、無駄だって思うことがむしろ人を重要な発見や発明から遠ざけるんだよ。何かに時間をかければ、学びや貴重なインサイトは絶対得られると思う。
間違った証明が存在するのが問題だよね。この場合、関連する予想が40年間も成立してたけど、これは「証明」じゃなくて、正しさの信頼性の指標に過ぎない。SpaceXが再利用可能な自動着陸ロケットを試してたときも、ULAの社長が彼らを嘲笑してたんだよね。意外にも、実績のある彼らがこれを信じていたとは思うけど、シリコンバレーの知識のない人物がそれに挑戦することになった。
君が挙げた例は「証明」じゃないよ。予想は証明とは言えないし、それに反論する人がいなかっただけ。ULAも経済的に無理だって証明はなかったけど、マスクが早く開発するアプローチを試みたのは興味深いね。ソフトウェアの分野でも同じだよ。
アポロ計画も「急いで失敗」する時代だった。面白いエピソードもあるし、宇宙旅行はリスクを伴う部分もあるよね。マスクが始めたわけじゃないにしても、急速な進展は確かにあったと思う。
有人宇宙飛行には多くのコストがかかるけど、無人の探査だと経済的な選択で済むことも多い。結果的に、有人宇宙飛行はお金と資源の無駄になってる気がする。
火星に行く最初の人間は、50年以上の探査よりも多くのことを短期間で発見するだろうね。無人探査はパーツが壊れやすいという根本的な問題があるから、すごく時間がかかってる。実際、運営するのは大変で、実装された技術は現代においても進化してないから、たくさんの問題がある。
一人を送る費用で十の探査機を送れそうだけど、実際に人を送った場合のデータの価値はそれだけの価値があると思う。
探査機には限界があって、実際にはローバーの方がよっぽど役に立つ。でもローバーは高額だし、将来的には人間が安価に各地で探査できる時代が来るだろうね。初期の人間ミッションは高コストだけど、食料や医療などの維持費はかなり安くなると思う。
無人でできることには限界があるんだ。ローバーの開発にもコストがかかるけど、ローバーを量産する手段もあるし、人的な生活維持のコストは高いよ。
でも、その10の探査機から得られる情報は少ないと思うな。人を一人送るだけで、100の探査機よりも多くのデータを集められるはずだし、そういうミッションに行きたい人もたくさんいると思う。
あんたの楽観的な意見には賛成できないな。リンク見てみてよ、あれはNASAのハイライトみたいなもんだけど、これだけかよって感じだ。
リストにはどんなことが入ってほしいの？たくさんのことが人類の進歩には重要な前提条件だよ。でも、宇宙での性行為や運動、放射線の影響、電子機器の耐性についての研究が抜けてるのは大きいね。火星の宇宙ステーションはそれ以上のことを提供するとは思えないから、あまり優先度は高くないかも。
電子機器の耐性についての研究は、わざわざ人間を介さなくてもできるよ。ISSの必要性はないんじゃない？他の例はちょっと循環的で、人間を宇宙に送る目的のためにだけの問題を解決することになる。
無人では高リスクを運用できないよ。衛星打ち上げのロケットが失敗したら、新しいのを作ればいい。でも外惑星のミッションは数百年に一回しかチャンスがなくて、失敗したら再挑戦はできないんだ。火星なら一年半ごとに再挑戦できるけど、外惑星は大変。
外惑星のミッションは失敗したら再試行できないって言うけど、同時に10回のミッションを送ればいいじゃん。失敗を待ってる必要なんてないさ。
全てが同じように失敗する可能性もあるって。
10チームを異なる国や企業に任せればいいんじゃない？
それを「再導入」として捉えるのは良い方法だね。早い段階でソビエトに対抗するためには、その戦略が一番早く成功する。面白いエピソードもありがとう、そして面白くないエピソードには同情するよ。
SpaceXは、ほんの一回の失敗で破産の危機に瀕していたんだ。それが失敗してたら、今、アメリカ政府を運営していた彼はどうなってたんだろう。再利用可能なロケットの愚かさについて話してたかもね。
もしBoeingと同じ額の助成金を受け取っていたら、そんなにギリギリの状況にはならなかっただろうね。3年遅れもあったし、奇跡は生まれなかったけど、結局はBoeingがまだ何をしようとしているかよりも安くていい結果になった。
Falcon 1の話をしてるんじゃなくてCCDevの話じゃないよ。CCDevには近い呼びかけも、Falcon 1のための助成金もなかったから。
修正ありがとう。ただ、Falcon 1の開発から得た知識がFalcon 9のロケット開発や再利用性の最適化にかなり役立ったんじゃないかと思うよ。だってFalcon 9の開発はFalcon 1がまだ運用中の時期に始まったから。
アイディアをバカにするのって本当に愚かだよね。根本的にバカなアイディアかどうかを見極めるには人間には限界があると思うんだ。
最初からSpace Shuttleのデザインは変だと思ってたよ。まるで委員会が作ったみたいだった。実際、正しかったわけだし。
あれは特定の空軍の要件に応えるために設計されたんだよ。スパイ衛星を打ち上げて戻るために、一回の軌道でそれができるようにね。だから、Shuttleの設計がHubble Space Telescopeに影響を与えたかもしれないんだ。
同じこと言ってるけど、もっと具体的な例が挙げられてるね。委員会で作られたことを指摘している点も同じ。Shuttleは元々かなり大きな計画の一部だったんだ。
NASAは超保守的な安全第一の環境って言われてる割には、かなり大きな固体ロケットブースターを使ってたのが面白いよね。サターン時代の失敗を考えると、もっと学ぶべきことがあったと思う。
固体ロケットブースターには問題ないと思う。しかし、限界を見極めずに寒い時に打ち上げたのが問題だね。サターンで使ってたら、すぐには間に合わなかったかも。
チャレンジャーのことに限った話じゃなくて、一般的にSRBは使い捨てみたいなもんだからリスクが高いんだよ。再利用時代に入るこれからのことを考えると、それもあんまり現実的じゃない。
SRBは再利用されてたよ。でもShuttleの部品は再利用するのにかなりの改修が必要だったんだ。
うーん、確かにそれは技術的には再利用だけど、現代の目標には合わないと思う。SRBsの利点はコストだけど、高価なものを再利用する方が安上がりで、安いものを使い捨てる方がかえって高くつくかも。
SpaceXの経済面ってどうなんだろう？私企業だから財務情報は公開されてないし、投資家のお金を燃やしてる可能性もあるんじゃない？
確実には分からないけど、彼らの分析によると、今はロケット打ち上げで健康的な利益を得てるらしいし、Starlinkで儲けてるみたいだよ。
確かに、打ち上げコストは既にその辺りの価格帯だったけど、SpaceXは競合を下回る費用で維持しているね。
彼らは価格を維持していると思う。できるだけコストを下げたいはずで、価格からコスト引いた分が利益になるものね。
SpaceXは他の発射業者を下回る価格設定だよ。規模から見ても、投資家のお金を燃やしてるとは考えにくい。再利用のコスト削減のおかげだし。
彼らの収入の大半は政府からの補助金や助成金だって言われてるよ。だから、会社のオーナーが政府に「コストを削減」って言いに行くのは面白い。
SpaceXが政府からの補助金はほとんど受けていないと思うよ。政府に商業サービスを売ることはあっても、それは助成金じゃないから。
うーん、月に行くために政府が彼らにお金を与えたこと知ってる？
いや、そんなことはない。政府はArtemisプログラムを通じて月に行こうとしてるし、NASAは人間の着陸システムの提案を募集したんだ。SpaceXが選ばれたよ。
投資家からの資金調達が続いてるなら、その経済性が悪くないっていう証拠だと思う。結局、投資家は将来が良いと確信してないと、赤字を我慢しながらの資金提供は続けないからね。SpaceXが資金を集められるってことは、今のキャッシュフローが悪いほど将来が明るいってことだと思う。
経済性はおそらくうまくいってなかったと思う。立ち上げ企業がStarlinkをモデル化するには、顧客からの資金提供が不可欠だし、初期の研究開発を支援するのは難しいはず。縦の統合がここのビジネスケースを強化してるんだよ。
SpaceXにはマスク以外の投資家もいるの？彼が立ち上げたと思ってたんだけど。
マスクはSpaceXの総株式の42％、議決権の79％を持ってる。他の投資家は低レベルな従業員からGoogleやFidelity、Founders Fundまで様々。実際、数百人の投資家がいるんだ。超富裕層ならSpaceXに投資するのは簡単だし、一般人は彼らにとって価値がないから相手にされない。
ありがとう、興味深いね！
マスクが42％の株式と79％の議決権を持ってるってことは、彼らのバランスシートは負債と資本の比率はどうなってるの？理論上はたくさんの負債を持ってても、一人の株主だけでも可能だよ。
バランスシートは負債よりも資本がほとんどだと思う。投資の需要がすごく高いから、資本で必要な投資を引き寄せられてる。大半の企業がそうだけど、彼らは負債よりも資本を好むはず。さらに、マスクの議決権の希薄化を避ける仕組みもあるよ。
『大半の企業がそう』ってどういう意味？多くの企業は負債を利用しても問題ないし、むしろ好む場合もあるよね。銀行は特に負債の比率が高くなりがちだし。
Starlinkや広範なSpaceXに投資したいなら、Alphabetを買うのが一番簡単だね。
マスクは、想像力が豊かで、お金もあって、その想像を制限も内部政治もなしに実現できるってことなんだ。
これって本当にそうなのかなぁ。みんなが頑張ってると、自分が成功する可能性が低いんじゃないかって思っちゃうよね。確かに、今のpublish or perishの環境じゃ、リスクを取るのが難しい。だから、みんなリスクの少ない他の面白いことに目を向けるんだ。まさにそんな感じだと思う。
そうだね。Feynmanも物理学がつまらなくなるって言ってたのは、教育が均一化されすぎてるからだよね。画一的なカリキュラムが科学の創造性を損なうし、もっと厳密な思考と真実を追い求める勇気が必要だよ。
今の革新的な科学は、2つの異なる分野が交わるところで起きることが多いね。興味深いのは、違う分野出身の人が特有の視点を持って新しいことに挑戦すること。
新しい解決策を発見するには、昔のやり方を試すのが大事だと思うんだ。
4分でマラソンを走るのも、10分で83本のホットドッグ食べるのも、最初は無理だと思われる。誰かがクレイジーで挑戦してくれるまでは。
特定の分野で解決策がないからって、それを見つけられないわけじゃないよね。何か月か磨けばいいアイデアが出てくるかも。
問題を解決するためにまずは既存の研究を読む前に自分なりのアプローチを考えるのが良いよ。先に他の人の考えに触れると固定観念に囚われちゃうし、逆に重要なアイデアを逃したりする。
それ、10年前に法律の本で読んだ。まずは問題解決に少しでも挑むのが大事だって。そうすることで問題解決のスキルも磨けるし、既存の解決策も理解しやすくなるんだ。
もし過去の研究を読む前に問題に挑戦したとしても、どうなるんだろう？
その場合、新しいアプローチを思いつく可能性はかなり低いね。既存の研究を読むことで、可能性についての考えに大きな制限がかかっちゃうから。
なんかさ、出てくる無茶な公理を調べるために、常識外れなセッションを試みた人もいるんじゃない？
最悪の場合、新しい視点は得られなくても、何かは学べる。そして他の問題にも挑戦できるチャンスもあるよね。以前の研究からは「明らかに」見落とされている可能性も発見できるかもしれん。
マジで言うけど、もし良ければLSDでも試してみたら？か、普通じゃない思考から解放される何か。
自分のアイデアを先に考えると、執着しちゃうこともあるよね。事前に文献を読まないことが良い結果につながるかもだけど、実際それを素直に受け入れることも大事だと思う。
Balatroの開発者は既存のデッキビルダーを意識してなかったわけじゃなくて、Luck be a Landlordに刺激を受けたんだ。でも、そのジャンルがどれだけ大きいかは知らなかったんだよね。
ちょうど、2025年2月7日のBloombergインタビューでの詳細もあるよ。
『彼らは君を応援している』って彼女は笑って言った。けど、みんなの助けがなければできなかったってミロは言った。『それが真実だとしても、君が試す勇気があった』。『それが、このクエストで地味に重要な点だ』って王が言った。
大学時代に教授が、すごい偶然でオープンな問題を解決した話がある。彼は意図的に、課題の中に一つだけオープンな問題を入れて、提出直前に訂正してたみたい。
その教授に関するエピソードは、George Dantzigの話とも関係してる。彼は授業に遅れて参加した時、宿題だと勘違いして解いた問題が実は有名な未解決問題だったんだ。
ネットのおかげで他人の能力に対する現実とのギャップが大きくなってる気がする。過去40年のソフトウェア界で活躍した天才たちも、パフォーマンス重視の場面でハッシュテーブルを使ってたのに、みんなが何か見落としてると思うのはおかしい。知識や技術が広がっても、それを活用できないのは悲しい現実だよ。
無知からのアプローチは最悪だと思う。進歩は知識に基づくもので、最近のコンピュータサイエンスの成果を理解していることが大事なんだから。著者だって深く考え、文献を調べていたからこそ今回の成果に繋がったんだろうし。
しっかりした指摘だね。無知が発見に繋がるなんてナンセンス。少ない例から何かを学ぼうとするのは無理があるし、一つの例だって有効じゃなかったんだから。むしろ、新しいことに挑戦する姿勢が重要だと思う。
最近のVeritasiumの動画でも同じようなアイデアが出てたね。DeepMindがAIをトレーニングしてた時、明らかな情報を隠したことで、予測精度が向上したって話。似たようなアプローチを考えられるのは面白いよ。
常識にとらわれずに考えるのは大事だけど、過去の知識を学ばなければ同じ過ちを繰り返すことになるから難しいよね。やっぱり明確な答えはないな。
Balatroの話題を持ち出してたけど、開発者はちゃんとデッキビルダーをプレイしてたみたい。特にSlay the Spireはそのジャンルの一番影響力がある作品だから、無視はできないよ。
特にSlay the Spireって言ってたけど、開発者本人がそのゲームをプレイしてないって言ってるね。これはちょっと驚きだ。
箱の存在を知らない状態で自由に考えるのは難しいかも。知らないと、過去の知識を再発見してしまうリスクがあるから、無闇に挑戦するのは危険だと思う。
俺も数年かけてスクラブルのエンドゲームソルバー作ってるけど、色々チェスのテクニック使ってるんだ。でも、フランスの人が作ったソルバーが俺よりずっと早く解くんだよね。彼のムーブジェネレーターは最適化されてないのに、ポジションを少なく見てるのに早いってことは、木をより良くプルーニングしてるってことなんだと思う。彼はあんまり詳しくは教えてくれないんだけど、話してると彼なりの賢いアスピレーションサーチやってるみたいだ。彼はトレーニング受けたことないのに自分で全部考え出しているのが面白い。
Andre Geimは新しい分野に入ると基本を学ぶことが大事って言ってたな。他の人も自分なりにやってるし、どちらも素晴らしい結果を生んでると思う。
局所最大点に達した場合、進展するためには大きな飛躍が必要だけど、その多くは失敗に終わる。成功例の陰には無数の失敗があるんだ。
抽象的な問題を解決するにはしばしば簡略化したモデルが必要だけど、それが間違ってると逆効果になることもある。最近の結果は珍しいし、基礎的な結果かもしれないけど、深い知識があれば進展があると思う。
Neal Stephensonが『Innovation Starvation』って記事で言ってたことを思い出す。新しいアイデアが出ても、それが過去に試されたもので、成功してたら特許で手が出ないって状況。検索できる今だからこそ、アイデアが潰されてるんだ。
Ramanujanもいろんな数学の問題に取り組んでたらしいね。ケンブリッジの授業では未解決の問題も出題されることがあるみたい。
Ramanujanは多くの数学の本を読んでいた。
初心者の幸運って言葉があるように、何も知らないことが成功に結びつくこともある。過去の研究を知ってしまうことで、新しい考えを築くのが難しくなることも。知識を深めることが大事だけど、既存の概念に縛られずに遊び心を大切にすることも大事だと思う。
著者たちは別の研究で同じアイデアが使われてたことも知っているけど、そのインスピレーションは別の最近の研究から来たものだってこと。既存の知識は確かにクリエイティビティを制限することもあるけど、両方が必要だと思う。
それは『初心者の心』、つまりShoshinって呼ばれる。
問題を解くベストな方法は、先行する似たような取り組みを知らないか無視することかもって考え始めてる。これって言わば「アインシュタインは数学ができなかった」という誤解だね。確かに、注目される新しい研究は既存の合意にとらわれてないことが多いけど、ほとんどの問題は他の誰かが解決したやり方が一番だよ。それを無視して新しいことする時、面白い結果が出ることもあるけど、普通は皆がやった方法がベストだと思う。
これは確認バイアスだね。ポジティブな結果の話ばかり聞くけど、大多数は古いテクニックを再発見して、長い時間かけた論文が却下されてる。
KrapivinはYaoの予想を知らなかったから突破口を発見したって言われるけど、それを示す証拠はないと思う。Yaoの予想は普通の学部生が学ぶ内容じゃないし、私は学校で習わなかったよ。彼がどうやって洞察を得たのか、本人に聞かないとわからないね。ハッシュ計算は直感から外れたもので、未だに驚きがあるのは不思議じゃない。
いい指摘だね。Krapivinは元教授と共著で別の論文に取り組んでたから、彼は無知から来たわけじゃない。ほとんどの人がこの予想を知らなかったから、無知も特別な要因じゃないよ。
RPSによると、彼が言ったのは「ほとんど roguelike deckbuilders をプレイしたことがない」ってことだよ。roguelike じゃない素晴らしいデッキビルダーがたくさんある。DominionやMagic the Gathering、Hearthstoneはプレイしたことあるのかな。
人間の理解には問題があって、既存の知識をいつ適用すべきか、またはすべきでないかを知ることが大事だよね。正しい方向に進んでるのか、それとも全く新しいことを試すべきか、それが分からないから悩む。コンピュータサイエンスの文脈で言うと、解決法を探すのにDFSかBFSを使うべきなのか、未来のコストが分からないからUCSやDijkstraは使えないし、解決法がどこにあるかも分からないからA*は無理だね。
君の考えはL.P.Hammetという物理有機化学の神祖が書いたもので、理論の違いを強調してるんだ。「この理論が間違っていると思い込みすぎると、良い結果が出ないリスクが高まるが、賭けることを好む人たちがいるのも事実だ。」科学では、そういうリスクを取れる人を応援すべきだという内容だよ。
Unaccompanied SonataはOrson Scott Cardの短編小説で、極端な例を示していて、八十年代に読んでからずっと心に残ってる。
いい指摘だね。Danny TrejoもTim Allenも、有名になる前に刑務所にいたけど、それがプロの俳優になるベストな方法だとは思えない。外部の人が新しい視点で問題にアプローチするのは良いけど、大半の泥臭い進展は、その分野をよく知る人たちから来るものだと思う。自分が賭けをするなら、無知な状態ではなく、まず勉強してから挑むべきだね。
この理論については1960年代に書かれた「The Structure of Scientific Revolution」という本があって、科学がどのように進展するかは一直線ではないと述べている。外部の考え方や教育から進歩がある例が多く、例えば地動説は地球中心説からは生まれなかったって。
天動説と地動説についてだけど、3blue1brownが最近出した動画がいい感じに説明してるよ。古代ギリシャでは地動説が知られていたんだけど、地球が太陽の周りを回ると星の見え方が変わるはずで、当時はそれを見られなかったから天動説が信じられたんだ。コペルニクスの貢献は新しい理論を作ったことじゃなく、惑星の軌道の周期を計算したことにあるんだよ。
ちょっと意地悪かもしれないけど、クーンの認識論を公平に表現してないと思う。クーンは方法の価値を定義するんじゃなくて、批判的研究と蓄積的研究の違いを紹介してるんだ。批判的な研究は新しいパラダイムを求めての必要から生まれることが多いし、これはコペルニクスの例でも同じだね。
地動説は知られてたけど、コペルニクスのモデル自体は当時の証拠や物理の知識に合わないやつだったんだ。星の動きの予測が難しくて、ケプラーが楕円軌道を見つけるまで解決しなかった。他の実験やニュートンの運動法則が結びついて、ようやく主流になったんだよ。
クーンの本を読んだばかりなんだけど、あの本は単純にこの理論についてだけではなくて、すごくニュアンスがあるよ。若い科学者が変革を推進することが多いけど、完全に知らない人の例はなかった気がする。ぜひ読んでみるべきだよ、名著には理由があるから。
自分はいつもそう考えてきた。物事がどう働くかを探る前に想像できるタイプだけど、それにはあまり利益がない気がしてる。違った考え方はキャリアの妨げになったり、先生にイライラされることが多かった。子供の頃、ヒンジでできた幾何学的なボールを見たりして、ギアに関しても考えたんだけど、後に車のCVTトランスミッションを見たとき、同じ概念だと思ったよ。
最先端の状態が局所的な最大値にあると同意するけど、過去の試みを無視してアプローチするのが最善と言うのはあまりに一面的だと思う。イノベーションは稀で目立つけど、既存の概念内での改良も大切なんじゃないかなと思う。進歩には両方が必要なんだ。
去年のアドベント・オブ・コードにはNP完全の課題があったんだけど、近似アルゴリズムが不足してたから、もう諦めようかと思った。でも実際はデータが小さくて揃ってたから、なんとかできたんだ。
これは本当に難しい問題だと思う。無知が解決策ではないけど、正当と思えるものを脇に置くのも難しい。広い領域の知識を十分に持つのは無理だし、大きなモデルが知識を蓄積するけど、それが独善的な信念を作り出す可能性もあるから注意が必要だと思う。
思考の落とし穴に陥るって、この『The Footpath Way』の段落を思い出させるな。人間が自分とは何かを考え始めると、いろんな道に迷い込んでしまうって話なんだ。でも、考えることで得る一つの知識って、何が重要であるかがわかることかもしれない。
哲学の教授が同じことを話してる動画を見たんだけど、偉大な学者と偉大な思考者の違いについてだった。多くの思考者は過去の作品を誤解して素晴らしい哲学を作ったって言ってたよ。自分の道を切り開くことが重要だってことを忘れないようにしたいね。
最終的には、少ないモジュールでテクニカルデモをやってみたい。数キロボルトのDCを効率的に変換する様子を示して、DCがACより効果的であることを示したいんだ。高い電圧では接地が必須になるから、ほぼ自動変圧器みたいにして、安全対策を講じつつね。DCなら、トランジスタを完全に定常状態で動かすことができる。それに、変換機は小型で軽量だから、列車で重い変圧器を避けられるんだ。
既存のアプローチにとらわれないで考えることが重要だと思う。これは簡単じゃなくて、柔軟な思考を育てる必要がある。ただ、知らないことは新しい発見につながることもあるけど、基礎の理解があってこそ。新しいことを学ぶときは、最初に自分でやってみてから、既存の方法をチェックするのが良いと思う。
一応そうだね。新しい思考の枝分かれが生まれるけど、既存の常識を全て無視するのは危険だ。効率的に学ぶには、既存の理論を参考にすることも大事だよ。
似たような努力を無視するのが最良の方法だとは思わない。宝くじを買う大多数が負けるように、良い結果が得られない場合も多い。
Walter Isaacsonが言ってたように、時には常識を拒否しないと進展がない場合もある。アインシュタインもその一人で、大学の外にいたからこそ進んだ部分もあると思う。
成功例から『最良の方法』を引き出すのは良くない。過去の試みによる知識を無視することは、進展を妨げることがある。大切なのは、前回のアプローチを学びつつ、どこで挑戦できるかを見極めること。
個々にとって最良なのか、社会全体にとっての最良なのかで考える必要がある。限定的な方法で確実に小さな改善をするのが個人としては良いけど、社会全体では大きな飛躍を狙う必要があるからね。
下の大学生が過去の研究を理解しつつ新たな結果に取り組むのは重要だ。その意味では、常に権威に頼らず直接理解しようとする姿勢が大切なんだ。
他の考えが頭にない時の方が、自由に考えるのは確かに楽。時には直感的に新しい視点で考えることが有益だと思う。
過去のリサーチを全部読むのは時間がかかりすぎる。研究に年齢制限もあるし、結局再発明に終わることも多い。でも、自分で何かを生み出すのは新しい手法としても悪くないかも。
ドメイン知識は大事で、それを使うことで問題を解決できる。知識を活用することで、大きな問題を分解して、シンプルにすることができる。ただし、過去に多くの人が苦労した罠にもはまるリスクはある。両方を持っているべきだと思う。
新しいものを作りたいなら、一般的な知恵を無視する必要があるかも。ただし、愚かな挑戦だと言われても進む覚悟は必要。
既存の知識を基に問題を解決するのは、局所的な最高点を見つけるには効果的。でも、新しい斜面を探すためにはゼロから始めるのも必要。どこにいるか分からないから、トレードオフがある。
大学の講義で問題が出てすぐ解決策が来ると、他の解決策を考えているから耳を塞ぐことがある。
問題を教える前に解決策を見せないようにして、新しい視点を引き出すことがある。それが重要だと思う。
驚くべきことに、ユーザーインターフェースでも同じことがあった。前のデザインを見ないで初めてのデザインを考えた人たちが最良の初期デザインをしていた。
deepseekのCEOの採用方法がこのアプローチに似ている。若くて経験の少ないチームに新しい視点をもたらさせることで成功した。
似たような努力を知らない方がいいかもという考えは、状況による。問題に取り組む学生だった場合は、それが教育にはいいかもしれないが、製品を出さなきゃいけない場合は、信頼できるアルゴリズムを使うべき。
時にはそうでもないこともある。多くの時間を無駄にすることもある。George Dantzigは宿題だと思って二つの未解決問題を解決した。
実践的なエンジニアリングとして、既存のライブラリを拒否してゼロから取り組むサイドプロジェクトが好き。機能の反復には時間がかかるが、シンプルで組み合わせ可能なツールが製品化することある。
筋肉を過剰に鍛えることはあるけど、意図的にそれを使わないことで別の筋肉を鍛えられる。限界があることで創造性が高まるのは知られてるけど、従来の方法を学ぶのが一番だと思う。疑問を持つのはいいけど、個人的な報酬が少ない気がする。
昔はそう考えてたけど、今は反権威的で反抗的な性格があればアクセスしやすいと思う。今のところは受け入れつつも、”でも多分そうじゃない！”って考えるのが大事だ。
問題を一番単純な形で評価することで洞察が得られることもあるよね。サクッと新しい視点で考えるって感じ。
問題に取り組むには、過去の努力を知らないか無視するのがいいかも。生存者バイアスってことで、過去の失敗を知らないと予測できる失敗を繰り返しちゃうよ。
過去のアプローチを知らない人が多いからそう思うのかもね。
過去の成果を無視する必要はないけど、”どうやって実現する？”ってシンプルな質問に集中すればいいんだよ。
AIの最大のリスクは、使うことで思考が平均に戻っちゃうことだと思う。
これおかしいよ。答えを二重チェックして、間違いを見つけて、必要に応じてコードを適応して、リストされた情報源を元に素早く学ぶべきなんだ。
これが基本的な仕組み。前の文脈を考慮してトークンの分布を学ぶ。期待される出力はその分布の平均値になる。平均に戻ることが危険だって話。
面白い考えだね！Clifford Cocksは気づかずにPublic Key Encryptionを発明したんだよ。
まったくその通り！完全に同意だわ。このブレイクスルーがAntirezの投稿と同時に起きるのは面白いね。
再発明の車輪を壊さないっていう無言のルールを気にしすぎなんじゃないかな。
選択バイアスのある話だよね。デッキビルダーゲームを知らない人がたくさん挑戦して、成功していない人も多いはず。
2つの異なるアプローチで、人によっては実際のものを使って遊ぶのが好きな人もいれば、抽象的なものを楽しむ人もいる。
箱の場所を知らないと、外の世界を考えるのは簡単だよね。
ブレイクスルーが起きなかった時も考慮に入れないといけないじゃん。
すごくいい言い回しだね。スタートアップを立ち上げるのが難しい理由についてpgが言ってたことを思い出す。
スタートアップのアイデアがあったら、自分が欲しいプロトタイプを作ってみて、それが再発明かを見極めるのが良いよ。
お客さんが再発明かどうか決めるのがベストだよ。多くの場合、創業者が早とちりすることがあるから。
まったくその通り、必要に応じてリスクを管理して、プロジェクトの進展に依存しないようにするべきだね。
突破口ってのは繰り返し作業から生まれるものも多いよね
良いゲームを作るのは科学的なブレイクスルーとは言えないな。前にも優れたデッキビルダーはいたし。
Balatroはただのデッキビルダーの組み合わせに過ぎず、特に目新しいものはないと思う。プレゼンテーションは良いけど、メカニクスとは関係ないし。
自分は完全に反対だな。Balatroは馴染み深いゲームメカニクスを動的にした。過去にやったことはあるかもしれないけど、思いつかないよ。スコアリングメカニクスとメタゲームの組み合わせで成功したんだと思う。
リアルタイムチェスも知られたゲームを動的に変えた例だね。強い位置が変わるんだ。
良い例えだね。Balatroはルールをゲーム中に持っていくのがさらに進んでるけど、前例はある。
非常に説得力がある表現だね。
最先端を知っている場合、難しい突破口があるかもしれないって点を見落としてるね。
ブレイクスルーの中で熟知している方が簡単なものの割合はどうなんだろう？偶然の発見をする人数がTerrance TaoやErdősの成果に匹敵するには、どのくらい必要だろうか。
その問いは違う気がする。Yaoの予想に精通してない人はたくさんいるし。どんなに読書量が多くても、ほとんどの分野では最先端に詳しくないから、偶然の発見のチャンスはあるよ。でも、この子はアウトサイダーじゃなかったし、世界で一番厳しい機関でコンピューターサイエンスを学んでたから、この発見をしたのは coincidence だと思う。
それって本質を外してる気がするな。最新の研究を知っていると突破口を見つけるのが難しい時もあるかもしれないって話なんだろ？ただ、その場合の具体例を一つでも挙げてみなよ。記事でもKrapivinはYaoの予想を知らなかったかもしれないけど、彼は自分の分野の現代研究には精通してたし、それを元に自分のアイデアを発展させたかも。Balatroの開発者も特定のインディーゲームのニッチなジャンルは知らなかったかもしれないけど、現代のデザイントレンドには疎くないし、ゲームを極めて中毒的に魅力的にする技術も知ってたはず。結局、これらの例は専門家が自分の専門外で盲点を持つのは普通だと思う。新しい視点があれば解決策が見えることは多いけど、過去の努力を無視するのが一番の解決策だとは思えない。
そうだね。典型的なベースレートの無視だ。
同様に、FortranやAlgolのチームも最初からたくさんの最適化をしてたけど、それは当時の先進的な技術だった。
君の言ってることは理解できるけど、過去を知っている人たちの突破口の数が圧倒的に多かったらどう思う？その考えを変える？
Einstellung効果についてはこちらを見て： https://thedecisionlab.com/biases/einstellung-effect
こういうことが注目されるのはそれが特別だからだよ。ほとんどの場合、他人の努力を無視すると無駄な時間を過ごすことになる。
こういうケースがある一方で、何千人もの人がもう発明されたものを再現するのに時間を無駄にしてるよ。
研究分野が「アウトサイダーアート」の投稿を受け入れることで、両方の利点を活かせるんじゃないかな？
そうそう。それをLeGenAIsやLeGPTsに組み込んで、進化を完全に消滅させる方向に進んだんだ。
全ての重要な発見は、みんなが真実だと思っていたことを覆してきた。無知は発明においてスーパーパワーになりうるよ。
この例みたいなことは素早く思いついたケースを元に結論を出そうとするけど、実際は覚えてる例だけだと的外れになることも多いよ。で、実際はどれだけの試行があったのかってのも考えてないんだよね。
情報を読むだけじゃなくて、自分が見つけた問題を解決する方が大事なんじゃないかな。
革新と発明の違いに触れたね。真の発明はどんどん難しくなってきてるけど、革新はまだまだ活発だよ。
成功した人たちの話だけじゃなくて、失敗した人たちの話も大事だよね。新しいことに挑戦したけど上手くいかなかった人たちの話はあまり聞かないし。だから、何かを始める前に他と比べることが重要だと思うよ。
前にボタンホールに通せるラベルを作るソフトを書いた時、無理だと思ったけど、他の会社の例を見てできることに気づいたんだ。可能性を知ることの大切さを再確認したよ。
すごくいい話だね。科学は可能性の限界を定義することだと思う。新しい下限を見つけることで新しい方向を考えるきっかけになるし、その思考が好きだよ。
テクノロジー系の話では、可能性を信じて行動するのが基本だと思ってる。
ああ、確かに新しい発明がうまくいかないことの方が多い気がするし、既にあるものを再発明することも多いよね。
何度も新しいアイデアを考えたと思ったのに、実はもう存在してたってこと、かなりあるよね。よって、第一原則に関するものはもう恣意的に探査されていることが多いんだよ。
それは二通りの見方ができるね。最初の発見じゃないけど、価値ある発明として裏付けられるって感じ。何かを再発見したと思ったら、少し新しい部分があるかもしれないから探ってみるといいよ。
科学の進歩は過去の業績を活用して、他の過去の業績を覆すことやで。これはいつもそういうもんや。
イノベーターになるにはちょっとナイーブじゃないと難しいよな。
“第一原則から考える”っていう動きがすでにあるような気がするわ。
いや、第一原則から始めるのは効果的やで。過去の業績を知らないことはこれを助ける。
Haloのサントラを作った人は影響を受けるのが怖くて音楽を聴いてなかったらしい。
あなたの観察に従って、再度観察することを勧めるわ。
今は、ハルティング問題を知らない賢い人が必要やな。
先週、バラトロを削除しないといけなかったんやけど、ほんまに最高やった。
ちょっとした皮肉なんやけど、少ない革新がアカデミアにある理由を考えてる。大きなブレイクスルーは他の誰もやってないことをする必要がある。結局、リスクを取らないのが進歩を遅くしてるんや。
はい、少なくともいくつかの競争するAIアーキテクチャが必要やな。
違う、そこがポイントじゃないんだよ。Richard Feynmanの勉強法を参考にして、問題を理解するためにはまず自分で解いてみるべきだと思う。その後、他の人の解法を読むのが理想的。
これは囲碁をプレイする時にも当てはまるみたいだね。
これに関しては素晴らしいニュースだと思うよ！
monortに感謝！「ファンネルハッシング」という動画についての概要だね。最初の部分がn/m、次がn/(m^2)といった具合に分割していくんだ。空きスロットが見つかるまで試していく仕組み。詳細はもっとあるけどこんな感じ。
実際、彼らはファンネルハッシングとエラスティックハッシングの二つのアルゴリズムを提案しているよ。ファンネルハッシングは“貪欲”で、エラスティックハッシングは“非貪欲”で、より良い性能を提供しているんだ。
メモリ制約のある環境に役立ちそうな面白いアイデアだね。
非貪欲であることでYaoの仮説を回避するという点は、記事と矛盾してるかもしれない。記事の理解が間違っているのか、他に気づいていないことがあるのか、確認したい。
もう少し詳しく説明してもらえる？記事には、非貪欲なハッシュテーブルにもその制限が及ぶか確認したって書いてあるよ。
上のコメントによると、ファンネルハッシングは貪欲で、エラスティックハッシングがさらに優れた非貪欲手法だって。
動画を見ててよく分からなかったのは、衝突がうまくいかないときどうなるかだよね。14:41あたりの’一つの特別なレベルでキーをキャッチ’の話が関係してると思うんだけど、あれは固定サイズだから満杯になることもあるよね。その場合はどうするの？
デリファレンステーブルは、アロケーションが失敗する可能性をあるってことだね。
なるほど！じゃあ、テーブルをリサイズするのが最善策かな？内容を分析するのに含めておくべきかもね。発生の確率は低いと思うけど、まだ論文を読んでないから強い意見はないよ。
そうだね、スイステーブルもそうするだろうし。論文は漸近的な要素に焦点を当ててるから、そういうエッジケースは扱わない理由も分かる気がする。
これ、私も気になったよ。今まで読んだ実装はなんか全部放棄してる感じで。ハッシュテーブルは事前にサイズを決めないのが利点じゃなかったっけ？
プログラマーが関わるハッシュテーブルは、基本的に固定サイズで、必要に応じてリサイズする感じ。でも固定サイズってのはオープンアドレッシングスタイルのハッシュテーブルには特に重要な部分で、テーブルがどれだけ埋まってるかを話すためには必要だからね。
ファンネルハッシングは欲張りだね。
ちょっと細かすぎる気がするけど、ここでの’欲張り’は均等なプロービングを指してるんだと思う。著者が’非欲張り’って明言してるから。
そこで著者が言ってるのは、’最悪のケースでも予想されるプローブの複雑さがlogの二乗で達成できたってことです。非欲張りのアルゴリズムについてはあまり時間がないけど…’。動画で説明されてるファンネルハッシングは欲張りってことだね。動画は非欲張りのエラスティックハッシングについては触れてないし。’欲張り’の意味は、検索と挿入が同じプローブシーケンスを使って、挿入はそのシーケンス内の初めての空きスロットを使うことだよ。
ああ、説明ありがと！
