AI共科学者が科学的ブレイクスルーを加速する！
引用元：https://news.ycombinator.com/item?id=43102528
記事をちゃんと読んでるのかな？記事には、>『AI共同科学者を使って薬のリパーパスの予測を支援し、研究者の助けを借りて予測を検証した』と書いてある。新しい薬候補も提案され、その結果が実験で確認されたって。これって結構すごいことだと思うよ。
Googleの研究論文を昔から読んでるけど、彼らはちょっと結果を盛りすぎることが多いんだよね。他のグループも同じだけど、Googleは特に目立つ。かなりの専門知識がないと、特例的な主張を見抜くのは難しいんだ。
この記事のリンクはその例には当てはまらないよ。Googleはチップ設計の方法をオープンソースにして、TPUや他のチップの生産に使ってるから。
今も論争が続いてて、Googleが結果を大げさに言ってるって意見が多いね。TPUsの話についても、そこはちゃんと理解した上での意見だよ。
Googleはこの『論争』にすでに反応してるよ。公式な見解もあるから、見てみるといい。
そのことは知ってるけど、Jeffの主張はあんまり納得できなかった。以前彼と仕事したことがあるけど、彼も完璧じゃないしね。
確かに、Googleのプレスリリースはそのまま鵜呑みにしちゃいけないのは当たり前だと思う。基本的にどの企業でも同じことが言える。
Googleは上場企業だから、株主のために全てチェックが入る。印象に残るものが必要だから、マーケティングも働くよ。
この現象は公立大学や私立大学でも同じで、学術論文でも似たようなことが起きてる。特に大学のPRは注意が必要だ。
私は違うけどね、これまでの四つの大学での十年間はそんなのなかったよ。
論文自体は大げさには書いてないけど、大学のPRは結果を過大評価しがち。メディアはさらにその話を大きくするから注意が必要だよね。
どんな研究でも便利な結果は強調され、不都合なものは無視されがち。著者が言わないことを理解するためには幅広い知識が必要だよ。それが科学報道が誤情報になる理由でもある。
そうそう、Googleは再現性のない研究が多いよね。特にリソースの問題で、他に同じ条件で試せる人がいないこともある。
確かに、誰もがミリオンクラスのコアを持ってるわけじゃないし、それを理由に結果を出さないのは厳しいよ。思いつき公表のチャンスを奪うことになる。
UPR阻害剤を使うのは新しい仮説じゃないね。以前に成功したものを別の細胞で試すだけだから、もう少し新しい挑戦が欲しい。
＞私は高校2年生が提案してもいい結果だと思う
AIの共同科学者としての作業は大規模に並行処理できるから、高校生のアイデアでもいいものが出てくるかも。
そんなに高校生を増やす必要はないよ。薬の開発はアイデアより実験や合成にお金がかかるから。
自動ピペッティングマシンやそれを動かすロボットが必要って言ってるのかな？
それらの機械はもうあるし、私たちも使ってる。でも高いよね。
自分はTranscripticみたいな作業セルに組み込むための顕微鏡を作ったんだけど、CEOからのフィードバックがすごく勉強になった。部品の故障でシステム全体がダウンする可能性が高くて、だから高品質な部品を選ばざるを得ないって言われたんだ。信頼性を高めるにはお金がかかるし、Googleの本スキャンが成功したのも、シンプルで安価な機械を大量に作っていたからだと思う。
Googleが分散システムに勝利したのも似たような感じだよね。みんなが高価なサーバーを買っているときに、彼らは安いPCを使ってお手軽に運用してた。 自分もGoogleで分散システムを使って生物学をスケールさせたかったんだけど、結局Google Researchには入れなかった。DeepMindがたんぱく質構造の予測を解決したから、まあ仕事は済んだけど。 製薬研究って、できるだけ早く、安く、正確に実験や分子の合成をするエンジニアリングの問題なんだよね？ それに加えて、VCの資金調達が試験を進める金融的な問題でもある。実験室や他の国で結果が出ていても、規制のためにお金が必要なんだ。 代替システムを考えると、VCが規制を気にせずに、医薬品による損害を補償するためにX十億ドルをエスクローに置くって方法もありじゃない？ ＞規制は倫理的に許可される範囲の最低限を示しているだけで、上限ではない。これって、薬の試験を行う際には必要な最低限のガイドラインを示すもので、倫理的な違反を防ぐためのものだよね。そういう基準を軽視するのは危ないと思う。 ＞アメリカのFDAは過剰に慎重で、時には逆効果になってると思う。例えば、たった一つの失敗作を出さないために、数百の命を救う薬を禁止してしまうこともあるから。 ChatGPTがリリースされてたったの2年で、”印象的な高校2年生”レベルのAIがもう飽きられてるって感じだな。 特に、人工的な”印象的な高校2年生”が幅広い領域で速く、信頼性高く、効果的なアイデアを出せることを考えると、人間の高校生よりも遥かにすごいかも。AIの可能性を抑えているのは我々だろうし、その価値を見逃していると思う。 昔はコンピュータが何か提案するなんてSFの話だったのに、今では全インターネットを読んで、実験を提案して、それでも”感心しない”ってどういうこと？ ＞全インターネットを読んで、実験を提案 AIが幅広く学習することで、新しい分野のつながりを見つけられるかどうかが気になるな。探求ができるなら、かなり期待できる。 数学の世界では、AIが最も得意な分野かも。完全にトークン化できるし、実験なしでも理論を証明できるから。ただ、このテストのように、AIが一部の過去の議論を合わせているだけという仮説を排除するのは難しい。 数学はLLMが最も苦手な分野だと思う。高IQな記号操作が必要だから。でも、LLMは広範なデータから新たな発見をする可能性があるのは人間には難しい。 この考え方は“確率的なオウム説が正しい、AIに知性はない”ってことだよ。それはAIの専門家が言ってることと逆なんだ。 Material SciencesでもAIが組み合わせを提案して新しい特性を見つける試みが進んでる。AIがただの見せ物だって言う人もいて驚くけど、多くの分野での発見を加速してるのは確か！ 視点と期待の問題だね。自動車は便利な発明だった。でも当時、馬と比べて完全ではなかったんじゃない？AIも同じで、人間より何でも得意だと期待すると失望するかも。でも、”コーサイエンティスト”って言葉からその期待が生まれるのもわかる。 ”Drug repurposing for AML”って笑っちゃうよ。自分はAMLのPhDやってて、分子サブタイプやエクスビボの薬予測してるから、これがほんとにランダムに感じる。いっそのことうちのパイプラインを紹介したいくらいだよ :) https://celvox.co/solutions/seAMLess サブタイプの意味と、それがどう薬の再利用に影響するのか教えてほしい。サブタイプは疾患の一部に対して化合物を試すのに役立つんじゃないの？それに、薬の再利用は自閉症みたいに分子的基盤がわからない病状にも使われてる。そういう場合にも有用じゃないってこと？ BEAT-AMLみたいな研究があって、選ばれた薬に対する反応を患者データを使ってテストしてるんだ。細胞株じゃなくて本物の患者データだよ。この情報を分子測定と組み合わせると、どの薬が患者のサブセットに有用か分かる。ただ、これは患者の治療法としてはまだ一般的じゃないし、クリニックではスタンダードがあるからね。最初は誘導化学療法が一般的で、選択肢も少ない。“ベネトクラックス”って薬が今のところは一番良いけど、免疫療法など新しい選択肢も出てきてる。AMLの細胞株での薬の再利用は、それほど新しいことじゃないと思うよ。 この研究に感謝するよ、ほんとに。 科学者ってランダムに言葉を探してるだけじゃない気がする。 自分もより良い未来を幻視してるよ。 ‘hallucinate’って言葉が機械学習の出力が間違ってる時に使われるのが気になる。別の分野ではモデルが間違った時の話は’errors’についてなんだ。誤差の大きさや構造的な性質についての議論があるけど、AIだと’幻覚’って表現される。まるでAIが体調不良で休む必要があるみたいで、ちょっとイラっとするんだ。 hallucinateは良い言葉だと思うよ。AIが完全にデタラメを作り出す時、それは正しい推論のステップの小さな間違いじゃないから。 まるで陰謀論みたいだね。トークンを選ぶとき、LLMの頭に銃を突きつけて’次に何出す？‘って迫ってる感じ。 この検索は、AlphaGoの手選択がランダムだったのと同じぐらいランダムだね。 確かにランダム検索に関してはその通りだけど、モデルが行ってる検索のドメインは違うね。AlphaGoではGOの全ての手でMCTSを使うから、ドメイン特化の検索だ。ここでは言語で検索していて、遺伝子や分子データ（RNA-seq、ATAC-seqなど）についての検索をしたい。例えば、ArcinstituteがEvo2を発表したけど、ある変異が病原性かどうか確かめられるんだ。 正直、これを使う理由が分からない。アイディアをつなげたり新しい仮説を思いつくためにAIは必要ないし、プロジェクトごとにユニークな方法で整理されたデータを取るための大量のデータパイプラインコードを書かせたくて、長い形式のドキュメントに収納されたマルチモーダルデータやメタデータを整理して大きなデータベースに正規化したい。 その通り、彼らは私たちが困ってない部分を自動化しようとしてる…それに、LLMがありきたりなアイディアを生成する問題は解決されてないと信じてる。 このルデイト主義は、外在化した死の衝動だ。 あなたは自分が正しいと思う割に議論好きだね。 どれも有意義な批判だな。私が知りたいのは、いつ作れるのか？ 実際にやるのが難しいんだ。すべての科学者は、自分が追求できる一つのアイディアに対して1000のアイディアがある。 AIがいいアイデアを出して、大学生でもできるタスクに分けたら、もっと多くの人が科学に参加できて、研究のスピードが上がると思うよね。 科学ではアイデアが制限要因じゃないと思う。機械にアイデアを出させて、その後テストをお願いしたいんだ。 この件について聞いたことがあるけど、アイデアを出すだけじゃなく、それを批評して順位付けするのも重要なんだ。良い仮説を選ぶのは難しい問題だから、これを機械に任せるのもありかも。 その研究者たちはテストしたい候補がたくさんあったと思うし、要するに「グーグルが投資したから注目された候補」ってことだね。アイデアが足りないわけじゃないと思う。 アイデアの複雑さが違うんだ。誰でも試せるシンプルなアイデアもあれば、CERNの博士号を持っている人しかテストできないアイデアもある。 ヒッグス粒子を見つけるのが難しいのは、大型衝突器を作らないといけないからで、アイデア自体は何十年も前にできたんだよね。 AIが複雑なシステムの自動化を信頼できる形で管理できれば、役立つと思うんだけど。正直、やっぱり自分でやった方が早いことが多いよ。 データ操作を色々試せるパイプラインテストの必要性が感じられる。手軽に試せるツールがあれば嬉しいな。最近はプロトタイプを作るのも大変に感じてる。 「The ALCHEmist」の論文を思い出す。LLMは大量のテキストを正しく解析するためのコードを書くには優れているけど、単にデータをAPIに流し込むだけの使い方ではもったいない。 ＞“アイデアをつなぐのにAIはいらない”ってことだけど、それはちょっと驕り高ぶりじゃないかな。AIは専門外の知識を知らせてくれる部分が重要なんだよ。仕事が減るわけじゃないけど、結果的には良い科学に繋がると思う。 なんか、これは傲慢に感じるなぁ。科学者はテストしたいアイデアがたくさんあるのが普通だから、仕事の一部なんだ。でも厳密なテストをするのが難しいんだよ。 その通りだね。厳密なテストは難しくて、高度な直感や知的謙虚さが必要なんだ。研究する際には「正しい質問をしてるか？」「適切な指標を見てるか？」「結果が雑音か？それはどのくらい重要か？」「混乱を引き起こしてないか？」って常に考えてる。これをスケールで素早くやるのは本当に難しい。コンピューターには助けてもらえない部分があるんだ。 俺も数えきれないアイデアがあるけど、そのアイデアを自動でテストできるようになったら最高だよ。AIの約束はそれなんだ。個人用コンピュータもそうだし、頭のための自転車なんだ。素早くアイデアを反復するのは当然の欲求だよ。道具を作る種族なんだから。 ＞アイデアは、君の分野の外で関連することを教えてくれるAIの一般知識者を持つことだよ。 確かに、マネージャーがソフトウェアエンジニアをLLMを促すだけで置き換えるのはすぐだね。 自分ができないことを誰かができると想像してみて、その人が自分のやりたいことを手伝ってくれる。 市場は本当に、直近の風向きに従って突進してるだけみたいだね。希望的観測だけど、本当にそれが多くの実際の結果を気にせずに走ってる感じ。ある研究が頭に浮かぶよ。 開発者として同じような経験があるよ。AIチャットは生産性を大きく向上させるけど、プロンプトでコードを書くと、普段のコーディングの満足感を感じられないんだ。Copilotは生産性の向上にはあまり寄与しないけど、フローレベルの妨げにはならない。 そうだね！こういったツールは非常に役立つけど、仕事が徐々にプロダクトマネージャーのようになってきている気がする。アイデアを考えて、大部分を他の人にやってもらうって感じ。これは悪いことではないと思うけど、プログラミングが楽しいだけに、自分でやる時間が減るのはちょっと残念だな。 コードを自動補完するのには、なんか気持ち悪い感覚がある。まるで自分が間違っているように感じる。でも、私の半生のコーディング経験に基づく意見だから、AIネイティブな開発者は違うかもしれない。 人間が使いやすくするために、テストと報酬のシステムを組み込むべきかも。企業の流行語としてのゲーミフィケーションってやつ。 この研究には少し懐疑的だな。出版されてないし、（かなり若手の）一人の著者によるもので、基礎となる詳細が隠されているから。実際にその企業が何をしていたのか、もう少し情報がほしい。記事の説明はとても曖昧だし。 確かに面白いけど、こういった研究がAIに基づく仕事について強い主張ができるとは思えない。科学者たちは何年、何十年もかけて特定のワークフローや習慣を育んできたから、それに基づいて新しいやり方での仕事に気持ちが薄れるのは驚かないよ。 その不満感には共感できる。僕の話を聞いてほしい。最近、aiderを使ってみたら、めっちゃすごかった。捨てる予定のスクリプトを書くのに、15分で作成できた。デバッグも一度だけ、あとは全部自動でやってくれて、文句なし！簡単なスクリプトにはこれからも使うつもりだけど、プログラミングの満足感が全然ないなあ。とにかくハマっちゃいそう。 最近Aiderを試したんだけど、小さなPythonとHTMLのプロジェクトをいじったら、uvコマンドをずっと間違えて、結局、全然違うビルドシステムに変更されちゃった。変更はほとんどに関して効果的だけど、自分が気にしている変更に対してはきちんと管理する必要があるね。 全体的に、ミンスキーのマインドの社会に向かっていると思う。OpenAIはすべてのモデルを一つにまとめたいようだけど、実際にはルーティングに関することなんじゃないかな。特定のツール呼び出しや思考方法に特化したエージェントが、役立つ方向性を提供するような概念的なフレームワークが必要だと思うし。もっとコメントを表示（1）
例えば、コンピュータが世界をマッピングして、行き先までのルートを提案するとか？それって普通の検索エンジンじゃん。LLMは言葉のための検索エンジンみたいなもんだよ。
編集: ところで、うちはパイプラインの資金調達や商業化の方法を探しているから、興味あればサイトから連絡してね！もっとコメントを表示（2）
モンテカルロ木探索では、データで訓練されたニューラルネットワークが葉の結果分布に情報を与えるけど、単なるプルアウトではない。アルゴリズムにはrandom()関数も使われてるけど、結果がコインの裏表のようになるわけじゃない。
プロセスにはランダム性がもちろんあるけど、ランダムウォークみたいに言うのは微妙だ。LLMの結果を安易に“ランダム”と片付ける人が多くて、それはちょっと心配だ。
遺伝子データからこの変異は高い変異アレル頻度を考慮して患者に病原性があるかもしれないと言えるかもしれない。そして、細胞株の結果はin-vivo（マウスモデルや人間）でどうなるか真の性質を反映しないかもしれない。
だから、意思決定に考慮したいドメイン特異的な知識がある。私なら、急性骨髄性白血病を治療するためには、Molecular Tumor Boardの血液専門医たちを信頼するけど、これは個人的な選択だ。
音響データの振幅空間と周波数空間のイベントを検出するためのデータパイプラインをテストする必要があるんだ。私の研究にはそういうのが必要だけど、すべてのものが誰かに合うわけではないから、それでいいんだと思う。
あなたは、自分の意見が正しいと信じているのに議論しているね。
素晴らしい未来を捨てるなんて、そんなのはおかしいよ。
AIシステムを活用しない科学者やアーティストが、自らの存在を自動化されて苦しむ姿は興味深い。
こういう会社が、Aaron Swartzがしたことよりもはるかにいい未来を見せない理由は、すべてをオープンアクセスしていないからだと思う。その点でDeepseekやMistral、Metaは近いかもしれないね。
知的財産が奪われて、共産主義が実現するって叫ぶ人たちが、今や著作権トロールみたいに振る舞ってる、なんだかなあ。
私はルデイトじゃないと思ってる。アイディアの生成にAI道具を使ってるけど、今のところあまり役に立たなかった。自動データパイプライン生成に関しても出来ないし、パイプラインのノードごとに一つが設計し、もう一つがコードを埋め込むってシリーズのエージェントを考えられるかもしれないけど、今はそれを見ていない。もしその方向での建設的な提案があれば、嬉しい。
とはいえ、私は早期アクセスをリクエストしたよ。もっとコメントを表示（3）
それはいい目標かもね。でも、このプロジェクトの目指すところではないみたい。
「アメリカの大手材料科学企業での1,000人以上の科学者を対象にした新しい研究が示すのは、AIシステムとペアになったトップリサーチャーたちは、驚くほど生産性が向上したにも関わらず、驚くほど仕事に満足できなくなるという逆説だ。数値が示すのは、AIの助けで科学者は44%増の材料を発見し、特許取得も39%増加したけど、同じ科学者の82%は仕事に対する満足感が低下したってことだ。」
この研究についての引用。
