BerriAI/litellm

My GitHub account was compromised in the TeamPCP supply chain attack — attackers used ~73 stolen tokens to spam a security issue on @LiteLLM (BerriAI/litellm#24512). GitHub flagged my account (the victim) and my open-source org has been returning 404 for 2 days. Vexa ( github.com/Vexa-ai/vexa ) is an Apache 2.0 project with active users (1.8k stars) who are now blocked. No response on support ticket #4199834. @github @githubsupport @ishaan_jaff @krrish_dh Can someone please escalate?

Contains the exact GitHub repo slug.

「pip install」した瞬間に、こっちの認証情報が吸われる世界線、さすがにキツい 1. 便利なSDK入れる → すぐ動く 2. CIが緑になる → そのまま本番 3. 数週間後、なぜかAWSの請求が跳ねる 4. 調べる気力がなくて「たぶん設定ミス」で片付ける 5. そしてログを見て青ざめる これ、セキュリティ意識高い人の話じゃなくて、忙しい開発者の標準ルートだったりする(自分も普通にやってた) 今回の litellm 1.82.8 の件、GitHub issue（BerriAI/litellm #24512）で「PyPIに上がったパッケージに credential stealer が入ってた」と報告されて、ハッカーニュースでも燃えた。しかも混入物が litellm_init.pth。つまり「インストールしただけで実行されうる」経路を狙ってるのが嫌らしい ここから個人的な話をすると、自分はLLM系の検証で litellm みたいな“薄い抽象化レイヤ”を雑に入れがちだった。モデル切替を速くしたい、料金ログ取りたい、fallbackしたい、みたいな実務の欲が全部叶うから。よく考えたら、その「便利」のために supply chain の爆心地に立ってた、みたいな話だった 結論を先に言うと、LLM時代の依存関係は「便利さ」じゃなくて「実行経路」を基準に仕分けして、導入と運用のレールを分けたほうがいいというのが結論 以下、現場で明日から効く形に分解する 1. 何が起きたかを“Pythonの実行経路”で捉える 概念: 今回の怖さは「ライブラリに悪いコードが入ってた」だけじゃなくて、インストール〜起動のどこで走るかが設計されていた点 個人体験: 自分、昔は「 setup.py に変なのがあったらヤバい」くらいの雑な理解だった(いや、これマジで？w)。でも .pth は別軸。Pythonは site-packages の .pth を読み込む挙動があって、そこで追加のimportやパス設定が起きる。つまり“使う前に走る”寄りになりやすい 実例: 社内の事故パターンで多いのが「PoCのDockerイメージをそのままCIに持ち込み」→「CIの環境変数にクラウド鍵」→「外に抜ける」。今回の“credential stealer”報告って、まさにそのルートを刺しにくる 2. 「litellmは便利」だからこそ、攻撃者のROIが合う 概念: 依存関係の中でも、LLMゲートウェイ/ルーティング系は“横展開”されやすい。1回侵害できると、開発環境・CI・本番まで一気に届く 個人体験: 自分の周りでも、litellmは「とりあえず入れとく」枠になってた。プロダクトAでもBでも同じ形で入る。攻撃者から見ると宝箱 実例: モノレポで複数サービスが同一requirementsを参照してるケース。1パッケージ侵害=社内横断で影響。しかもLLM周りは新しい領域で、みんな監視設計が甘い(自分含む) 3. “鍵”はどこにあるか問題：AI開発は資格情報の密度が高い 概念: LLM開発はAPIキーだらけ。OpenAI/Anthropic/Googleだけじゃない。ベクタDB、観測基盤、S3、社内LLM、評価基盤…鍵の種類が増える 個人体験: ローカルで検証するとき、dotenvに全部突っ込んで「あとで整理する」ってやってた。で、整理しない(わかる) 実例: credential stealerが狙うのは、単一のAPIキーじゃなく「連鎖」。GitHub Tokenが抜ける→Actions改ざん→別の鍵取得→クラウド侵入、みたいなドミノ。請求跳ねるだけじゃ済まない 4. すぐやる応急処置（現場用チェックリスト） 概念: “今入っているかもしれない”前提で動く。原因究明より封じ込めが先 個人体験: 自分は以前、調査から始めて対応が遅れて怒られた(普通に反省) 実例: - PyPIのlitellmを 1.82.8 に固定していた環境があるか棚卸し（requirements.lock / poetry.lock / uv.lock / Dockerfile / CIキャッシュ） - そのバージョンが入ったコンテナイメージを一度「隔離」扱い（再利用禁止） - CI/CDのシークレットをローテーション（特に長命Token系） - 直近の異常アクセス（クラウドの監査ログ、パッケージ取得先、外向き通信）を確認 - 開発端末の環境変数・~/.aws/などの利用履歴も見直し (「そんなの全部できるか」って声が聞こえるけど、まずは“鍵のローテ”だけでも価値がデカい) 5. 「ロックファイルがあるから安心」という誤解 概念: ロックは再現性を上げるが、安全性を保証しない。むしろ“悪いものを固定”することもある 個人体験: ロック大好きマンだったけど、今回みたいなのを見ると複雑な気分になる(ぶっちゃけ) 実例: 「poetry.lockがあるから安全」ではなく「poetry.lockがあるから感染が広がりうる」も成立する。大事なのは、ロックに“検証”を紐づけること。少なくとも新規に入るwheelのハッシュ検証、社内ミラーのスキャン、差分レビューをレール化する 6. やりがちなミス: “PoCは例外”として無法地帯にする 概念: PoCはスピード優先になり、権限と監視が最も雑になる。攻撃者はそこを踏み台にする 個人体験: 自分も「PoCだし」って言い訳して、本番と同じIAMを渡したことがある(いや、これマジで？w) 実例: PoC環境を分離して、鍵は短命にする。最低ラインはこれ - PoC用のクラウドアカウント/プロジェクトを分ける - Tokenは1日で切れるものを使う（難しければせめて週次ローテ） - egress（外向き通信）を絞る。LLM APIと必要最小限だけ これだけで credential stealer の当たり確率が下がる 7. .pth を“危険シグナル”として扱う運用 概念: Pythonは柔軟すぎて、実行ポイントが多い。だから「怪しいファイル種別」を先に定義した方が速い 個人体験: セキュリティチームに「.pthって何？」って聞かれて、説明してるうちに自分も怖くなった(もっと言うと、今まで気にしてなかった) 実例: 社内ルールで - site-packages配下の .pth 追加を検知したらアラート - wheel展開後に特定拡張子（.pth, .so, .dll, post-install系）を重点スキャン - “importされてないのに動く”導線を優先レビュー みたいな実装は割と現実的。完璧じゃないけど、引っかける網になる 8. 依存関係の「ティア分け」をする（LLM時代版） 概念: 全部を同じ厳格さで扱うと運用が破綻する。重要なのは“踏み抜いた時の到達範囲”でランク付け 個人体験: 以前はCVSSで一律に潰してたけど、LLM周りは「到達範囲」で決めた方が腑に落ちた 実例: - Tier S（最重要）: 認証情報に触れる/プロキシ/ゲートウェイ/SDK基盤（litellmみたいな位置）、CIで動くもの - Tier A: 本番で動くが権限が限定されるもの - Tier B: 開発ツール単体で閉じてるもの Tier Sだけは「社内ミラー経由」「バージョン更新はPRで差分レビュー」「SBOM」「鍵は短命」など重めのレールを敷く。全部にやると疲れて形骸化する 9. “オンデバイスLLM”が進むほど、サプライチェーンは軽くならない 概念: 最近、HypuraやApple Silicon最適化みたいにローカル推論が強くなってる。だから「クラウドに出さない=安全」って言いたくなる。でも依存関係のリスクは残る 個人体験: 自分もローカルLLMに寄せた時期があって、「これで安心」って気が緩んだ(あるある) 実例: ローカル推論でも、Python環境は同じ。むしろGPU/最適化周りでネイティブ依存が増え、供給網の攻撃面が増える可能性すらある。データを外に出さないのと、実行環境が汚染されないのは別問題だった 10. “超高速マルチモーダル検索”時代は、鍵の価値がさらに上がる 概念: Geminiの動画埋め込みみたいに、検索がサブ秒になると「どのデータにアクセスできるか」が競争力になる。するとAPIキーや権限は資産になる 個人体験: 便利な検索を社内に入れるほど、権限設計の雑さが露呈して胃が痛くなる(自分が設計したやつほど痛い) 実例: もし動画・音声・議事録が検索できる基盤の鍵が抜かれたら、金銭被害より情報漏洩の方が致命傷になりやすい。だからこそ、今回みたいな「パッケージ侵害」を“クラウド請求の話”で終わらせないほうがいい 11. 開発者データ利用・プライバシー議論と、サプライチェーンは同じ地平にある 概念: Copilot方針変更とか、Claude出力流出の指摘みたいな話題は「モデル側に何を渡すか」へ意識が向く。でも今回みたいなのは「依存関係が何を持っていくか」。どっちも“持ち出し”問題 個人体験: 自分は前者ばかり気にして、後者を「まあOSSだし」って流してた。意外だったのが、攻撃者はこっちの方が手堅いってこと 実例: モデルに送る前に、環境から鍵が抜かれたら終わり。プライバシーポリシーを読み込む前に、pipの段階で負ける。順番の問題だったりする まとめ（明日からの実務に落とす） - litellm 1.82.8 を含む環境を棚卸しして隔離する - 鍵をローテーションして「抜かれても短命」に寄せる - PoCを例外扱いせず、権限分離とegress制御を最低ラインにする - ロックファイルは安全装置じゃなく“固定装置”だと認識する - .pth など“使う前に走る”導線を危険シグナルとして運用に組み込む - 依存関係をティア分けして、重要なところだけ重いレールを敷く - 「データを外に出さない」だけで安心せず「実行環境が汚染されない」を別途守る 最後に、ちょっと哲学っぽい話をすると AI開発って、モデルの賢さより先に「便利さの取り込み方」で差がつく。で、その便利さはだいたい依存関係として入ってくる。つまり、プロダクトの実力はpipの扱い方に滲み出る “最速で作る”と“安全に作る”を両立するコツは、気合いじゃなくて、危ないところだけ手続きを重くする設計にある。今回の件で、その現実を思い出したというのが結論 #AIセキュリティ #LLM

Contains the exact GitHub repo slug.

GitHubのURLを貼るだけでスライド自動生成。ここで作れます slidict.io/#github-slide-gen… 今日のGitHub Trendはこちら 1. mvanhorn/last30days-skill (Python) slidict.io/slides/externals/… 2. BerriAI/litellm (Python) slidict.io/slides/externals/… 3. letta-ai/claude-subconscious (TypeScript) slidict.io/slides/externals/… #スライド #GitHub #oss

Contains the exact GitHub repo slug.

`BerriAI/litellm` released v1.83.7-stable and v1.83.10-nightly with verified Docker signatures via cosign. The team also shipped multi-threshold budget alerts and adaptive routing, clearly targeting enterprise cost containment and supply chain security.

Contains the exact GitHub repo slug.