external skill scanner 連携 (設計確定・実装は需要待ち)

[kosako]

スコープ

NVIDIA skillspector と Cisco skill-scanner を、既存の prompt injection gate の
補助層として連携する方法を設計する。

• https://github.com/nvidia/skillspector (Apache-2.0)
• https://github.com/cisco-ai-defense/skill-scanner (Apache-2.0)

前提 (変えないこと)

• 自前 static checker (scripts/check-injection.sh) は依存ゼロ・network 不要の
  必須 gate のまま残す。外部 scanner は optional な補助 gate とする。
• LLM mode / VirusTotal / AI Defense 等の外部送信は、既存の LLM review 制約
  (public / personal のみ + privacy preflight) に従う。

決めること

• ツール選定: 両方使うか、片方に絞るか (実測結果を踏まえる)。
• scan 対象: generated/ (SKILL.md 形式で scanner の expected format に合う) か shared/ か。
• findings の risk outcome (high fail / medium human review / low pass) へのマッピング。
• catalog / status への記録方法 (checks.external_scan など)。
• CI での扱い: version pin、optional job (continue-on-error) から始めるか。
• Issue privacy preflight つき optional LLM review を追加する #12 (optional LLM review) をこれらの LLM mode で代替するか。

実測メモ

実測結果はこの issue にコメントで記録する。

安全メモ

• install side effects: scanner の install は隔離環境 (uv) のみ
• secret access: なし。API key 必要な mode は今回試さない
• network changes: pip/git からの取得と OSV.dev 照合のみ。asset content の外部送信なし

[kosako]

実測メモ (2026-06-12)

uv (uvx) で両 scanner を隔離実行。install は user-named GitHub repo を SHA 解決して取得 (pin 済み)。API key 不要の static mode のみ。asset content の外部送信なし。

clean asset (generated/.../personal-project-operating-loop)

Tool	判定	findings
Cisco skill-scanner (static)	SAFE	LOW: HIDDEN_DATA_FILE (= .agent-tools-managed.yml を hidden data file と認識), INFO: MANIFEST_MISSING_LICENSE
NVIDIA skillspector (--no-llm)	SAFE (0/100)	なし
自前 check-injection	pass	なし

→ Cisco の HIDDEN_DATA_FILE は marker file に対する偽陽性気味。policy 設定か scan 対象の絞り込みで抑制要。

故意の悪性 fixture (prompt injection + exfil + reverse shell + eval(urlopen) の run.py 付き)

Tool	判定	主な検出
Cisco skill-scanner (--lenient, static)	CRITICAL 多数 (7 findings)	YARA prompt_injection / command_injection, COMMAND_INJECTION_EVAL, DATA_EXFIL_HTTP_POST, tool chaining
NVIDIA skillspector (--no-llm)	CRITICAL 100/100 DO NOT INSTALL (11 issues)	AST: eval(urlopen) chain, subprocess, taint flow (network→eval), 権限未宣言
自前 check-injection	fail (high)	override / bypass / exfiltration を検出。runtime-state / external endpoint も

所見

• 両 scanner とも悪性を確実に検出。特に NVIDIA は run.py の AST/taint 分析が強く、Python script を含む skill に有効。Cisco は YARA + multi-engine で 検出カテゴリの幅が広い。
• 自前 checker は markdown の自然文 injection は捕まえるが、executable script (.py) の解析はできない。ここが外部 scanner の主な付加価値。
• v1 の asset は markdown only なので自前 checker で足りるが、将来 script を含む skill を扱うなら外部 scanner が実質必須。
• 偽陽性は Cisco の HIDDEN_DATA_FILE / MISSING_LICENSE が中心。marker file の扱いを policy で調整すれば実用的。

設計への反映 (推奨)

1. 外部 scanner は optional 補助 gate。自前 static checker は依存ゼロの必須 gate のまま。
2. scan 対象は generated/ (SKILL.md 形式で両 scanner の expected format に合う)。
3. CI には version pin + 専用 optional job (continue-on-error) で導入。必須 gate にはしない。
4. 両対応にする価値あり: NVIDIA=script 深掘り、Cisco=カテゴリ幅 + SARIF/GitHub Code Scanning。--format sarif を両方が持つので統合先は揃う。
5. Issue privacy preflight つき optional LLM review を追加する #12 (自前 LLM review) は、両 scanner の LLM mode (privacy preflight 経由) で代替検討。自前実装は見送る方向。

[kosako]

設計方針メモ (2026-06-12 確定)

実装は需要が出るまで寝かせる。docs 化も実装時に行う。本コメントを設計の source of truth とする。

位置づけ: opt-in 拡張層

• 依存ゼロ・network 不要・必須の自前 static checker (check-injection.sh) はそのまま不変。
• external scanner は opt-in の拡張層。デフォルト無効。
  • 有効化方法: 初期セットアップで対話的に聞く、または設定ファイルの該当 scanner を
    enabled: true にする (初期は comment-out / enabled: false 状態で同梱)。
• これにより「static checks は依存ゼロ・必須」という既存原則を書き換えずに済む。
  docs には「必須層は不変、scanner は opt-in 拡張層」と追記するだけ。

契約: SARIF を採用

• pluggable interface は SARIF (--format sarif) を契約にする。両 scanner が対応済み。
  自前 JSON schema は作らない。GitHub Code Scanning とも互換。
• exit code 規約はツールごとにバラバラなので採用しない。SARIF の level だけ見る。
• scanner 登録は設定ファイルで行う (pluggable):

  scanners:
    - name: skillspector
      command: "skillspector scan --no-llm --format sarif {target}"
      enabled: false
    - name: cisco-skill-scanner
      command: "skill-scanner scan {target} --lenient --format sarif"
      enabled: false

• severity マッピング: SARIF error → high (fail) / warning → medium (human review) /
  note → low (pass)。register の risk outcome に合流させる。
• scan 対象は generated/ (SKILL.md 形式が両 scanner の expected format に合う)。

失敗モード: 有効時 fail-closed

• scanner が有効化されている場合、未インストール / version 不一致 / クラッシュ /
  タイムアウトは register / build を止める (fail-closed)。
• 無効なら自前 static checker のみで通る。
• opt-in × fail-closed なので「有効化した人は失敗で必ず気づく」。黙って素通りしない。

Issue #12 を統合

• 自前 LLM review (privacy preflight つき optional LLM review を追加する #12) は実装せず close。LLM review は scanner の LLM mode
  (privacy preflight 経由、public/personal のみ送信) として本連携に吸収する。

実装タイミング

• script を含む skill を扱う必要が出た時、または CI に pip 依存層を足す判断をした時。
• それまではローカルで手動 uvx --from git+https://github.com/... <scanner> scan generated/
  で十分。前提 (contract) はこのメモで確定済みなので、いつでも実装に入れる。