はじめに

「あの動画の、あのシーンはどこだっけ？」「資料作成に使いたい画像が、ローカルフォルダのどこかに埋もれてしまった」

日々、大量の画像や動画データを扱うクリエイターやビジネスパーソンにとって、目的のファイルや「特定の瞬間」を探し出す作業は、極めて時間と労力がかかる課題である。従来のファイル名検索や手動のタグ付けによる管理には限界があり、手作業で動画を1つずつ再生して確認するケースも少なくない。

また、近年はクラウド型のAI検索サービスも増えているが、機密性の高いビジネス資料やプライベートなメディアを外部のサーバーにアップロードすることに対して、セキュリティやプライバシーの観点から抵抗を感じるユーザーも多い。

こうした常識と実態の乖離を解消する実用的なツールとして、macOS向けに開発されたローカルファーストのAI検索アプリケーション「SCM（Screen Memories）」がHacker Newsなどで注目を集めている。本記事では、このツールの全貌と実務における活用方法を詳しく解説する。

A professional 3D illustration of a modern macOS desktop interface showing an AI search bar finding specific video frames and photos locally. Bright and clean tech aesthetic.

ローカルファーストAI検索「SCM」とは？

SCMは、macOS上の指定したフォルダ内にあるすべての写真、および動画の「すべてのフレーム」を対象に、ディープAI検索を実行できるアプリケーションである。最大の特徴は、完全な「ローカルファースト」設計である点だ。

ポイント: アカウント登録やクラウドへのアップロードは一切不要。AIの推論処理はすべてユーザーのMac上（ローカル）で実行されるため、メディアデータが外部に送信されることはない。

初回起動時に必要なAIモデル（デフォルトのCLIPモデルは約435MB）の重み（Weights）をダウンロードした後は、完全にオフラインで動作する。これにより、高いプライバシーとセキュリティが担保された環境で、高速なAI検索を利用可能である。

A conceptual visual representation of local AI processing on a laptop, showing data flow from local folders to on-device models like CLIP and Whisper without cloud connection.

5つの強力な検索モード

SCMは、メディアの特性に合わせて最適化された5つの検索モードを搭載している。これにより、単なる「画像認識」に留まらない多角的なアプローチでの検索が可能だ。

Mode（意味による検索）: ビジョンモデル（CLIP）を用いて、写真や動画全体を「意味（セマンティック）」で検索する。ファイル名やフレーズのブースト機能も備えており、自然言語で「砂浜を走る犬」と入力するだけで、合致するメディアがリストアップされる。
Scenes（ビデオ内の瞬間検索）: 動画内のシーンをセグメント（分割）化して埋め込み（エンベディング）を行う。ファイル単位でのヒットではなく、動画内の「特定のカット」を直接特定し、該当するタイムコードへ一瞬でジャンプすることが可能である。
OCR（画像内のテキスト検索）: オープンソースのOCRエンジン「Tesseract」を採用し、画像や動画フレーム内に写り込んでいる文字をリテラル（完全一致）で検索する。英語を含む36言語の切り替えに対応している。
Dialogue（音声発話検索）: 動画内の音声を音声認識モデル「Whisper」で解析し、話された言葉を正確に検索する。段階的な正確性（tiered exactness）に対応しており、会議録画やインタビュー動画から特定のセリフを探す際に高い効果が期待できる。
LLMs（ローカルチャット・オプトイン機能）: 抽出されたダイアログ、OCRテキスト、ファイル名をベースに、ローカルLLMを用いたチャット機能が利用可能だ。Mac内で抽出された情報を元に、引用元付きでAIが回答を生成する。

ビジネス・実務でどう活かすか（中小企業・個人事業主への示唆）

SCMの登場は、特にリソースが限られている中小企業や個人事業主、フリーランスのクリエイターにとって、業務効率を向上させる強力な選択肢になると考えられる。

具体的な活用シナリオ

動画エディター・YouTubeクリエイター: 過去の膨大な撮影データの中から、「特定のセリフを言っているシーン」や「特定のインサートカット（料理のアップなど）」をWhisperやシーン検索で瞬時に見つけ出し、編集効率を最大化できる。
インサイドセールス・カスタマーサクセス: 顧客とのWeb会議（ZoomやMeetなど）の録画アーカイブから、特定のキーワードや顧客の要望が話された瞬間を「Dialogueモード」で検索し、ピンポイントで振り返ることが可能だ。
デザイナー・マーケター: 過去に作成したバナーやチラシ、Webサイトのスクリーンショット群から、「特定のキャッチコピー」が使われている画像を「OCRモード」で素早く特定できる。

ORBIT編集部としては、ローカルファーストのAIツールが今後のビジネスインフラにおいて不可欠な存在になると確信している。セキュリティポリシーが厳しい企業であっても、完全オフラインで動作するSCMのようなツールであれば、導入のハードルは極めて低いと考えられる。

次に試せるアクション

macOS 12以上を搭載したApple Silicon（M1/M2/M3/M4など）のMacを所有している場合、まずはHomebrewを利用してSCMをインストールし、よく使用する素材フォルダを1つ指定してインデックスを作成してみることを推奨する。

導入方法と動作要件

SCMはオープンソースプロジェクトであり、パッケージマネージャーとして「Bun」を使用している。開発者や技術に明るいユーザーであれば、リポジトリからビルドすることも可能だが、最も簡単な導入方法は「Homebrew」を使用することだ。

Apple Siliconを搭載したmacOS 12以降の環境であれば、以下のコマンドを実行するだけで、Gatekeeper（macOSのセキュリティ機能）の警告を自動でクリアした状態でインストールが完了する。

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

アップグレード時も同様に、以下のコマンドでスムーズに更新可能だ。

brew upgrade --cask allenv0/scm/scm

まとめ

SCM（Screen Memories）は、ローカルファーストという現代のプライバシー需要に応えつつ、画像・動画の「フレーム単位」「音声単位」での高精度な検索を実現したツールである。クラウドにデータを預けることなく、手元のMacのハードウェアパワーをフルに活かして業務を自動化・高速化できる点は、今後のローカルAIツールの方向性の一つを示していると考えられます。今後のアップデートにより、さらに対応フォーマットや検索精度が向上する可能性があると見込まれる。

よくある質問 (FAQ)

Q: メディアデータがインターネット経由で外部のサーバーに送信されることは本当にありませんか？

A: はい、一切ありません。SCMは「ローカルファースト」の思想で設計されており、すべての解析、埋め込み、検索処理はユーザーのMac上で実行されます。ただし、アプリの初回起動時や新しいAIモデルを有効化する際、モデルの重み（Weights）をダウンロードするために一度だけインターネット接続が必要となりますが、それ以降は完全にオフラインで動作します。

Q: 動画の解析にはどのくらいの時間がかかりますか？また、動作は重くなりますか？

A: 解析時間は動画の長さやMacのスペック（特にApple Siliconの統合GPU/Neural Engineの性能）に依存します。ただし、SCMはバックグラウンドで自動的にインポートや再埋め込みを行う自動メンテナンス機能を備えており、これらの処理中であってもユーザーの検索操作をブロックしないように設計されています。

Q: OCRや音声認識（Whisper）は日本語に対応していますか？

A: OCR機能（Tesseract）については、英語を含む36の言語切り替えに対応しており、日本語のテキスト抽出も可能と推測されます。また、音声認識についてもWhisperモデルが使用されているため、日本語の会話を高精度に文字起こし・検索することが可能と考えられます。

関連記事:

参考資料

Show HN: AI search for every photo and every frame of video on macOS (参考資料)