商用レベルのAIサービスをローカルPCでも作れるとClaude Codeが言うので作らせることに

商用サービス(ChatGPT, Claude, Gemini)レベルでWebSearchとその取捨選択を行う個人環境を作るのは難しいと先日書いた。Claude Codeに確認をしたら、そんなことはなく生成AIのモデルを動かす部分以外はしょぼいPCでも動くとの発言だ。そんな訳あるかいと、じゃあ作ってみろと指示した。たくさんのエージェントがそれぞれWeb検索してデータを集めて、そのデータをまとめて評価するなんてローカルPCでまとも動くわけがないだろと思う。

 

こんなのを作ってきた。商用サービスと同じレスポンスで使えた。Claude の HaikuやSonnetレベルの知恵はある。ライトな用途には使える。なんてこった。こんなのが自宅でほいほい作れて動かせるんなら、今流行りのサイバー攻撃なんて誰でもできそうだ。

 

  [しょぼいPC]                                                       [myServerPC]
  Claude Code --- POST /v1/messages -----------> llama-server
     |   <-- stream (text / tool_use) ----- (Nemotron 3.5 Super or GLM-5.3 flash)
     | tools/call
     v
  websearch MCP -+-> SearXNG ---> Internet (検索語)
                               +-> 本文の取得 ---> Internet (web page)
                               +-> reranker   (段落の関連度)
                               +-> 審査 LLM  (page の採点)