RTX 5090一枚で動くAIサーバー「imp」。手元のPCでAIエージェントを速く動かす
30秒でわかる
- GPU「RTX 5090」1枚で、AIモデルを自分のPCで動かすための無料ソフト「imp」の紹介
- QwenやLLaMA、DeepSeekなど複数のAIモデルに対応。ツールを呼ぶ・長く会話するといったAIエージェント向けに作られている
- 32GBのメモリで12万トークン超の長い文脈を扱え、定番のllama.cppより速い場面もあるとされる
何が変わった
個人のPCでAIを動かすための無料ソフト「imp ↗」が公開されています。impは、NVIDIAの高性能GPU「RTX 5090」1枚（5080・5070 Tiも対象）で動かすことを想定したAIサーバー（自分のPCの中でAIモデルを動かし、アプリから呼び出せるようにする土台）です。ざっくり言うと、クラウドの有料AIに頼らず手元のPCだけでAIを動かしたい人向けの道具です。特長は、ツールの呼び出しや長い会話、まとめて多くの依頼をさばくといった「AIエージェント」（自分で手順を考えて作業を進めるAI）の使い方に合わせて作られていること。Qwen・LLaMA・Mistral・DeepSeek・Gemmaなど複数のAIモデルに対応し、画像も扱えるモデル（Qwen3-VL）も動かせます。また、データを小さく圧縮する仕組み（NVFP4）で、32GBのメモリでも12万トークンを超える長い文章のやり取りを保持できるとしています。開発者の説明では、同じGPUで定番ソフトのllama.cppより出力が速い場面もあるとのことです。ChatGPT（OpenAI）とClaude（Anthropic）両方の呼び出し方式に対応しています。
誰に関係する
RTX 5090など高性能GPUを持っていて、自分のPCでAIエージェントを動かしたい人に関係します。無料（MITライセンス）で、改造や再配布も自由です。導入にはGPUやコマンド操作の知識が要るため、どちらかというと自作に慣れた人向けです。