ALESIAN開発ノート
AI活用・業務改善

オンプレミスAI、構築から実務での利用まで紹介します

Microsoftの障害をきっかけに、以前から興味のあったオンプレミスAIを試してみることにしました。既存のサーバーとGPUを使い、構築から実際の仕事での利用まで、その過程をご紹介していきます。

先日のMicrosoftの障害で、Copilotが使えなくなりました。私は普段、ChatGPTを中心に使っているので、仕事への影響は比較的小さかったのですが、日常的に使っているAIが止まったらどうするかを考えるきっかけになりました。

オンプレミスAIには以前から興味がありました。今回のこともあり、ようやく重い腰を上げて、自分の環境で構築してみることにしました。

実用性を確かめたい気持ちに加えて、技術的な探究心もあります。手元の機器でAIを動かし、モデルや設定を変えながら、どこまでできるかを試してみたい。そんなことを考えると、やはりワクワクします。

日々の仕事では、資料整理、文章作成、システムの構築・運用など、かなり深くAIを使っています。手元で動かすAIでも、そうした仕事をどこまで進められるのか。実際に使いながら確かめていきたいと思っています。

併せて、機密性の高い資料を社内環境で扱い、根拠を確認しながら仕事を進められるかも検証します。クラウドへ接続できないときにも、手元に保存した資料や手順書を参照できる環境を目指します。

まずは開発機にGPUを搭載してテスト

今回の検証用に購入したMSI GeForce RTX 5060 Ti VENTUS 2Xのパッケージ
開発機でのテスト用に購入したGeForce RTX 5060 Ti・16GB。Amazonで158,800円(税込、購入時の金額)。

今回用意したのは、MSIのGeForce RTX 5060 Ti・16GBです。Amazonでの購入金額は158,800円(税込)。一昔前を思うと、グラフィックボードもなかなかの金額になりましたね。

まずは、既存のProxmox開発機にこのGPUを搭載してテストします。公開されている学習済みモデルを動かし、モデルの選択や設定によって、回答の品質と待ち時間がどう変わるかを確かめます。

結果を見て、実務で使える見通しが立てば、もう少し本格的なAI専用機の構築も考えています。

最初から大規模な構成にはせず、自分で運用できる範囲で、小さく始めます。GPUの搭載、仮想マシンへの割り当て、モデルの導入、利用画面の準備といった過程も紹介する予定です。

費用とデータの扱いを、自社で管理する

オンプレミスAIで期待しているメリットの一つは、利用量に応じた外部APIの従量課金がない構成を選べることです。何度も資料を読み直したり、設定を変えて試したりしやすくなります。使うモデルやソフトウェアの利用条件は確認が必要で、機器代、電気代、保守の負担は自分で持つことになります。

また、社内ルールやアクセス権限に沿って、取り扱う資料の範囲、保存先、保持期間を自社で設計できます。実際に処理できる資料の量や一度に扱える文章の長さには、機器やモデルによる制約があります。

文書の読み取り、資料検索、回答生成までを社内で行い、業務データを外部へ送信しない構成にできることも魅力です。今回の検証では、関連する処理や通信も含めて、その状態を確かめていきます。

1人が深く使う仕事で、実用性を測る

自社での主な利用者は1人です。そのため、初期の評価では、1人が複雑な仕事をどこまで進められるかを重視します。

例えば、複数資料から最新版や金額、例外条件を拾い出して比較する。何度か修正を加えても、確定済みの条件を維持する。最後に、表と説明文の内容がそろった成果物へ仕上げる。こうした一連の作業を評価の対象にします。

簡単な質問への回答に加え、長い会話や資料が増えた場合の挙動、仕上げるまでに必要な修正回数も記録します。

社内資料を探し、根拠を示せるか

想定する用途は、手順書や過去資料の検索、要約、比較、文章の下書きです。必要な資料を検索してから、その内容を参照して回答する仕組みも組み合わせます。

回答とともに、根拠となる文書や該当箇所を確認できることを重視します。資料にないことを推測で埋めないか、旧版や別案件の情報を混ぜないかも確かめます。

データの扱いと、止まったときの復旧まで

社内環境で動かす際には、入力した資料だけでなく、検索用データ、会話履歴、ログ、一時ファイル、バックアップの保存先と送信先も確認します。

外部通信を遮断した状態で、新しい会話、資料検索、回答、再起動後の利用まで続けられるかを検証する予定です。認証や文書の読み取り処理が外部サービスへ依存していないかも、実際の動作で確かめます。

日々の更新、バックアップ、障害からの復旧も含め、継続して使える環境へ整えていきます。

構築の過程と、使って分かったことを公開する

今後の記事では、機器とソフトウェアの構成、導入時につまずいた点、回答の品質、処理時間、実務で必要になった工夫を紹介します。期待どおりに動かなかった点や、用途によって残る制約も記録します。

公開する例には架空資料や公開可能な内容を使い、顧客資料、個人情報、社内の接続情報などは掲載しません。

現在は構築・評価の準備段階で、GPU搭載後に実機検証へ進みます。導入から実際の利用までを通して、どの仕事に役立ち、どこに工夫が必要なのかをお伝えしていきます。

関連記事:実務で使うAIの基本指示と活用例