UbuntuでのLLMサーバーセットアップ

このリポジトリには、Ubuntuマシンに大規模言語モデル（LLM）サーバーをセットアップするためのAnsibleプレイブックと関連タスクが含まれています。このプレイブックは、NVIDIAドライバー、Docker、およびNVIDIAコンテナツールキットを含む必要なソフトウェアをインストールし、システムを最適なパフォーマンスに構成します。

前提条件

• ローカルマシンにAnsibleがインストールされていること。
• SSHアクセスが可能なUbuntuサーバー。
• ターゲットサーバーでのsudo権限。

リポジトリ構成

.
├── .gitignore
├── ansible.cfg
├── inventory.yaml
├── linux_llm_server_playbook.yaml
└── tasks/
    ├── install_git_lfs.yaml
    ├── setup_docker.yaml
    ├── setup_nvidia_container_toolkit.yaml
    ├── setup_nvidia_driver.yaml
    └── upgrade_ubuntu.yaml

プレイブック概要

メインプレイブック: linux_llm_server_playbook.yaml

これは、LLMサーバーのセットアップを指揮するメインプレイブックです。システムの更新、Git LFSのインストール、NVIDIAドライバー、Docker、およびNVIDIAコンテナツールキットのセットアップを含むタスクが含まれています。

タスク

• Ubuntuの更新: Ubuntuシステムを更新およびアップグレードします。
  • ファイル: tasks/upgrade_ubuntu.yaml
• Git LFSのインストール: Git Large File Storageをインストールします。
  • ファイル: tasks/install_git_lfs.yaml
• NVIDIAドライバーのセットアップ: NVIDIAドライバーをインストールおよび構成します。
  • ファイル: tasks/setup_nvidia_driver.yaml
• Dockerのセットアップ: Dockerをインストールし、構成します。
  • ファイル: tasks/setup_docker.yaml
• NVIDIAコンテナツールキットのセットアップ: NVIDIAコンテナツールキットをインストールし、構成します。
  • ファイル: tasks/setup_nvidia_container_toolkit.yaml

使用方法

1. リポジトリをクローンします:

   git clone <repository-url>
   cd <repository-directory>

2. inventory.yamlファイルを更新し、サーバーの詳細を入力します。 SSH接続可能なサーバーのホストを指定してください。

3. プレイブックを実行します:

   ansible-playbook -i inventory.yaml linux_llm_server_playbook.yaml

設定

ansible.cfg

このファイルには、Ansibleの設定が含まれています。

inventory.yaml

このファイルには、管理するサーバーのインベントリが含まれています。

ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細はLICENSEファイルを参照してください。

コントリビューション

コントリビューションは歓迎します！変更がある場合は、issueを開くか、プルリクエストを提出してください。