ConoHa GPUサーバを評価【申し込みから生成AI(LLM)の動作確認まで】

ConoHa GPUサーバの申し込みから生成AI(LLM)の動作確認までを紹介します。

ConoHa GPUサーバーについて【公式】
https://www.conoha.jp/vps/gpu/

ConoHa VPSでGPUサーバが提供されたので生成AIのプログラムを実行してみました。

GPUなしのConoHa VPSについては以下の記事群をご覧ください。

【このサイトのVPS記事一覧】

ConoHa GPUの申し込み
GPUサーバーの作成までの流れ
1. GPUサーバーの作成までの流れ
2. 費用
Ubuntuに接続して利用
生成AI(ローカルLLM)で性能測定
1. GPUのリソース使用状況１
2. GPUのリソース使用状況　2
最後に

ConoHa GPUの申し込み

通常のConoHa VPSの利用に比べると少し面倒です。

何度かやり取りがあるので、最低でも平日2日ぐらい必要と想定しておいたほうがいい。

(1)GPUサーバ申請フォームで申し込み

ConoHa GPU申し込み【公式】

ConoHaのアカウントを持っていない場合はアカウントの作成が必要ですが

ConoHaのアカウントアカウントを持ってる場合もGPUの利用申請が必要です。

個人でも利用可能です。

(2)個人情報を送付

申請フォーム入力後に、メールで運転免許証、パスポート、健康保険証、住民票、マイナンバーカードのどれかの提出が必要なメールが来ます。

すでにConoHa WINGやConoHa VPSを使ってクレジットカード決算できる状態なのに、今更なぜという感じですが、指示通りに運転免許証を画像で送付。

(3)利用可能とメールが来る

メールで提出後に利用可能の連絡が来ます。その際に利用可能な台数の記載があります。

私はL4を1台で申し込みましたが、以下の台数が利用可能だそうです。

■GPUサーバーご利用可能台数
H100・・2台
L4・・・4台

GPUサーバーの作成までの流れ

1.コントロールパネルにログイン（https://www.conoha.jp/login）
2.画面上部の「VPS」を選択し、左メニューの「サーバー追加」を選択
3.サーバー追加画面のサービスにて「GPUサーバー」を選択
4.スペック・数量等を選択。rootのパスワードなどを入力。
5.画面右のカートの内容を確認し「追加」をクリック

構築には5分ほどかかります。

OSは、Ubuntu 22.04しか選択できません。現時点では、Windowsは存在しません。

構築後の状態は以下。「起動中」になれば利用可能です。

基本的な利用方法は、ConoHa VPS(Linux)と同じなので、以下の記事をご覧ください。

【レビュー】ConoHa VPS (Linux)メモリ4GB/8GBプランの魅力とは？管理機能もチェック！ConoHa VPS (Linux)を使えば、クラウド上に簡単にLinuxサーバを作成できます。メモリサイズ4GB/4コア、8G...

使い方がイメージできない方は、時間課金で1GBメモリ程度の安いVPSを払い出して練習てもいいかもしれません。
・「VPS」-「Ubuntu」-「時間課金」-「1GB」で1時間 1.9円です。

私も以下の問題で、ConoHa GPUサーバにssh接続できなかったので、「VPS」-「Ubuntu 22.04」-「時間課金」-「1GB」を作成して確認しました。

ConoHa VPSでSSH接続できない問題の解決方法久しぶりにConoHa VPSで Linuxを新規に構築したら、初期状態ではSSH接続できなくなっている。ホストに接続できませんエラ...

その時は、Ubuntuの問題も疑っていたので、Ubuntu 22.04 と Rocky Linux 8.9を作成して確認しました。費用は3円と1.5円です。素晴らしい低コストです。

費用

試しで NVIDIA L4 を時間課金で使ってみました。1時間 169.4円です。

以下の画像の利用金額は、NVIDIA L2を2つ作成して1時間前後の利用だったのですが、２回とも280円になっています。

1時間10分などの利用は、2時間扱いですかね。１つは1時間を超えないように使ったつもりだったのですが、費用の時刻の切れ目がよく分かりません。

Ubuntuに接続して利用

SSH接続できずに、いろいろ調べている間に1時間の料金を失う。。。

■CPUはこんな感じ
たぶん、仮想化されているのでCPUの具体的な型番などは不明。(model番号で多少推測できるが)

$
$ cat /proc/cpuinfo

vendor_id : GenuineIntel
cpu family : 6
model : 134
model name : Intel Xeon Processor (Icelake)
stepping : 0
microcode : 0x1
cpu MHz : 2095.044
cache size : 16384 KB
physical id : 19
siblings : 1
core id : 0
cpu cores : 1
apicid : 19
initial apicid : 19
fpu : yes
fpu_exception : yes
cpuid level : 13
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology cpuid tsc_known_freq pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch cpuid_fault invpcid_single ssbd ibrs ibpb stibp ibrs_enhanced tpr_shadow vnmi flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves wbnoinvd arat avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq la57 rdpid fsrm md_clear arch_capabilities
vmx flags : vnmi preemption_timer posted_intr invvpid ept_x_only ept_ad ept_1gb flexpriority apicv tsc_offset vtpr mtf vapic ept vpid unrestricted_guest vapic_reg vid shadow_vmcs
bugs : spectre_v1 spectre_v2 spec_store_bypass swapgs taa mmio_stale_data
bogomips : 4190.08
clflush size : 64
cache_alignment : 64
address sizes : 40 bits physical, 57 bits virtual
power management:

■ディスクはこんな感じ
ディスクの追加はしてないので 100GB。

$
$ df
Filesystem 1K-blocks Used Available Use% Mounted on
tmpfs 13189996 1112 13188884 1% /run
/dev/vda2 103017980 6165212 92432688 7% /
tmpfs 65949972 0 65949972 0% /dev/shm
tmpfs 5120 0 5120 0% /run/lock
tmpfs 65949972 0 65949972 0% /run/qemu
tmpfs 13189992 4 13189988 1% /run/user/0

■メモリ　 128GB

$
$ free -h
total used free shared buff/cache available
Mem: 125Gi 391Mi 124Gi 1.0Mi 464Mi 124Gi
Swap: 2.0Gi 0B 2.0Gi

■GPU　 NVIDIA L4 24GB

23034MiBとなっていますが。

$

$ nvidia-smi

Mon Jul 8 19:08:13 2024
+-------------------------------------------------------------------+
| NVIDIA-SMI 555.42.06 Driver Version: 555.42.06 CUDA Version: 12.5 |
|-----------------------------------------+-----------+--------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|====================================+==================+========|
| 0 NVIDIA L4 Off | 00000000:00:06.0 Off | 0 |
| N/A 37C P0 29W / 72W | 1MiB / 23034MiB | 0% Default |
| | | N/A |
+-------------------------------+------------------+-----------+

生成AI(ローカルLLM)で性能測定

測定プログラムについては以下の記事を参照ください。

ローカルLLMをLangChainを使ってPC上で動かす方法(いろいろなLLMを試してみた)自分のPCで生成AIのChatGPTのようなことができたら、楽しいですよね。ローカルPCで無料で使えるLLMが公開されているので...

生成AI(LLM)に必要なPythonライブラリをインストールして、Pythonプログラムを実行して他のサーバと比較します。

一番右が今回利用したNVIDIA L4の性能です。

そこそこの測定値ですが、驚くような値ではありません。L4はそんなに高性能ではない。

比較のためにGPUなしのサーバの情報も記載しています。

NVIDIA L4でたまに遅いときがあります。

GPUのリソース使用状況１

9841 MiB=9.8GB　GPUメモリを使用しています。

この生成AIのプログラムは、LLMのモデルファイルをGPUのメモリに読み込んで処理するので、メモリサイズもGPUの処理性能も必要になります。

python3 simple-query1-test.py google/gemma-2b-it 128　を実行

(8)2024年07月08日 19:09:49　LLM回答生成　開始
(9)2024年07月08日 19:09:52　完了 ★3秒

# nvidia-smi -l 1 –query-gpu=timestamp,utilization.gpu,utilization.memory,memory.total,memory.free,memory.used –format=csv
timestamp, utilization.gpu [%], utilization.memory [%], memory.free [MiB], memory.used [MiB]

時刻、GPU使用率、GPUメモリ使用率、GPU空きメモリ、GPU使用メモリ
2024/07/08 19:09:43.009, 0 %, 0 %, 22601 MiB, 1 MiB
2024/07/08 19:09:44.009, 0 %, 0 %, 22601 MiB, 1 MiB
2024/07/08 19:09:45.009, 0 %, 0 %, 22601 MiB, 1 MiB
2024/07/08 19:09:46.009, 0 %, 0 %, 22600 MiB, 1 MiB
2024/07/08 19:09:47.010, 18 %, 2 %, 18471 MiB, 4131 MiB
2024/07/08 19:09:48.010, 21 %, 2 %, 13559 MiB, 9043 MiB
2024/07/08 19:09:49.010, 0 %, 0 %, 12847 MiB, 9755 MiB
2024/07/08 19:09:50.010, 0 %, 0 %, 12847 MiB, 9755 MiB
2024/07/08 19:09:51.010, 98 %, 100 %, 12761 MiB, 9841 MiB
2024/07/08 19:09:52.011, 98 %, 100 %, 12759 MiB, 9843 MiB
2024/07/08 19:09:53.011, 87 %, 21 %, 22601 MiB, 1 MiB

GPUのリソース使用状況　2

19439 =19.4GB　GPUメモリを使用しています。

GPU使用率(utilization.gpu)が低いのはなぜだろう。

python3 simple-query1-test.py google/gemma-7b-it 128 を実行。

(8)2024年07月08日 19:11:04　LLM回答生成　開始
(9)2024年07月08日 19:12:01　完了 ★57秒たまに遅い。

時刻、 GPU使用率,GPUメモリ使用率,GPU空きメモリ,GPU使用メモリ
2024/07/08 19:11:05.732, 32 %, 32 %, 3205 MiB, 19397 MiB
2024/07/08 19:11:06.732, 44 %, 9 %, 3201 MiB, 19401 MiB
2024/07/08 19:11:07.732, 57 %, 29 %, 3435 MiB, 19167 MiB
2024/07/08 19:11:08.733, 48 %, 10 %, 3195 MiB, 19407 MiB
2024/07/08 19:11:09.733, 49 %, 11 %, 3195 MiB, 19407 MiB
2024/07/08 19:11:10.733, 49 %, 10 %, 3195 MiB, 19407 MiB
: 同じようなパターンなので省略
2024/07/08 19:11:53.739, 67 %, 50 %, 3163 MiB, 19439 MiB
2024/07/08 19:11:54.739, 49 %, 11 %, 3403 MiB, 19199 MiB
2024/07/08 19:11:55.740, 32 %, 7 %, 3163 MiB, 19439 MiB
2024/07/08 19:11:56.740, 48 %, 10 %, 3163 MiB, 19439 MiB
2024/07/08 19:11:57.740, 49 %, 10 %, 3401 MiB, 19201 MiB
2024/07/08 19:11:58.740, 68 %, 53 %, 3161 MiB, 19441 MiB
2024/07/08 19:11:59.740, 49 %, 11 %, 3399 MiB, 19203 MiB
2024/07/08 19:12:00.740, 47 %, 10 %, 3163 MiB, 19439 MiB
2024/07/08 19:12:01.740, 49 %, 11 %, 3449 MiB, 19153 MiB
2024/07/08 19:12:02.740, 0 %, 0 %, 3449 MiB, 19153 MiB