アマゾンクラウドGPUサーバはどのように課金されますか?Amazon EC2 G4dn/g 5インスタンスの計算力と価格の全解析
人工知能、大モデルの微調整、グラフィックのレンダリングが爆発した今日、自分の高性能GPUビデオカードを買うのは高いだけでなく、品切れになることが多い。だから、ほとんどの開発者、設計者、創業チームは、クラウド、特にクラウドコンピューティングのビッグブラザーアマゾンクラウド (AWS) に目を向けている
Amazon EC2 GPUインスタンス
。
AWSのGPUファミリーでは
G4dn
そして
G5
長年爆買されてきた「全能性コストパフォーマンス神機」である。彼らはAI推論、小さなモデルの微調整を走ることができ、3Dレンダリングとクラウドゲームを担える。
しかし、多くの人はAWSに触れたばかりで、迷路のような課金ルールや様々なインスタンス仕様に気絶することが多い。多くの人は、課金モードを間違えたり、シャットダウンを忘れたりして、月末に肉が痛い巨額の請求書を受け取った。
今日のこのチュートリアルは、ハードコアの干物に直接切り込んで、PPTの概念を使わずに、最も接地的な言語で、G4dnとg 5の例を紹介します
計算力の違い、帳簿の細部、お金を節約する大きなトリック
徹底的にはっきりとかきとった。
第一段階: ハードウェアと計算力の分解 (G4dnとg 5の違いは何ですか?) を参照してください
勘定をする前に、自分が買ったのは何の「ロバ」なのかを知る必要がある。G4dnとG5の核心的な違いは、本質的にはお腹に入っていることである
グラフィックカードのアーキテクチャ
違う。
1. Amazon EC2 G4dnインスタンス: コストパフォーマンスの高い「ミステリーの王様」
コアビデオカード: NVIDIA T4 (Turingアーキテクチャに基づく)。
ビデオメモリ容量: カードごとに16 gbのビデオメモリがあります。
優勢区間: 単精度浮動小数点演算 (fp 32) の計算力は一般的であるが、Tensor Coreをサポートしている。トレーニングされたAIモデルの推論、軽量なターゲット検出、または画質要件が極端でない3Dレンダリングやビデオトランスコードに最適です。
白話: あなたの大きなモデルが訓練されていれば、今オンラインに導入してユーザーにAPIアクセスを提供して、G4dnを選ぶのが最もコストを節約し、生産を開始するのが最も高い選択です。
2. Amazon EC2 g 5の事例: 全面的に爆発した「全能戦士」
コアビデオカード: NVIDIA A10G (Ampereアーキテクチャに基づく)。
ビデオメモリ容量: 1枚のカードに24 GBのビデオメモリがあります。
優勢区間: その計算力はT4より大きな飛躍を迎えた。グラフィックレンダリングの性能は最高で3倍、AIトレーニングと推論の性能は最高で3.3倍向上した。高同時の推論に完璧な能力を持っているだけでなく、ビデオメモリが24Gに拡大し、計算力が強いため、中小規模モデルの微調整と軽量トレーニングにも利用できるようになった。
口語: 自分でStablを走りたいなら
E Diffusion XL hd画図、いくつかのBパラメータのLlama言語モデルを微調整したり、高精度なクラウド3Dリアルタイムレンダリングをしたりすると、より多くのお金を使ってg 5が爽快になる。
第二段階: アマゾンクラウドの三大課金モデル (月末にどのくらいの請求書を受け取るかを決める)
AWSの課金はすべてではなく、3つの全く異なる「遊び方」を提供しています。同じサーバで、間違ったモードを選んで、価格が悪くなる
3から4倍
。
モード1: オンデマンドのインスタンス (On-Demand): 柔軟だが最も高い
どのように課金するか: 本当の「いくらで支払うか」は、秒で課金する。借りていないときはいつでも殺すことができます。
適切なシーン: コードを一時的に書いてデバッグし、数時間のテストタスクを実行します。
見えない大きな穴: オンデマンドのインスタンスを固定サーバとして運転しないでください! もしあなたがg 5のインスタンスを開いてその月に捨てていたら、来月の請求書は直接破産する可能性があります。また、オンデマンドのインスタンスは在庫を保証していないため、AIブームをしている今日、ビジネスのピークに遭遇すると「この利用可能なエリアにビデオカードがないことをシステムが提示する」という気まずい状況に遭遇する可能性があります。
モード2: 予約インスタンス (RI)/予約節約計画 (Savings Plans): 長期安定が最もお得です
どのように課金するか: AWSと契約して、この機械を1年か3年連続で借りることを約束します。見返りとしてAWSは直接割引して、1年間は通常6割ぐらい、3年間は3割から4割までもらえる。一度に支払うか、月ごとに支払うか、前払いしないかを選択できます。
適切なシーン: あなたのAI業務はすでにオンラインになっていて、このサーバーは年間365日、一日24時間も電源を切ることができず、雷が動かない。
口語: この機械が毎月起動している時間が大半を超えていれば、節約計画を直接買うのが一番賢明です。
モデル3: Spotインスタンス (競争価格インスタンス) ― 上級者が大好きな「薔薇ウール」神器
課金方法: AWS課金システムの中で最も不思議な存在です。AWSは、機械室で現在使われていない「アイドルビデオカード」をオークションに出して、割引力が1 ~ 3割引になる (70% ~ 90% のお金を節約することに相当する)!
致命的な欠点: AWSはいつでもサーバを強制的に回収する可能性がある。市場では、オンデマンドのインスタンスを高値で購入し、機械室のビデオカードが逼迫している場合、AWSは2分前に通知を出して、サーバーを強制的にシャットダウンします。
シナリオに適しています: 分散された大規模なAIトレーニング、リアルタイムオンラインを必要としないビデオレンダリングタスク。コードにブレークポイントを書いて、サーバーが突然死んでも、機械を交換して走ることができます。
第三段階: G4dnとg 5価格精算表 (帳簿を安定させる)
AWSの世界の異なる地域(Region) での価格設定は
違います。私たちは最も典型的な
米国東部 (ヴァージニア北部)地域
の公式標準価格を例にとると (実際の価格は時間とともに微調整される可能性があるが、比率は基本的に固定されている)。
インスタンス名
GPUカード数 & 型番
ビデオメモリ総容量
CPUコア/メモリ
オンデマンド単価 (毎時)
1年間の予約換算 (毎時)
G4dn.xlarge
1 x NVIDIA T4
16 GB
4コア/16 gb
約0.526ドル
約 $0.35 (省30% +)
G4dn.12xlarge
4 x NVIDIA T4
64 GB
48コア/192 GB
約 $3.912
約 $2.5
G5.xlarge
1 x NVIDIA A10G
24 gb
4コア/16 gb
約 $1.006
約ドル (省40% 前後)
G5.12xlarge
4 x NVIDIA A10G
96 GB
48コア/192 GB
約5.672ドル
約3.57ドル
💡帳簿精算のケース: 最も基礎的なg5.xlargeを買って絵を描くか、模型を微調整する。オンデマンドで1ヶ月 (720時間):1.006*720 = 724.32ドル (約人民元5000 + 元)。1年間の節約計画を買うと、1ヶ月に約63*720 = 453.6ドルかかります。一瞬にして2千元以上の人民元を節約した。
第4段階: AWS GPU課金の3つの「見えない吸血鬼」
多くの人は、私が表の1時間に1ドルでコストを計算すればいいと思っています。その結果、請求書を受け取って何百ドルもの金が出てきた。AWSはモジュール課金で、GPUサーバが開いていて、次の3つの場所も同時に電気メーターを走っていることを覚えておいてください
EBSクラウドハードドライブの料金 (シャットダウンしても削除しなくてもお金がかかります): あなたは大きなモデルを走るために、200 GBのHuggingFaceモデルの重みをダウンロードして、300 GBのgp 3ハードディスクを買いました。注意: EC2サーバをシャットダウンしても、このサーバを完全にログアウトしていない限り、この300 GBのハードドライブは毎日ストレージ料金を徴収し続けています (米国東部では、300Gのハードドライブは月に約24ドルかかります)。
パブリックネットワークのデータ流出費用 (Data Transfer Out):AWSがデータを受信する (ローカルからサーバにアップロードする) のは無料ですしかし、データのアウトバウンド (サーバからローカルまたはクライアントにダウンロード) はお金を受け取る。GPを使うと
Uは大量の超高精細ビデオをレンダリングしたり、高周波で大規模なモデルを呼び出して大量のテキストを吐き出したりして、パブリックネットワークのトラフィックが100 GBを超えると、1 GBあたり約09ドルのトラフィック料金が請求されます。
柔軟なパブリックネットワークIPアイドル料金 (ダウンタイムは絶対にIPを残さないでください): サーバに固定的な柔軟なIP(EIP) を申請した場合。サーバーが起動しているとき、このIPは無料で使えますしかし、サーバをシャットダウンすると、このIPはアイドル状態になり、AWSは1時間に約0.5% の処罰的なアイドル料金を請求します貴重なパブリックネットワークIPリソースを占有しないようにします。
まとめと失敗回避の口訣
アマゾンのクラウドを管理するGPUサーバは、本質的にパフォーマンスニーズと財布予算の間で動的なバランスをとる。最後にベテランが使っている防身口訣を4つ送ってください
軽量推論選g 4: すでに訓練されたモデル、小規模オンライン、T4ビデオカードで最もお得です。
微調整レンダリング上のg 5: 24g大現像、Ampere新アーキテクチャ、絵微調整選択a10 g体験が最も爽快である。
長開買計画、短距離走用オンデマンド: サーバーが毎日12時間以上起動していれば、Savings Plansを断固として購入する。
仕事が終わると根を切らなければならない: 実験が終わったので、電源を切るだけでなく、ハードディスクとIPをチェックして、使わない機械は断固としている。
