Bagaimana untuk menagih pelayan GPU awan Amazon? Analisis kuasa dan harga pengkomputeran contoh Amazon EC2 G4dn/G5
Hari ini, apabila kecerdasan buatan, penyesuaian model besar dan rendering grafik meletup, membeli kad grafik GPU berprestasi tinggi anda sendiri bukan sahaja mahal, tetapi juga sering kehabisan stok. Oleh itu, sebilangan besar pembangun, arkitek, dan pasukan keusahawanan akan melihat awan-terutamanya awan awan Amazon Cloud (AWS)
Contoh GPU Amazon EC2
。
Dalam keluarga GPU AWS,
G4dn
Dan
G5
Ini adalah "mesin sihir kos efektif" yang telah dibeli sepanjang tahun. Mereka bukan sahaja dapat menjalankan penaakulan AI, penyesuaian model kecil, tetapi juga dapat menjalankan rendering 3D dan permainan awan.
Walau bagaimanapun, ketika pertama kali bersentuhan dengan AWS, banyak orang sering terpegun dengan peraturan penagihan seperti labirin dan pelbagai spesifikasi contoh. Orang sering menerima bil besar yang menyakitkan pada akhir bulan kerana mereka memilih mod penagihan yang salah atau lupa untuk menutup.
Tutorial hari ini secara langsung memotong barang kering tegar, tanpa konsep PPT, menggunakan bahasa yang paling berasas untuk membawa anda ke contoh G4dn dan G5
Perbezaan kuasa pengkomputeran, perincian lejar dan langkah penjimatan wang
Benar-benar jelas.
Tahap pertama: pembongkaran perkakasan dan kuasa pengkomputeran (apa perbezaan antara G4dn dan G5?)
Sebelum menyelesaikan akaun, kita mesti terlebih dahulu mengetahui jenis "keldai" yang kita beli. Perbezaan inti antara G4dn dan G5 pada dasarnya adalah apa yang ada di perut mereka
Senibina kad grafik
Berbeza.
1. Contoh Amazon EC2 G4dn: "raja penaakulan" yang menjimatkan
Kad grafik teras: NVIDIA T4 (berdasarkan seni bina Turing).
Kapasiti memori video: Setiap kad mempunyai memori video 16 GB.
Julat kelebihan: Operasi titik terapung ketepatan tunggal (FP32) mempunyai daya pengkomputeran rata-rata, tetapi menyokong Tensor Core. Ia sangat sesuai untuk menjalankan model AI yang terlatih (Inference), pengesanan sasaran ringan, atau rendering 3D dan transkoding video di mana keperluan kualiti gambar tidak melampau.
Vernakular: Sekiranya model besar anda telah dilatih, dan sekarang anda harus menggunakan dalam talian untuk menyediakan akses API kepada pengguna, memilih G4dn adalah pilihan yang paling menjimatkan dan mempunyai nisbah pengeluaran tertinggi.
2. Contoh Amazon EC2 G5: "Pahlawan Mahakuasa" yang meletus
Kad grafik teras: NVIDIA A10G (berdasarkan seni bina Ampere).
Kapasiti memori video: Setiap kad mempunyai memori video 24 GB.
Julat kelebihan: Kekuatan pengkomputeran telah melonjak dari T4. Prestasi rendering grafik telah meningkat hingga 3 kali, dan prestasi latihan dan penaakulan AI telah meningkat hingga 3.3 kali. Ia tidak hanya mampu melakukan penaakulan serentak tinggi, tetapi kerana memori video telah diperluas menjadi 24G dan mempunyai daya pengkomputeran yang lebih kuat, ia sudah dapat digunakan untuk penyesuaian halus dan latihan ringan untuk model kecil, sederhana dan besar.
Vernakular: Sekiranya anda mahu menjalankan Stabl sendiri
Lukisan definisi tinggi e Diffusion XL, model bahasa Llama dengan beberapa parameter B, atau rendering masa nyata 3D awan berketepatan tinggi, akan lebih menyegarkan untuk menghabiskan lebih banyak wang untuk G5.
Tahap kedua: tiga model penagihan utama Amazon Cloud (menentukan berapa banyak bil yang anda terima pada akhir bulan)
Pengebilan AWS tidak sesuai untuk semua, ia menyediakan tiga "permainan" yang sama sekali berbeza. Pelayan yang sama, pilih mod yang salah, harganya boleh menjadi lebih teruk
3 hingga 4 kali
。
Mod 1: Contoh Atas Permintaan-Fleksibel tetapi paling mahal
Cara mengecas: "Bayar sebanyak yang anda gunakan" yang sebenar, bayar dalam beberapa saat (bayar sekurang-kurangnya 1 minit). Anda boleh membunuhnya bila-bila masa anda tidak menyewa.
Senario yang sesuai: tulis sementara untuk menyahpepijat kod, menjalankan tugas ujian selama beberapa jam.
Lubang yang tidak kelihatan: Jangan gunakan contoh atas permintaan sebagai pelayan tetap! Sekiranya anda memandu contoh G5 dan membuangnya selama sebulan, bil bulan depan boleh menyebabkan anda muflis. Di samping itu, kerana contoh atas permintaan tidak menjamin inventori, dalam ledakan AI hari ini, anda mungkin menghadapi situasi memalukan "sistem meminta bahawa tidak ada kad grafik untuk dibuat di kawasan yang tersedia" semasa tempoh puncak perniagaan.
Mod 2: Contoh Terpelihara (RI)/Pelan Simpan (Pelan Simpan)-Kestabilan jangka panjang adalah yang paling menjimatkan
Cara mengecas: Anda menandatangani kontrak dengan AWS dan berjanji akan menyewa mesin ini secara berterusan selama 1 atau 3 tahun. Sebagai balasannya, AWS secara langsung memberi anda potongan. Satu tahun biasanya dapat potongan sekitar 40%, dan tiga tahun bahkan dapat potongan 3 hingga 40%. Anda boleh memilih untuk membayar sekali gus, bulanan atau tidak prabayar.
Senario yang sesuai: Perniagaan AI anda sudah dalam talian, dan pelayan ini tidak dapat dimatikan 24 jam sehari, 365 hari dalam setahun.
Vernakular: Selagi mesin dihidupkan lebih dari setengah bulan setiap bulan, sudah pasti paling bijak untuk membeli rancangan simpanan secara langsung.
Mod 3: Contoh Spot (contoh penawaran)-artifak "bulu" kegemaran tuan
Cara mengecas: Ini adalah kewujudan paling ajaib dalam sistem penagihan AWS. AWS akan mengeluarkan "kad grafik terbiar" yang tidak digunakan di ruang komputer untuk dilelong, dan potongannya serendah 1 hingga 30% (setara dengan menjimatkan 70% ~ 90% wang)!
Kekurangan maut: AWS boleh menarik balik pelayan secara paksa pada bila-bila masa. Apabila seseorang di pasaran membayar harga tinggi untuk membeli contoh atas permintaan, yang menyebabkan kad grafik di ruang komputer menjadi ketat, AWS akan menghantar pemberitahuan kepada anda 2 minit lebih awal, dan kemudian secara paksa mematikan pelayan anda dan mengambilnya.
Senario yang sesuai: latihan AI berskala besar yang diedarkan, tidak memerlukan tugas rendering video dalam talian masa nyata. Anda mesti menulis Checkpoints dalam kod, walaupun pelayan tiba-tiba mati, anda boleh terus berjalan dengan mesin lain.
Tahap ketiga: jadual aktuari harga G4dn dan G5 (memegang buku anda dengan stabil)
Harga AWS di pelbagai wilayah di dunia (Wilayah) adalah
Tidak sama (biasanya yang paling murah di Amerika Syarikat, sedikit lebih mahal di China, Jepun, dan Eropah). Kami menggunakan yang paling klasik
Amerika Syarikat Timur (Virginia Utara)
Ambil harga standard rasmi sebagai contoh (harga sebenar mungkin diselaraskan dari masa ke masa, tetapi nisbahnya pada dasarnya tetap):
Nama contoh
Nombor & model kad GPU
Jumlah kapasiti memori video
Teras CPU/Memori
Harga unit atas permintaan (setiap jam)
Penukaran simpanan 1 tahun (setiap jam)
G4dn. xlarge
1 x NVIDIA T4
16 GB
4 teras/16 GB
Lebih kurang $0.526
Lebih kurang $0.35 (menjimatkan 30% +)
G4dn. 12xlarge
4 x NVIDIA T4
64 GB
48 teras/192 GB
Lebih kurang $3.912
Lebih kurang $2.55
G5.xlarge
1 x NVIDIA A10G
24 GB
4 teras/16 GB
Lebih kurang $1.006
Lebih kurang $0.63 (menjimatkan sekitar 40%)
G5.12xlarge
4 x NVIDIA A10G
96 GB
48 teras/192 GB
Lebih kurang $5.672
Lebih kurang $3.57
💡Kes kecil aktuari lejar: Sekiranya anda membeli g5.xlarge yang paling asas untuk melukis atau menyempurnakan model. Sekiranya anda menggunakan mod atas permintaan selama satu bulan (720 jam):1.006*720 = 724.32 dolar AS (kira-kira RMB 5000). Jika anda membeli pelan simpanan 1 tahun: kira-kira 0.63*720 = $453.6 sebulan. Lebih daripada dua ribu yuan disimpan dalam sekelip mata.
Tahap keempat: Tiga "vampir yang tidak kelihatan" dalam penagihan GPU AWS
Ramai orang berpendapat bahawa jika saya mengira kos 1 dolar sejam dalam jadual, semuanya akan baik-baik saja. Akibatnya, saya menerima bil dan mendapati terdapat beberapa ratus dolar tambahan. Ingat, AWS adalah penagihan modular, pelayan GPU dihidupkan, dan tiga tempat berikut juga menjalankan meter pada masa yang sama:
Kos cakera keras awan EBS (hanya mematikan dan tidak memadamkan mesin, tetapi juga memotong wang): Untuk menjalankan model besar, anda memuat turun berat model HuggingFace 200 GB dan membeli cakera keras gp3 300 GB. Catatan: Walaupun anda mematikan pelayan EC2 (Stopped), selagi anda tidak membatalkan pelayan sepenuhnya (Terminated), cakera keras 300 GB ini akan terus mengurangkan yuran simpanan anda setiap hari! (Di timur Amerika Syarikat, cakera keras 300G berharga kira-kira $24 sebulan).
Data Transfer Out: AWS menerima data (dimuat naik dari tempatan ke pelayan) secara percuma, tetapi data keluar dari stesen (dimuat turun dari pelayan ke pelanggan tempatan atau pelanggan anda) memerlukan wang. Sekiranya anda menggunakan GP
U membuat sebilangan besar video definisi tinggi, atau memanggil model besar frekuensi tinggi untuk mengeluarkan sejumlah besar teks. Apabila lalu lintas rangkaian awam melebihi 100 GB, setiap GB akan dikenakan bayaran data sekitar $0.09.
Bayaran terbiar IP rangkaian awam yang fleksibel (jangan tinggalkan IP semasa waktu henti): Sekiranya anda memohon IP fleksibel tetap (EIP) untuk pelayan. Apabila pelayan dihidupkan, IP ini percuma untuk anda; tetapi jika anda mematikan pelayan dan IP tidak berfungsi, AWS akan mengenakan bayaran ganti rugi kira-kira $0,005 sejam untuk mengelakkan anda menggunakan sumber IP rangkaian awam yang berharga.
Rumusan dan rumus elak kesilapan
Pelayan GPU yang menguruskan awan Amazon pada dasarnya memainkan keseimbangan dinamik antara keperluan prestasi dan anggaran dompet. Akhirnya, saya akan memberi anda empat formula pertahanan diri yang digunakan oleh veteran:
Pilih G4 untuk alasan ringan: Model yang telah dilatih, dalam talian dalam skala kecil, dan kad grafik T4 adalah yang paling menjimatkan.
Penyesuaian dan rendering pada G5: 24G memori paparan besar, seni bina baru Ampere, dan A10G adalah pengalaman terbaik dalam melukis dan menyempurnakan.
Pelan pembelian jangka panjang, penggunaan pecut atas permintaan: selagi pelayan dihidupkan lebih dari 12 jam sehari, beli Pelan Savings dengan tegas.
Akar mesti dipotong selepas bekerja: Setelah percubaan selesai, anda bukan sahaja mesti mematikan, tetapi juga ingat untuk memeriksa cakera keras dan IP, dan mesin yang tidak digunakan menentukan Terminate.