เซิร์ฟเวอร์ Google Cloud GPU เรียกเก็บเงินอย่างไร Compute Engine A3/A2อินสแตนซ์พลังการประมวลผลและการวิเคราะห์ราคาแบบเต็ม!!

ด้วยการระเบิดของโมเดล AI การเรียนรู้เชิงลึกและการประมวลผลแบบขนานขนาดใหญ่อินสแตนซ์ A3และ A2ของ Google Cloud จึงเป็นที่นิยมอย่างไรก็ตามการเรียกเก็บเงิน GPU ของผู้ผลิตรายใหญ่มีความซับซ้อนมาก-มันไม่ได้ "บรรจุในราคาเครื่องทั้งหมด" เหมือนผู้ให้บริการในประเทศบางรายแต่

CPU, หน่วยความจำ, กราฟิกการ์ด GPU, ไดรฟ์โซลิดสเตท NVMe ท้องถิ่น, แบนด์วิดท์เครือข่าย

ถอดชิ้นส่วนทั้งหมดแล้วเพิ่ม

บทช่วยสอนนี้ไม่ใช่เรื่องไร้สาระมันจะแยกตรรกะพื้นฐานการเรียกเก็บเงินของ GCP GPU ให้คุณโดยตรงและทำการประเมินเชิงลึกเกี่ยวกับพลังการประมวลผลและราคาของอินสแตนซ์ A3และ A2หลัก

1.ฐานหลัก: สูตรการเรียกเก็บเงินของ Google Cloud GPU

ใน GCP ค่าใช้จ่ายทั้งหมดของอินสแตนซ์ GPU จะถูกกำหนดโดยสูตรต่อไปนี้:

$$\ Text {ค่าใช้จ่ายต่อชั่วโมงทั้งหมด} = \ text{GPU core ราคาต่อหน่วย} \ text {ค่าใช้จ่าย CPU พื้นฐาน} \ text {ค่าหน่วยความจำ} \ text {SSD ในเครื่อง (ถ้ามี) ค่าใช้จ่าย} \ text {ที่เก็บข้อมูลและเครือข่าย} $ $

1.กฎที่ซ่อนอยู่ของรายการเรียกเก็บเงินหลัก

การเรียกเก็บเงินเป็นวินาทีเริ่มต้นที่1นาที: ตราบใดที่คุณสร้างอินสแตนซ์ GPU แม้ว่าคุณจะไม่เรียกใช้อะไรเลยหลังจากบูตเครื่องส่วน GPU จะถูกหักเต็มจำนวน

สถานะหยุด (Stopped) ยังคงเก็บเงินอยู่หรือไม่? เมื่อคุณปิด (Stop) GPU, CPU และหน่วยความจำจะหยุดการเรียกเก็บเงินแต่ Boot Disk ที่ติดตั้งจะยังคงถูกหักเป็นรายเดือน

ห้องคอมพิวเตอร์พรีเมี่ยมสูงมาก: ราคาของอินสแตนซ์ GPU ในภูมิภาคต่างๆ (Zone) แตกต่างกันมากโดยทั่วไปแล้วสหรัฐอเมริกาและตะวันตก (us-central1 us-west1) มีราคาถูกที่สุดเนื่องจากการขาดแคลนทรัพยากรในภูมิภาคเอเชียแปซิฟิกเช่นฮ่องกงและสิงคโปร์ราคามักจะเพิ่มขึ้น20% ~ 40%

2.A2 vs A3 series: การกำหนดตำแหน่งและข้อมูลจำเพาะของการคำนวณการถอดชิ้นส่วนทั้งหมด

Google Cloud จัดประเภทอินสแตนซ์ GPU เป็น "Accelerator-optimized" กำลังหลักที่แท้จริงในปัจจุบันคือ

A2 (พร้อม NVIDIA A100)

และ

A3 (ติดตั้ง NVIDIA H100/H200)

。

1. A2 series: ทางเลือกที่คุ้มค่าสำหรับการปรับแต่งโมเดลขนาดใหญ่และการฝึกอบรมขนาดกลาง

ตัวอย่าง A2ใช้กราฟิกการ์ด NVIDIA A100 Tensor Core ซึ่งมีหน่วยความจำวิดีโอ40GB และ80GB สองรุ่น

A2 Standard Edition (a2-highgpu): ติดตั้ง A100 40GB

A2 Super Edition (a2-megagpu): ติดตั้ง A100 80GB (ออกแบบมาสำหรับความต้องการหน่วยความจำขนาดใหญ่)

สถาปัตยกรรมพลังงานคอมพิวเตอร์: ใช้ Tensor Core สามรุ่นยังคงคุ้มค่ามากเมื่อใช้งาน FP16และ INT8

2. A3ชุด: LLM

คลัสเตอร์ Wanka และสัตว์ประหลาดที่ได้รับการฝึกฝนมาเป็นจำนวนมาก

A3เป็นอาร์เรย์ชั้นนำที่เปิดตัวโดย Google Cloud เพื่อตอบสนองต่อความคลั่งไคล้ของ Big Language Model (LLM) ซึ่งติดตั้ง NVIDIA H100 (หรือ H200รุ่นล่าสุด) 80GB HBM3

พลังการประมวลผลแบบก้าวกระโดด: มีการนำเอ็นจิ้น Transformer มาใช้ซึ่งได้รับการปรับให้เหมาะสมเป็นพิเศษสำหรับรุ่นใหญ่พลังการประมวลผล FP8สูงกว่า A100ถึง4เท่า

ความหวาดกลัวทางไซเบอร์: ส่วนที่แข็งแกร่งที่สุดของ A3ไม่ใช่การ์ดใบเดียวแต่เป็นแบนด์วิดท์เครือข่ายอินสแตนซ์ A3 Mega มาพร้อมกับแบนด์วิดท์เครือข่ายความเร็วสูงพิเศษสูงถึง800 Gbps (ผ่านเทคโนโลยีการเชื่อมต่อโครงข่าย GPU ที่กำหนดเองของ Google) ซึ่งมีไว้สำหรับการฝึกการ์ดหลายพันใบร่วมกันและการส่งข้อมูลจะไม่ถูกทำลาย

3.การคำนวณตัวอย่าง A2/A3และราคา Hengping (การดำเนินการหลัก)

เพื่อให้คุณทราบถึงการเรียกเก็บเงินจริงดังต่อไปนี้

ศูนย์ข้อมูลสหรัฐอเมริกาตะวันตก (us-central1)

, มาตรฐานอย่างเป็นทางการขึ้นอยู่กับการชำระเงินตามความต้องการ

คำเตือนพิเศษ: ราคาต่อไปนี้เป็นจำนวนโดยประมาณของเครื่องทั้งหมดที่รวมอยู่ (GPU ตรงกับหน่วยความจำ CPU ที่มาพร้อมกับ) และไม่รวมค่าธรรมเนียมการรับส่งข้อมูลเครือข่ายสาธารณะ

ตัวอย่างรุ่น

จำนวน GPU

หน่วยความจำวิดีโอทั้งหมด

รวม CPU กับหน่วยความจำ

ราคารายชั่วโมง (ตามความต้องการ)

ประมาณการรายเดือน (แปลง)

ลักษณะการคำนวณและสถานการณ์ที่เกี่ยวข้อง

A2-highgpu-1g

1 × A100 40GB

40GB

12 vCPU / 85GB

~ $3.67

~ $2,679

การปรับแต่งการ์ดเดี่ยว, การวาดภาพ Stable Diffusion, บริการให้เหตุผล AI ขนาดเล็กและขนาดกลาง

A2-megagpu-1g

1 × A100 80GB

80GB

24 vCPU / 170GB

~ $5.05

~ $3,686

เพิ่มหน่วยความจำวิดีโอเป็นสองเท่าเหมาะสำหรับรุ่นขนาดใหญ่ที่มีพารามิเตอร์ขนาดใหญ่เล็กน้อย (เช่น13B/33B) สำหรับการใช้งานในท้องถิ่นและการปรับแต่งน้ำหนักเบา

A2-highgpu-8g

8 × A100 40GB

320GB

96 vCPU / 680GB

~ $29.39

~ $21,454

คลาสสิก8บัตร Standard โหนดเหมาะสำหรับงานฝึกอบรมแบบขนานหลายการ์ดระดับองค์กร

A3-highgpu-8g

8 × H100 80GB

640GB

208 vCPU / 2TB

~ $41.30

~ $30,149

8การ์ด H100มาตรฐานอุตสาหกรรมเป็นมาตรฐานรองรับความแม่นยำ FP8นับหมื่นล้าน/แสนล้าน LLM ก่อนการฝึกอบรมและการฝึกอบรมหลายโมดอลขนาดใหญ่เป็นตัวเลือกแรก

A3-megagpu-8g

8 × H100 80GB

640GB

208 vCPU / 2TB

~ $48.50

~ $35,408

แบนด์วิดท์เครือข่ายเพิ่มขึ้นเป็นสองเท่า (800 Gbp

S) ออกแบบมาเป็นพิเศษสำหรับคลัสเตอร์แบบกระจายขนาดใหญ่ในระดับข้ามโหนดและ10,000การ์ด

หมายเหตุ: ราคาของผู้ผลิตรายใหญ่จะปรับแบบไดนามิกตามซัพพลายเชนและสินค้าคงคลังโปรดดูเครื่องมือคำนวณค่าธรรมเนียม GCP Calculator สำหรับราคาแบบเรียลไทม์

ประการที่สี่การหลีกเลี่ยงหลุมที่แท้จริง: "หลุมดำกลืนเงิน" ในบิล GPU

หลายบริษัทยื่นขอโควต้า GPU อย่างมีความสุขแต่เมื่อชำระเงินพวกเขาพบว่าใบเรียกเก็บเงินนั้นมากกว่าที่คาดไว้หลายพันดอลลาร์โดยปกติจะเป็นเพราะพวกเขาเหยียบสามหลุมต่อไปนี้:

การบังคับให้รวม NVMe SSD ในเครื่อง: เมื่อคุณเลือก A2ระดับไฮเอนด์ (เช่นการ์ด8ใบ) หรืออินสแตนซ์ A3 Google จะบังคับให้รวมฮาร์ดไดรฟ์โซลิดสเตท NVMe ในเครื่องที่มี3TB หลายตัวเพื่อให้แน่ใจว่าความเร็วในการอ่านข้อมูลจะไม่ลาก GPU (Local SSD) ฮาร์ดไดรฟ์ส่วนนี้จะถูกเรียกเก็บเงินทุกชั่วโมงในอัตราที่เป็นอิสระแม้ว่าคุณจะไม่ได้ใช้ในการฝากข้อมูลแต่เงินก็จะถูกหักออก

ค่าธรรมเนียมการถ่ายโอนเครือข่าย GPU ระดับไฮเอนด์ (Egress): การฝึกอบรม AI มักต้องใช้ชุดข้อมูลจำนวนมาก (หลาย TB เป็นบรรทัดฐาน) หากคุณจัดเก็บชุดข้อมูลไว้ที่อื่น (เช่น AWS S3หรือถังเก็บข้อมูลที่ไม่ใช่พื้นที่เดียวกัน) หรือดาวน์โหลดแบบจำลองน้ำหนักที่ได้รับการฝึกฝนมาเป็นเครื่องบ่อยๆค่าธรรมเนียมการรับส่งข้อมูลข้ามภูมิภาค/ขาออกจะสูงมาก

กับดักบัตรกำนัล "ไม่ได้ใช้งาน": Google มักให้โควต้าการทดสอบแก่ผู้ใช้องค์กรใหม่หลายพันดอลลาร์แต่โปรดทราบว่า H100 8การ์ดสามารถเผาผลาญได้เกือบ1,000ดอลลาร์ในหนึ่งวันหากรหัสไม่ถูกต้องและสภาพแวดล้อมไม่ได้รับการติดตั้งอย่างเหมาะสมบัตรจะอยู่ที่นั่นเป็นเวลาสองสามวันและจำนวนเงินจะถูกรีเซ็ตเป็นศูนย์ทันทีจากนั้นค่าธรรมเนียมการตรวจสอบนิติบุคคลของบัตรเครดิตที่ผูกไว้จะถูกหักออกโดยตรง

5.กลยุทธ์การประหยัดเงินที่ไม่ยอมใครง่ายๆ

GPU เป็นสินค้าฟุ่มเฟือยในการประมวลผลแบบคลาวด์และการจัดหาเงินทุนของบริษัทจะถูกเผาในไม่ช้าต่อไปนี้เป็นท่าประหยัดเงินที่ได้รับการยอมรับในแวดวง:

1.ขอแนะนำ: ใช้ Spot GPU (แบบยึด)-ลด3-4% โดยตรง

ถ้าคุณกำลังทำ

การฝึกอบรมที่ต้องหยุด

(นั่นคือรหัสสนับสนุนการบันทึกจุดตรวจ Checkpoint เป็นประจำ) หรือทำงานแบทช์ออฟไลน์

ต้องติ๊ก Spot VM

。

ช่วงประหยัดเงิน: ราคาเดิมของตัวอย่าง H100 $41/ชั่วโมงราคา Spot มักจะอยู่ที่ $12 ~ $14/ชั่วโมง

กฎแห่งการอยู่รอด: Google อาจนำเครื่องกลับได้ตลอดเวลาเขียนสคริปต์และซิงโครไนซ์น้ำหนักของโมเดลโดยอัตโนมัติไปยังที่เก็บข้อมูล Google Cloud Storage (GCS) ทุกๆครึ่งชั่วโมง

2.สัญญาว่าจะใช้ส่วนลด (CUD) -ยอมจำนนธุรกิจระยะยาว

หากโมเดลขนาดใหญ่ของคุณต้องการให้บริการการให้เหตุผล API ออนไลน์ตลอด24ชั่วโมงการจ่ายเงินตามความต้องการเป็นสิ่งที่โง่ที่สุด

ซื้อ GPU 1ปีบนคอนโซล GCP และสัญญาว่าจะใช้โดยปกติคุณจะได้รับส่วนลดประมาณ40%

ก่อนซื้อคุณต้องคำนวณจำนวนบัตรที่คุณต้องการให้ถูกต้องเพราะเมื่อคุณสัญญาแล้วไม่ว่าคุณจะเปิดหรือปิดเครื่องเงินจะถูกหักออกจากบัตรเครดิตทุกเดือนในปีหน้า

3.การรวมข้อมูลลงในอินทราเน็ต: ด้วย Cloud Storage

อย่าใช้เครือข่ายสาธารณะเพื่อส่งชุดข้อมูลส่งชุดการฝึกอบรมทั้งหมดไปยังที่เก็บข้อมูล Google Cloud Storage (GCS) ในพื้นที่เดียวกับเซิร์ฟเวอร์ GPU (โซนเดียวกันเช่น us-central1-a) ในพื้นที่เดียวกันค่าใช้จ่ายในการถ่ายโอนข้อมูลจากถังเก็บข้อมูลไปยังเซิร์ฟเวอร์ GPU คือ

$0/ฟรี

ใช่และปริมาณงานมีมาก

6.สรุป: คุณเลือกอย่างไร?

ทีมเริ่มต้น/การวิจัยทางวิชาการ/การปรับแต่งส่วนบุคคล: อย่าคว้า H100เลือก a2-highgpu-1g (A100 40G) เพื่อร่วมมือกับโหมด Spot เพื่อรันโค้ดและเรียกใช้โมเดลจากต้นแบบด้วยต้นทุนที่ต่ำที่สุด

การปรับแต่งธุรกิจ LLM ระดับองค์กรหลัก/ฟิลด์แนวตั้ง: เลือก a2-megagpu-1g (A100 80G) หน่วยความจำจอแสดงผลขนาดใหญ่ช่วยให้คุณสามารถใส่ขนาดแบทช์ที่ใหญ่ขึ้นได้ซึ่งไม่ใช่เรื่องง่ายที่จะระเบิดหน่วยความจำวิดีโอ (OOM)

รุ่นฮาร์ดคอร์ขนาดใหญ่ก่อนการฝึกอบรม/มัลติโมดอล/การแสวงหาประสิทธิภาพสูงสุด: ซีรีส์ A3ไร้สมอง (H100) แม้ว่าจะมีราคาแพงเพียงชั่วโมงเดียวเนื่องจากการคำนวณ FP8และอินเทอร์เน็ตที่น่ากลัวเวลาทั้งหมดในการฝึกอบรมจึงสั้นลงอย่างมากและต้นทุนเวลารวมและต้นทุนเงินทุนทั้งหมดจะคุ้มค่ากว่าการใช้การ์ดเก่า