เซิร์ฟเวอร์ Amazon Cloud GPU เรียกเก็บเงินอย่างไร? Amazon EC2 G4dn/G5อินสแตนซ์พลังการประมวลผลและการวิเคราะห์ราคาแบบเต็ม

วันนี้เมื่อปัญญาประดิษฐ์การปรับแต่งโมเดลขนาดใหญ่และการเรนเดอร์กราฟิกได้รับความนิยมอย่างมากการซื้อกราฟิกการ์ด GPU ประสิทธิภาพสูงของคุณเองไม่เพียงแต่มีราคาแพงเท่านั้นแต่ยังมักจะหมดสต็อกอีกด้วยดังนั้นนักพัฒนาสถาปนิกและทีมผู้ประกอบการส่วนใหญ่จะให้ความสำคัญกับระบบคลาวด์โดยเฉพาะ Amazon Cloud (AWS) ซึ่งเป็นพี่ใหญ่ของคลาวด์คอมพิวติ้ง

ตัวอย่าง GPU Amazon EC2

。

ในตระกูล GPU ของ AWS

G4dn

และ

G5

เป็นของ "เครื่องวิเศษที่คุ้มค่าที่สุด" ที่ถูกซื้อมาตลอดทั้งปีพวกเขาไม่เพียงแต่ใช้เหตุผล AI การปรับแต่งโมเดลขนาดเล็กเท่านั้นแต่ยังสามารถรองรับการเรนเดอร์3มิติและเกมบนคลาวด์ได้อีกด้วย

อย่างไรก็ตามเมื่อหลายคนเข้ามาติดต่อกับ AWS ครั้งแรกพวกเขามักจะสับสนกับกฎการเรียกเก็บเงินที่เหมือนเขาวงกตและข้อกำหนดอินสแตนซ์ต่างๆผู้คนมักได้รับใบเรียกเก็บเงินจำนวนมากในช่วงปลายเดือนเนื่องจากเลือกรูปแบบการเรียกเก็บเงินที่ไม่ถูกต้องหรือลืมปิดเครื่อง

บทช่วยสอนของวันนี้ตัดเป็นสินค้าแห้งแบบฮาร์ดคอร์โดยตรงโดยไม่ต้องพูดถึงแนวคิดของ PPT โดยใช้ภาษาที่ลงสู่พื้นดินมากที่สุดเพื่อแสดงอินสแตนซ์ของ G4dn และ G5

ความแตกต่างของพลังการคำนวณรายละเอียดบัญชีแยกประเภทและเคล็ดลับการประหยัดเงิน

ชัดเจนและชัดเจน

ขั้นตอนแรก: การถอดฮาร์ดแวร์และพลังคอมพิวเตอร์ (G4dn และ G5ต่างกันอย่างไร?)

ก่อนที่จะชำระบัญชีเราต้องคิดก่อนว่าเราซื้อ "ลา" อะไรความแตกต่างหลักระหว่าง G4dn และ G5นั้นมีอยู่ในท้องเป็นหลัก

สถาปัตยกรรมกราฟิกการ์ด

แตกต่างกัน

1.ตัวอย่างของ Amazon EC2 G4dn: "ราชาแห่งเหตุผล" ที่คุ้มค่า

กราฟิกหลัก: NVIDIA T4 (ขึ้นอยู่กับสถาปัตยกรรม Turing)

ความจุของหน่วยความจำวิดีโอ: การ์ดแต่ละใบมีหน่วยความจำวิดีโอ16 GB 。

ช่วงที่ได้เปรียบ: การดำเนินการจุดลอยตัวแบบความแม่นยำเดียว (FP32) มีพลังในการประมวลผลทั่วไปแต่รองรับ Tensor Core เหมาะมากสำหรับการใช้ AI ที่ได้รับการฝึกฝนมาอย่างดีการตรวจจับเป้าหมายที่มีน้ำหนักเบาหรือการแสดงผล3มิติและการแปลงรหัสวิดีโอที่ไม่ต้องการคุณภาพของภาพมากนัก

ภาษาพื้นถิ่น: หากโมเดลขนาดใหญ่ของคุณได้รับการฝึกฝนและตอนนี้คุณต้องปรับใช้ออนไลน์เพื่อให้ผู้ใช้เข้าถึง API การเลือก G4dn เป็นตัวเลือกที่ประหยัดที่สุดและมีอัตราส่วนการผลิตสูงสุด

2.ตัวอย่าง Amazon EC2 G5: ระเบิดเต็มรูปแบบของ "นักรบผู้ทรงอำนาจ"

กราฟิกหลัก: NVIDIA A10G (ตามสถาปัตยกรรม Ampere)

ความจุหน่วยความจำวิดีโอ: การ์ดแต่ละใบมีหน่วยความจำวิดีโอ24 GB

ช่วงความได้เปรียบ: พลังการประมวลผลของมันนำไปสู่การก้าวกระโดดครั้งใหญ่เมื่อเทียบกับ T4ประสิทธิภาพการเรนเดอร์กราฟิกเพิ่มขึ้นถึง3เท่าและประสิทธิภาพของการฝึกอบรม AI และการให้เหตุผลเพิ่มขึ้นถึง3.3เท่าไม่เพียงแต่สามารถใช้เหตุผลพร้อมกันได้อย่างสมบูรณ์แบบเนื่องจากหน่วยความจำวิดีโอขยายเป็น24G และพลังการประมวลผลแข็งแกร่งขึ้นจึงสามารถใช้สำหรับการปรับจูนและการฝึกที่มีน้ำหนักเบาของโมเดลขนาดเล็กและขนาดกลางได้

พื้นถิ่น: ถ้าคุณต้องการวิ่ง Stabl ด้วยตัวเอง

การวาดภาพความละเอียดสูง e Diffusion XL การปรับแต่งแบบจำลองภาษา Llama ด้วยพารามิเตอร์ B หลายตัวหรือการมีส่วนร่วมในการเรนเดอร์แบบเรียลไทม์3มิติบนคลาวด์ที่มีความแม่นยำสูงจะทำให้ G5สดชื่นขึ้นมากโดยใช้เงินเพิ่มอีกเล็กน้อย

ขั้นตอนที่สอง: รูปแบบการเรียกเก็บเงินสามแบบของ Amazon Cloud (กำหนดจำนวนเงินที่คุณได้รับในช่วงสิ้นเดือน)

การเรียกเก็บเงินของ AWS ไม่ใช่ขนาดเดียวที่เหมาะกับทุกคนแต่มี "การเล่นเกม" ที่แตกต่างกันสามแบบเซิร์ฟเวอร์เดียวกันเลือกโหมดผิดราคาอาจแตกต่างกัน

3ถึง4ครั้ง

。

โหมดที่1: ตัวอย่างตามความต้องการ (On-Demand)-ยืดหยุ่นแต่แพงที่สุด

วิธีการเรียกเก็บเงิน: "จ่ายเท่าไหร่" จริงคิดเป็นวินาที (อย่างน้อย1นาที) คุณสามารถฆ่ามันได้ทุกเมื่อที่คุณไม่เช่า

สถานการณ์ที่เหมาะสม: เขียนโค้ดชั่วคราวสำหรับการดีบักและเรียกใช้งานทดสอบเป็นเวลาหลายชั่วโมง

หลุมขนาดใหญ่ที่มองไม่เห็น: อย่าใช้อินสแตนซ์ตามความต้องการเป็นเซิร์ฟเวอร์คงที่! หากคุณขับอินสแตนซ์ G5และทิ้งไว้ในเดือนนั้นบิลของเดือนถัดไปอาจทำให้คุณล้มละลายโดยตรงนอกจากนี้เนื่องจากตัวอย่างตามความต้องการไม่รับประกันสินค้าคงคลังในการเติบโตของ AI ในปัจจุบันคุณอาจพบกับสถานการณ์ที่น่าอับอายของ "ระบบแจ้งว่าไม่มีการ์ดแสดงผลในพื้นที่ว่างให้สร้าง" ในช่วงที่มีธุรกิจสูงสุด

โหมด2: ตัวอย่างที่สงวนไว้ (RI)/แผนประหยัดที่สงวนไว้ (Savings Plans)-เสถียรภาพในระยะยาวและคุ้มค่าที่สุด

วิธีการเรียกเก็บเงิน: คุณเซ็นสัญญากับ AWS และสัญญาว่าจะเช่าเครื่องนี้เป็นเวลา1หรือ3ปีในทางกลับกัน AWS จะให้ส่วนลดแก่คุณโดยตรงโดยปกติคุณจะได้รับส่วนลดประมาณ40% สำหรับระยะเวลา1ปีและ3ถึง40% สำหรับระยะเวลา3ปีคุณสามารถเลือกที่จะจ่ายเป็นเงินก้อนจ่ายเป็นรายเดือนหรือไม่จ่ายล่วงหน้า

สถานการณ์ที่เหมาะสม: ธุรกิจ AI ของคุณออนไลน์แล้วเซิร์ฟเวอร์นี้ไม่สามารถปิดได้365วันต่อปีตลอด24ชั่วโมงและไม่สามารถแตะต้องได้

ภาษาพื้นถิ่น: ตราบใดที่เครื่องนี้เปิดมานานกว่าครึ่งเดือนต่อเดือนการซื้อแผนประหยัดโดยตรงเป็นสิ่งที่ดีที่สุด

โหมด3: ตัวอย่าง Spot (ตัวอย่างการเสนอราคา)-สิ่งประดิษฐ์ "ขนแกะ" ที่ชื่นชอบของปรมาจารย์

วิธีการเรียกเก็บเงิน: เป็นการดำรงอยู่ที่น่าทึ่งที่สุดในระบบการเรียกเก็บเงิน AWS AWS จะประมูล "กราฟิกการ์ดที่ไม่ได้ใช้งาน" ซึ่งปัจจุบันไม่มีใครใช้ในห้องคอมพิวเตอร์และส่วนลดจะต่ำถึง1ถึง30% (เทียบเท่ากับการประหยัด70% ~ 90% ของเงิน)!

ข้อเสียร้ายแรง: AWS อาจบังคับให้เซิร์ฟเวอร์กู้คืนได้ตลอดเวลาเมื่อมีคนในตลาดจ่ายราคาสูงเพื่อซื้ออินสแตนซ์ตามความต้องการซึ่งทำให้กราฟิกการ์ดในห้องคอมพิวเตอร์แน่น AWS จะส่งการแจ้งเตือนให้คุณทราบล่วงหน้า2นาทีจากนั้นบังคับให้ปิดเซิร์ฟเวอร์ของคุณและนำออกไป

เหมาะสำหรับสถานการณ์: การฝึกอบรม AI ขนาดใหญ่แบบกระจายงานแสดงผลวิดีโอออนไลน์แบบเรียลไทม์ที่ไม่ต้องใช้คุณต้องเขียน Checkpoints ในรหัสแม้ว่าเซิร์ฟเวอร์จะตายกะทันหันคุณก็สามารถเรียกใช้เครื่องอื่นได้

ขั้นตอนที่สาม: ตารางคณิตศาสตร์ประกันภัยราคา G4dn และ G5 (ถือสมุดบัญชีของคุณให้มั่นคง)

การกำหนดราคาของ AWS ในภูมิภาคต่างๆ (ภูมิภาค) ทั่วโลกคือ

แตกต่างกัน (โดยปกติจะถูกที่สุดในสหรัฐอเมริกาและแพงกว่าเล็กน้อยในจีนญี่ปุ่นและยุโรป) เราใช้คลาสสิกที่สุด

ภาคตะวันออกของสหรัฐอเมริกา (เวอร์จิเนียเหนือ)

ยกตัวอย่างการกำหนดราคามาตรฐานอย่างเป็นทางการ (ราคาจริงอาจได้รับการปรับแต่งเมื่อเวลาผ่านไปแต่โดยพื้นฐานแล้วอัตราส่วนจะคงที่):

ชื่ออินสแตนซ์

หมายเลขบัตร GPU & รุ่น

ความจุรวมของหน่วยความจำวิดีโอ

แกน CPU/หน่วยความจำ

ราคาต่อหน่วยตามความต้องการ (ต่อชั่วโมง)

การแปลงสำรอง1ปี (ต่อชั่วโมง)

G4dn.xlarge

1 x NVIDIA T4

16 GB

4คอร์/16 GB

ประมาณ $0.526

ประมาณ $0.35 (ประหยัด30% +)

G4dn.12xlarge

4 x NVIDIA T4

64 GB

48คอร์/192 GB

ประมาณ $3.912

ประมาณ $2.55

G5.xlarge

1 x NVIDIA A10G

24 GB

4คอร์/16 GB

ประมาณ $1.006

ประมาณ $0.63 (ประหยัดประมาณ40%)

G5.12xlarge

4 x NVIDIA A10G

96 GB

48คอร์/192 GB

ประมาณ $5.672

ประมาณ $3.57

💡กรณีคณิตศาสตร์ประกันภัย: หากคุณซื้อ g5.xlarge ขั้นพื้นฐานที่สุดสำหรับการวาดภาพหรือการปรับแต่งแบบจำลองหากคุณใช้โหมดออนดีมานด์เป็นเวลาหนึ่งเดือน (720ชั่วโมง):1.006*720 = 724.32ดอลลาร์สหรัฐ (ประมาณ5,000หยวน) หากคุณซื้อแผนประหยัด1ปี: มีค่าใช้จ่ายประมาณ0.63*720 = 453.6ดอลลาร์ต่อเดือนประหยัดเงินได้มากกว่าสองพันหยวนในทันที

ขั้นตอนที่สี่: "แวมไพร์ล่องหน" สามตัวในการเรียกเก็บเงินของ AWS GPU

หลายคนคิดว่าทุกอย่างจะดีถ้าฉันคำนวณค่าใช้จ่ายตาม $1ต่อชั่วโมงในตารางเป็นผลให้ฉันได้รับบิลและพบว่ามีการเพิ่มเงินหลายร้อยดอลลาร์โปรดจำไว้ว่า AWS เป็นการเรียกเก็บเงินแบบแยกส่วนเซิร์ฟเวอร์ GPU เปิดอยู่และสถานที่สามแห่งต่อไปนี้กำลังเรียกใช้มิเตอร์ในเวลาเดียวกัน:

ค่าใช้จ่ายของฮาร์ดไดรฟ์บนคลาวด์ EBS (คุณจะถูกหักเมื่อปิดเครื่องโดยไม่ลบ): ในการเรียกใช้โมเดลขนาดใหญ่คุณดาวน์โหลดน้ำหนักรุ่น HuggingFace 200 GB และซื้อฮาร์ดไดรฟ์ gp3ขนาด300 GB หมายเหตุ: แม้ว่าคุณจะปิดเซิร์ฟเวอร์ EC2 (Stopped) ตราบใดที่คุณไม่ได้ออกจากระบบเซิร์ฟเวอร์โดยสิ้นเชิง (Terminated) ฮาร์ดไดรฟ์ขนาด300 GB นี้จะยังคงหักค่าธรรมเนียมหน่วยความจำของคุณทุกวัน! (ในภาคตะวันออกของสหรัฐอเมริกาฮาร์ดไดรฟ์300G มีราคาประมาณ $24ต่อเดือน)

Data Transfer Out: AWS รับข้อมูล (อัปโหลดจากโลคัลไปยังเซิร์ฟเวอร์) ฟรีแต่ข้อมูลขาออก (ดาวน์โหลดจากเซิร์ฟเวอร์ไปยังโลคัลหรือไคลเอนต์ของคุณ) จะถูกเรียกเก็บเงินหากคุณใช้ GP

U แสดงวิดีโอความละเอียดสูงพิเศษจำนวนมากหรือเรียกรุ่นใหญ่ความถี่สูงเพื่อพ่นข้อความจำนวนมากเมื่อการรับส่งข้อมูลเครือข่ายสาธารณะเกิน100 GB จะมีการเรียกเก็บค่าบริการข้อมูลประมาณ0.09ดอลลาร์ต่อ GB

ค่าธรรมเนียมที่ไม่ได้ใช้งาน IP เครือข่ายสาธารณะที่ยืดหยุ่น (อย่าทิ้ง IP เมื่อหยุดทำงาน): หากคุณสมัคร IP แบบยืดหยุ่นคงที่ (EIP) สำหรับเซิร์ฟเวอร์เมื่อเซิร์ฟเวอร์เปิดอยู่ IP นี้จะให้บริการฟรีสำหรับคุณแต่ถ้าคุณปิดเซิร์ฟเวอร์และ IP ไม่ได้ใช้งาน AWS จะเรียกเก็บค่าธรรมเนียมการไม่ได้ใช้งานเชิงลงโทษประมาณ0.005ดอลลาร์ต่อชั่วโมงเพื่อป้องกันไม่ให้คุณครอบครองทรัพยากร IP สาธารณะอันมีค่า.

สรุปและเคล็ดลับหลีกเลี่ยงข้อผิดพลาด

การจัดการเซิร์ฟเวอร์ GPU ของ Amazon Cloud เป็นการสร้างสมดุลแบบไดนามิกระหว่างข้อกำหนดด้านประสิทธิภาพและงบประมาณกระเป๋าเงินสุดท้ายนี้ฉันจะให้สูตรป้องกันตัวสี่ข้อที่ทหารผ่านศึกใช้:

เหตุผลน้ำหนักเบาเลือก G4: โมเดลที่ได้รับการฝึกฝนและออนไลน์ขนาดเล็กกราฟิกการ์ด T4นั้นคุ้มค่าที่สุด

การเรนเดอร์แบบปรับแต่ง G5: หน่วยความจำจอแสดงผลขนาดใหญ่24G สถาปัตยกรรมใหม่ของ Ampere และประสบการณ์ A10G ที่ดีที่สุดสำหรับการปรับแต่งภาพอย่างละเอียด

แผนการซื้อระยะยาวการวิ่งตามความต้องการ: ตราบใดที่เซิร์ฟเวอร์เปิดเครื่องนานกว่า12ชั่วโมงต่อวันให้ซื้อ Savings Plans อย่างเด็ดขาด

ต้องตัดรากหลังเลิกงาน: หลังจากการทดลองเสร็จสิ้นไม่เพียงแต่ต้องปิดเครื่องเท่านั้นอย่าลืมตรวจสอบฮาร์ดดิสก์และ IP และยุติเครื่องที่ไม่ได้ใช้