كيف يتم شحن خوادم Amazon Cloud GPU ؟ Amazon EC2 G4dn/G5 مثيلات تحليل كامل للحساب والسعر

اليوم ، مع الذكاء الاصطناعي ، والضبط الدقيق للنماذج الكبيرة ، وتقديم الرسومات ، فإن شراء بطاقة رسومات GPU عالية الأداء الخاصة بك ليس مكلفًا فحسب ، بل غالبًا ما ينفد المخزون. نتيجة لذلك ، سيركز معظم المطورين والمهندسين المعماريين وفرق ريادة الأعمال أنظارهم على السحابة-خاصة الأخ الأكبر للحوسبة السحابية Amazon Cloud (AWS)

Amazon EC2 GPU مثيل

.

في عائلة GPU من AWS ،

G4dn

و

G5

إنها "آلة سحرية فعالة من حيث التكلفة" تم شراؤها على مدار السنة. لا يمكنهم فقط تشغيل منطق الذكاء الاصطناعي ، والضبط الدقيق للنماذج الصغيرة ، ولكن أيضًا يمكنهم تحمل العرض ثلاثي الأبعاد والألعاب السحابية.

ومع ذلك ، عندما يتعرض الكثير من الناس لأول مرة لـ AWS ، فإنهم غالبًا ما يشعرون بالدوار من قواعد الفوترة مثل المتاهة والمواصفات المختلفة. غالبًا ما يتلقى الأشخاص فاتورة ضخمة مؤلمة في نهاية الشهر لأنهم يختارون وضع الفوترة الخاطئ أو ينسون إيقاف التشغيل.

اليوم ، يقطع هذا البرنامج التعليمي مباشرة البضائع الجافة ذات النواة الصلبة ، ولا يسحب مفهوم PPT ، ويأخذك إلى أمثلة G4dn و G5 في اللغة الأكثر تأريخًا

الاختلافات الحسابية وتفاصيل دفتر الأستاذ والحيل لتوفير المال

واضح تماما.

المرحلة الأولى: تفكيك الأجهزة والقوة الحاسوبية (ما الفرق بين G4dn و G5 ؟)

قبل تسوية الحسابات ، يجب علينا أولاً معرفة نوع "الحمار" الذي اشتريناه. الفرق الأساسي بين G4dn و G5 هو في الأساس في بطونهم

بنية بطاقة الرسومات

مختلف.

1. مثال Amazon EC2 G4dn: "ملك التفكير" الفعال من حيث التكلفة

بطاقة الرسومات الأساسية: NVIDIA T4 (استنادًا إلى بنية Turing).

سعة ذاكرة الفيديو: تحتوي كل بطاقة على ذاكرة فيديو 16 جيجابايت.

الفاصل الزمني المهيمن: قوة حسابية متوسطة لعملية الفاصلة العائمة أحادية الدقة (FP32) ، لكنها تدعم Tensor Core. إنها مناسبة جدًا لتشغيل الاستدلال النموذجي لمنظمة العفو الدولية (Inference) ، أو الكشف عن الهدف الخفيف الوزن ، أو العرض ثلاثي الأبعاد وتحويل الفيديو مع متطلبات جودة الصورة غير المتطرفة.

العامية: إذا تم تدريب نموذجك الكبير ، فيجب عليك الآن نشره عبر الإنترنت لتزويد المستخدمين بالوصول إلى واجهة برمجة التطبيقات. يعد اختيار G4dn هو الخيار الأكثر اقتصادا وأعلى نسبة إنتاج.

2. مثال Amazon EC2 G5: "المحارب الشامل"

بطاقة الرسومات الأساسية: NVIDIA A10G (استنادًا إلى بنية Ampere).

سعة ذاكرة الفيديو: تحتوي كل بطاقة على ذاكرة فيديو 24 جيجابايت.

الفاصل الزمني المهيمن: لقد حققت قوة حسابها قفزة كبيرة من T4. تم تحسين أداء عرض الرسومات بمقدار 3 مرات ، وتم تحسين أداء التدريب والاستدلال AI بمقدار 3.3 مرة. لا يقتصر الأمر على كونه مؤهلاً تمامًا لاستدلال التزامن العالي ، ولكن نظرًا لتوسيع ذاكرة الفيديو إلى 24G وقوة حسابية أقوى ، يمكن استخدامه بالفعل لإجراء ضبط دقيق وتدريب خفيف الوزن للنماذج الصغيرة والمتوسطة الحجم.

العامية الكبيرة: إذا كنت تريد تشغيل Stabl بنفسك

E Diffusion XL رسم الصور عالية الدقة ، أو ضبط نموذج لغة Llama مع عدة معلمات B ، أو الانخراط في عرض سحابي ثلاثي الأبعاد عالي الدقة في الوقت الفعلي ، سيكون من الأسهل بكثير إنفاق المزيد من المال على G5.

المرحلة الثانية: نماذج الفوترة الثلاثة الرئيسية لسحابة أمازون (حدد عدد الفواتير التي تتلقاها في نهاية الشهر)

فواتير AWS ليست مقاس واحد يناسب الجميع ، فهي تقدم ثلاثة "طرق لعب" مختلفة تمامًا. نفس الخادم ، حدد الوضع الخطأ ، يمكن أن يكون السعر أسوأ

3 إلى 4 مرات

.

الوضع 1: مثال عند الطلب (On-Demand)-مرن ولكنه أغلى

كيفية الفوترة: الفوترة الحقيقية "كم تدفع" ، يتم تحصيل الرسوم في الثانية (دقيقة واحدة على الأقل). يمكنك قتله في أي وقت عندما لا تستأجر.

مناسبة للمشهد: كتابة التعليمات البرمجية المؤقتة وتصحيح الأخطاء وتشغيل مهام الاختبار لبضع ساعات.

Dakeng غير المرئي: لا تستخدم مثالًا عند الطلب كخادم ثابت لفترة طويلة! إذا كنت تقود مثالًا من G5 ورميها في ذلك الشهر ، فقد يؤدي فاتورة الشهر التالي إلى إفلاسك مباشرة. بالإضافة إلى ذلك ، نظرًا لأن المثيل عند الطلب لا يضمن المخزون ، في طفرة الذكاء الاصطناعي اليوم ، قد تواجه الموقف المحرج المتمثل في "مطالبة النظام بعدم وجود بطاقة رسومات في المنطقة المتاحة" عند مواجهة ذروة العمل.

النموذج 2: المثيل المحجوز (RI)/خطة التوفير المحجوزة (Savings Plans)-الاستقرار طويل الأجل هو الأكثر فعالية من حيث التكلفة

كيفية الفوترة: وقعت عقدًا مع AWS ووعدت باستئجار هذا الجهاز لمدة عام أو 3 سنوات متتالية. في المقابل ، تمنحك AWS خصومات مباشرة ، وعادة ما تحصل على خصم بنسبة 60 ٪ لمدة عام واحد ، وحتى 3 إلى 4 ٪ لمدة 3 سنوات. يمكنك اختيار الدفع لمرة واحدة أو الدفع الشهري أو عدم الدفع المسبق.

مشهد مناسب: أعمال الذكاء الاصطناعي الخاصة بك على الإنترنت ، ولا يمكن إيقاف تشغيل هذا الخادم 365 يومًا في السنة ، 24 ساعة في اليوم ، ولا يمكن تشغيله.

العامية: طالما أن هذا الجهاز يعمل لأكثر من نصف شهر كل شهر ، فمن الحكمة بالتأكيد شراء خطة توفير مباشرة.

النموذج 3: مثال Spot (مثال العطاء)-قطعة أثرية "صوف الصوف" المفضلة لدى السيد

كيفية الفوترة: إنه الوجود الأكثر روعة في نظام الفوترة AWS. ستقوم AWS ببيع "بطاقات الرسومات الخاملة" غير المستخدمة حاليًا في غرفة الكمبيوتر بالمزاد ، والخصم منخفض من 1 إلى 30 ٪ (أي ما يعادل توفير 70 ٪ ~ 90 ٪ من المال)!

العيب القاتل: AWS قد تستعيد الخادم بالقوة في أي وقت. عندما يشتري شخص ما في السوق مثالًا عند الطلب بسعر مرتفع ، مما يتسبب في نقص بطاقة الرسومات في غرفة الكمبيوتر ، سيرسل لك AWS إشعارًا قبل دقيقتين ، ثم يجبر الخادم الخاص بك على إيقاف التشغيل.

مناسبة للمشهد: تدريب منظمة العفو الدولية الموزع على نطاق واسع ، لا يتطلب مهام عرض الفيديو عبر الإنترنت في الوقت الفعلي. يجب أن تكتب Checkpoints في الكود ، حتى لو مات الخادم فجأة ، يمكنك الاستمرار في تشغيل جهاز آخر.

المرحلة الثالثة: G4dn مقابل الجدول الاكتواري لأسعار G5 (تثبيت دفتر الحسابات الخاص بك)

تسعير AWS في مناطق مختلفة من العالم

مختلفة (عادة ما تكون أرخص في الولايات المتحدة ، أغلى قليلاً في الصين واليابان وأوروبا). نحن مع الأكثر كلاسيكية

شرق الولايات المتحدة (ولاية فرجينيا الشمالية)

التسعير القياسي الرسمي كمثال (قد يتم ضبط السعر الفعلي بمرور الوقت ، ولكن النسبة ثابتة بشكل أساسي):

اسم المثال

عدد بطاقات GPU & نماذج

إجمالي سعة ذاكرة الفيديو

وحدة المعالجة المركزية الأساسية/الذاكرة

سعر الوحدة حسب الطلب (بالساعة)

تحويل محجوز لمدة سنة واحدة (كل ساعة)

G4dn. xlarge

1 x NVIDIA T4

16 GB

4 النواة/16 GB

حوالي 0.526 دولار

حوالي 0.35 دولار (محافظة 30 ٪ +)

G4dn. 12xlarge

4 x NVIDIA T4

64 جيجابايت

48 النووية/192 GB

حوالي 3.912 دولار

حوالي 2.55 دولار

G5.xlarge

1 x NVIDIA A10G

24 جيجابايت

4 النواة/16 GB

حوالي 1.006 دولار

حوالي 0.63 دولار (المحافظة حوالي 40 ٪)

G5.12xlarge

4 x NVIDIA A10G

96 جيجابايت

48 النووية/192 GB

حوالي 5.672 دولار

حوالي 3.57 دولار

💡الحالة الاكتوارية للدفتر الأستاذ: إذا اشتريت الرسم الأساسي g5.xlarge أو ضبط النموذج. إذا كنت تستخدم الوضع عند الطلب لمدة شهر (720 ساعة):1.006*720 = 724.32 دولارًا أمريكيًا (حوالي 5000 يوان صيني). إذا كنت تشتري خطة توفير لمدة عام واحد: حوالي 0.63*720 = 453.6 دولار في الشهر. تم توفير أكثر من ألفي يوان في لحظة.

المرحلة الرابعة: ثلاثة "مصاصي الدماء غير المرئية" في فواتير GPU AWS

يعتقد الكثير من الناس أنه سيكون كل شيء على ما يرام بالنسبة لي لحساب 1 دولار في الساعة في النموذج. نتيجة لذلك ، تلقيت الفاتورة ووجدت مئات الدولارات الإضافية. ضع في اعتبارك أن AWS عبارة عن فواتير معيارية ، وخادم GPU مفتوح ، كما تعمل الأماكن الثلاثة التالية على تشغيل العداد في نفس الوقت:

تكلفة القرص الصلب السحابي EBS (قم فقط بإيقاف تشغيل الجهاز دون حذف الجهاز): من أجل تشغيل النموذج الكبير ، قمت بتنزيل وزن نموذج HuggingFace 200 جيجابايت واشترت محرك أقراص ثابت gp3 بسعة 300 جيجابايت. ملاحظة: حتى إذا قمت بإيقاف تشغيل خادم EC2 ، طالما أنك لم تقم بإلغاء هذا الخادم تمامًا ، فإن هذا القرص الثابت سعة 300 جيجابايت سيستمر في خصم رسوم التخزين الخاصة بك كل يوم! (في شرق الولايات المتحدة ، تبلغ قيمة القرص الصلب 300G حوالي 24 دولارًا في الشهر).

رسوم تدفق بيانات الشبكة العامة (Data Transfer Out): تتلقى AWS البيانات (التي يتم تحميلها محليًا إلى الخادم) مجانًا ، ولكن البيانات الصادرة (التي يتم تنزيلها من الخادم إلى المحلي أو العميل) يتم جمعها. إذا كنت تستخدم GP

تقوم U بتقديم عدد كبير من مقاطع الفيديو فائقة الدقة ، أو استدعاء النماذج الكبيرة ذات التردد العالي لبصق عدد كبير من النصوص. عندما تتجاوز حركة مرور الشبكة العامة 100 جيجابايت ، سيتم فرض رسوم مرور تبلغ حوالي 0.09 دولار أمريكي لكل جيجابايت.

رسوم الخمول IP للشبكة العامة المرنة (لا تترك IP عند التوقف): إذا تقدمت بطلب للحصول على IP مرن ثابت (EIP) للخادم. عندما يكون الخادم قيد التشغيل ، يكون عنوان IP هذا مجانيًا لك ؛ ولكن إذا قمت بإيقاف تشغيل الخادم وكان عنوان IP هذا خاملاً ، فستفرض AWS حوالي 0.005 دولار أمريكي في الساعة مقابل رسوم خاملة عقابية لمنعك من شغل شبكة عامة قيمة. موارد IP.

خلاصة وقواعد لتجنب المزالق

خادم GPU الذي يدير سحابة Amazon هو في الأساس لعب توازن ديناميكي بين متطلبات الأداء وميزانية المحفظة. أخيرًا ، أعطيك أربعة تكتيكات للدفاع عن النفس تستخدمها جميع المحاربين القدامى:

اختر G4 للاستدلال الخفيف: النموذج الذي تم تدريبه ، واتصل بالإنترنت على نطاق صغير ، وبطاقة الرسومات T4 هي الأكثر فعالية من حيث التكلفة.

ضبط العرض على G5: 24G ، هيكل Ampere الجديد ، الرسم الدقيق واختيار تجربة A10G هي الأفضل.

خطة الشراء طويلة المدى ، الركض عند الطلب: طالما أن الخادم يعمل لأكثر من 12 ساعة في اليوم ، اشتر بحزم Savings Plans.

يجب عليك قطع الجذور بعد الخروج من العمل: بعد الانتهاء من التجربة ، لا يجب عليك إيقاف التشغيل فحسب ، بل تذكر التحقق من القرص الصلب وعناوين IP.