إعادة شحن الحساب السحابي لـ Tencent: قدرة معالجة التزامن متعدد المهام لخادم الحوسبة

في سوق اختيار الحوسبة السحابية ، هناك "ثلاثة قرون صعبة" كلاسيكية:

نوع عام ، نوع الذاكرة ، نوع الحوسبة ، كيف تختار في النهاية ؟ شحن حساب تينسنت كلاود

يمكن للعديد من المشرفين الذين يقومون للتو ببناء الهيكل أو قيادة الفريق أن يتسامحوا بسهولة في سوء الفهم: "على العكس من ذلك ، كل شيء عبارة عن خادم سحابة. لا يمكنني شراء نوع عام يحتوي على عدد كبير من عمليات التحقق والودائع الكبيرة ؟ ، هل أنت أكثر ثقة في البيع في تصنيف واحد ؟"

، الأداء الحقيقي تحت ضغط الحمل العالي ، قام فريقنا مؤخرًا بجنون

اختبار متعدد المهام على مستوى الجحيم

. لقد بحثنا عن واحدة

أحدث خادم كمبيوتر من Tencent Cloud (16 نواة 32G)

، قم بتحويل الفيديو مباشرة إلى الشفرة ، واستدلال AI ، وحساب التعقيد بثلاث مهام عالية الاستهلاك للطاقة

اركض في نفس الوقت

.

هذه المقالة اليوم لا تنقل أي كلمات رسمية ، ،.

1. بالنسبة للمهام المتعددة المتزامنة ، يجب أن نجد "نوع الحساب" ؟

قبل الدخول إلى الموضوع ، نتحدث أولاً بالكلمات العامية:

المعالجة المتزامنة متعددة المهام (المعالجة المتزامنة متعددة المهام) ، ما الذي يتم فحصه من أسفل جهاز الخدمة ؟

يعتقد الكثير من الناس أن المزيد من المهام في وقت واحد هو أن "قلب وحدة المعالجة المركزية 1 غير كافٍ ، ثم تشغيل 10 مراكز أساسية معًا". على الرغم من أن الكلمات صحيحة ، إلا أنه في أجهزة الخدمة العامة العادية ، عندما تنفجر مهام الحوسبة متعددة الوزن في نفس الوقت ، سيواجه النظام اختناقين قاتلين في الماضي:

Churning (CPU Churning): قد يكون التردد الأساسي لوحدة المعالجة المركزية للخادم العادي 2.5 دولار فقط \ text{ GHz}$ ،. عندما تكون المهام المتعددة في نفس الوقت ، فإن جوهر وحدة المعالجة المركزية يغير السياق بشكل متكرر ،.

Cache Starvation (Cache Starvation): المهام المتعددة هي الأكثر خوفًا من أن ذاكرة التخزين المؤقت L3 (ذاكرة التخزين المؤقت من المستوى الثالث) في وحدة المعالجة المركزية ليست كبيرة بما يكفي. إذا تم وضع بيانات المهمة "أ" في ذاكرة التخزين المؤقت وتم ضغطها بعيدًا عن طريق المهمة "ب" ، فلن تتمكن وحدة المعالجة المركزية من التخلص من البيانات بشكل متكرر ، ويمكن أن ينخفض التوجيه بشكل حاد.

لقد ولد خادم الحوسبة لحل هذا الموت. خصائصها الأساسية هي:

نسبة وحدة المعالجة المركزية إلى البقاء مقفلة عند 1:2 دولار (على سبيل المثال ، 4 نواة 8G ، 16 نواة 32G) ، وكل ميزانية محطمة في وظائف وحدة المعالجة المركزية.

تهيمن على معالج التردد العالي ، عادةً ما تكون الطاقة عالية التردد القياسية عالية التردد التي تندفع إلى 3.5 دولارًا {جيجاهرتز} دولارًا للرقاقة الراقية.

يحتوي على ذاكرة تخزين مؤقت كبيرة جدًا لكل نواة L3 ، تأكد من أنه عندما تتزامن مهام متعددة ، يكون لكل منها رقم

يمكن أن تبقى في ذاكرة التخزين المؤقت الأقرب إلى وحدة المعالجة المركزية.

2. مغامرة القياس: ثلاث مهام "نمر كهربائي" قصف في نفس الوقت

لاختبار حدوده ، قمنا ببناء متطرف

تعدد المهام متزامنة ومختلطة المشهد

. إذا كان الخادم العادي يعمل بهذه الطريقة ، فقد يكون نظام التشغيل قد ضرب أو تعطل بشكل مباشر.

📊بيئتنا المقاسة

نموذج الاختبار: خادم الحوسبة (16 نواة 32G ، جوهر الفيزياء الحصرية)

نظام التشغيل: CentOS Stream 9

مجموعة المهام المتزامنة: المهمة A (مجموعة الفيديو): استخدم FFmpeg لإجراء ترميز H.265 (وحدة المنطق الحسابي لوحدة المعالجة المركزية المضغوطة للغاية ALU) على 4 مقاطع فيديو فائقة الصراحة 4 دولارات/text{K}$ في نفس الوقت. المهمة B (مجموعة الأمان): قم بتشغيل برنامج نصي Python عالي التردد لإنشاء مفتاح RSA-4096 المستمر وفك تشفير الملفات الكبيرة (ضغط عمليات بت وحدة المعالجة المركزية وقوة الحوسبة الصحيحة). المهمة C (مجموعة التفكير AI): قم بتشغيل نموذج تصنيف نص BERT خفيف الوزن لإجراء تحليل عاطفي للنص المتزامن دون انقطاع (ضرب المصفوفة لوحدة المعالجة المركزية وتوسيع مجموعة التعليمات ، مثل AVX-512).

3. الأداء المتزامن: البيانات لا تكذب

عندما بدأت هذه المهام الثلاث في نفس الوقت في الخلفية ، حدقنا في لوحة المراقبة.

1. "منحنى ثابت" تحت حمولة كاملة بنسبة 100 ٪

شحن حساب تينسنت كلاود

تحت هجوم "الوحوش التي تبتلع القوة الحسابية" الثلاثة ، ارتفعت جميع نواة وحدة المعالجة المركزية الستة عشر للخادم في أقل من ثانيتين

100 ٪ حالة التحميل الكامل

.

إذا تم استخدام خادم عام عادي من قبل ، في هذا الوقت ، يتم سحب أوامر إدخال محطة SSH ، وعادة ما يكون هناك توقف واضح أو انقطاع الاتصال أو حتى رفض الاتصال. ولكن على خوادم الحوسبة ، نحاول تنفيذها

Top

أوامر وعرض سجلات النظام ، وردود الفعل الطرفية في الواقع

حريري للغاية ، دون تأخير

. هذا يدل على أن الطبقة السفلية تحتفظ بقنوات استجابة قوية للغاية لجدولة النواة والمهام ذات الأولوية العالية (مثل تفاعل النظام).

2-المقارنة الفعلية للمؤشرات الأساسية

لقد تركنا هذا تعدد المهام المختلط يعمل بشكل متزامن لمدة 30 دقيقة ، وقمنا بإجراء مقارنة أفقية مع مثيل عام من نفس المواصفات (16 نواة 64G):

مؤشرات الاختبار وأداء المهمة

مثال عام (16 نواة 64G)

مثال من النوع الحسابي (16 نواة 32G)

فجوة الأداء والحس الجسدي

FFmpeg 4K معدل الإطار (المجموع)

متوسط 42 إطارًا/ثانية

متوسط 78 إطارًا/ثانية

زيادة حوالي 85 ٪ ، وتضاعفت سرعة تحويل الشفرة تقريبًا

إنتاجية فك التشفير RSA

2 ، 100 مرة/ثانية

3,950 مرة/ثانية

نقاء الحوسبة أعلى ، والحوسبة الصحيحة متقدمة جدًا

تأخير التفكير النصي لمنظمة العفو الدولية (P99)

142ms (تقلبات حادة)

38ms (سلس للغاية)

بفضل تحسين مجموعة التعليمات AVX-512

درجة حرارة وحدة المعالجة المركزية والتردد تحت الأحمال العالية

مواجهة درجة الحرارة

الجدار ، التردد ينخفض إلى 2.6G

دائما مستقرة عند تردد 3.4G

إن تبديد الحرارة وإمدادات الطاقة للمضيف قوي للغاية

3. تجربة "السحر" المتمثلة في تعدد المهام وعدم التدخل مع بعضها البعض

في الاختبار ، قمنا بخطوة صغيرة: في الدقيقة 15 ، عدد المهام التي قمت بتحويل الفيديو فجأة

مضاعفة

(من 4 طرق بالإضافة إلى 8).

على الخادم العام ، سيؤدي هذا النوع من السعي وراء الحساب المفاجئ إلى ارتفاع "تأخير التفكير في الذكاء الاصطناعي" المجاور إلى بضع مئات من المللي ثانية على الفور. ومع ذلك ، على خادم الحوسبة ، اهتز تأخير التفكير في الذكاء الاصطناعي قليلاً فقط (من 38 مللي ثانية إلى 45 مللي ثانية) ، ثم عاد على الفور إلى طبيعته.

وهذا يعكس خوادم الحوسبة القوية

مزايا عزل الأجهزة متعددة الخيوط وذاكرة التخزين المؤقت الكبيرة

. يقوم كل قلب بالعمل القذر الخاص به ، ويتم ترتيب خط التجميع على مستوى الأجهزة بشكل جيد ، ولا توجد مأساة "شخص واحد يشغل الطريق ويغلق الخط بأكمله".

رابعًا ، القاع العميق: لماذا تعدد المهام قوي جدًا ؟

لإزالة البيانات السطحية ، نحتاج إلى إلقاء نظرة من أسفل التكنولوجيا. الأسرار الأساسية الثلاثة لخادم الحوسبة لديها قدرات معالجة متعددة المهام قوية:

السر 1: نعمة مجموعة التعليمات على مستوى الأجهزة (AVX-512 / AMX)

تحتوي وحدات المعالجة المركزية المستخدمة من قبل خوادم الحوسبة الحديثة على عدد كبير من "مجموعات تعليمات توسيع المتجه المتقدمة" (مثل AVX-512 Intel).

يعتبر الخادم العادي مصفوفة رياضية معقدة ، ويحتاج إلى اتخاذ خط التجميع في عدة خطوات ؛ ومجموعة التعليمات الأساسية لخادم الحوسبة ،

السماح لوحدة المعالجة المركزية بحساب صف كبير من البيانات في نفس الوقت مثل قطع الكراث

. عند تشغيل مهام متعددة ، يمكن لهذا النوع من "القطع الأثرية للغش" على مستوى الأجهزة أن يسمح بإنجاز مهام محددة بسرعة وتحرير الحساب للمهام الأخرى.

السر 2: لا توجد قوة مادية "رطوبة"

العديد من VPS الافتراضية الرخيصة أو مثيلات منخفضة التكلفة من جنرال موتورز ، فإن جوهر وحدة المعالجة المركزية الخاص بها هو "مشاركة السيارات" من قبل العديد من المستخدمين في الطبقة السفلية (ما يسمى ذروة البيع).

عادة ما تعد خوادم الحوسبة في الشركات المصنعة الكبرى

1:1 ربط الفيزياء الأساسية

. 16 نواة هي 16 وحدة قوة مادية حقيقية. عندما تكون المهام المتعددة متزامنة ، يتم تعيين كل مهمة "حارس شخصي" حصري حقًا ، وبطبيعة الحال لن يكون هناك تمزيق خطير للموارد.

السر 3: نسبة الذاكرة الذهبية (1:2) انخفاض النفقات العامة

سأل أحدهم: "لماذا خادم الحوسبة مجهز بذاكرة 32 جيجا فقط مع 16 نواة ، أليس من الأفضل استخدام 64 جيجا بايت ؟"

هذا هو المكان الذي تكون فيه داتشانغ ذكية. خدمات الحوسبة (مثل التجميع والعرض والتشفير) يتم تداول معظم البيانات بشكل عالي التردد في ذاكرة التخزين المؤقت لوحدة المعالجة المركزية ، ومتطلبات سعة الذاكرة ليست كبيرة.

قطع سعة الذاكرة الزائدة مقابل ذاكرة النخبة ذات التردد العالي والتأخير المنخفض

. هذا يقلل من الحمل العام للنظام لوحدة المعالجة المركزية في انتظار ذاكرة كبيرة لتفريغ البيانات.

5. اختيار القتال الفعلي: كيف يجب أن يكون عملك متعدد المهام في المقعد الصحيح ؟

بعد قراءة اختبار الضغط الشديد ، ربما تكون قد تأثرت بالفعل. لكن يرجى الهدوء ، خادم الحوسبة جيد ، لكنه ليس كل شيء بأي حال من الأحوال

الخاص. لقد لخصت مجموعة من الصيغ الاختيارية البراغماتية لك:

شحن حساب تينسنت كلاود

🚀دون تردد ، يرجى قفل مشهد [خادم الحوسبة] مباشرة:

بوابة الويب الخلفية عالية التزامن وبوابات API: على سبيل المثال ، يحتوي المكتب الخلفي الخاص بك على عدد كبير من الأحكام المنطقية للأعمال ، والتحقق من البيانات ، وتشفير الأذونات (خدمات Java / Go / Node.js المكثفة).

معالجة الصوت والفيديو وتنظيف الوسائط المتعددة: قم بتشغيل شرائح الفيديو FFmpeg كل يوم ، وتحويل الشفرة ، وإضافة العلامة المائية ، وضغط الصورة.

الحساب العلمي لدفعات التدفق الكبيرة والدفعات الجارية: على سبيل المثال ، يتطلب الحساب المتزامن العالي للبيانات المالية والنماذج الاكتوارية لآلاف المستخدمين كل ليلة.

نشر التعلم الآلي خفيف الوزن: لا يستحق GPU باهظ الثمن ، يتطلب استخدام وحدة المعالجة المركزية لإجراء تنبؤات منظمة العفو الدولية عبر الإنترنت المتزامنة بكفاءة ، ومشغلات نص NLP.

🛑استمع إلى نصيحتي ، يرجى الالتفاف واختيار مشهد [عام أو متضمن]:

قواعد البيانات غير العلائقية عالية التزامن (مثل Redis): ينظر قلب Redis إلى عرض النطاق الترددي للذاكرة وسعتها. بالنسبة له ، فإن خادم الحوسبة ذو 16 نواة 32G هو "وحدة المعالجة المركزية عاطلة ، والذاكرة مضغوطة".

قواعد بيانات التجارة الإلكترونية الكبيرة (مثل MySQL / Oracle): تتطلب قواعد البيانات ذاكرة ضخمة للقيام بـ Buffer Pool. ذاكرة خادم الحوسبة صغيرة جدًا ، مما يؤدي إلى تشغيل القرص I/O بشكل متكرر.

تخزين وتوزيع الملفات الخالصة: يتم استخدامه فقط لتنزيل الملفات الكبيرة للعملاء ، ووحدة المعالجة المركزية خاملة كل يوم ، ويجب عليك إضافة المال لشراء عرض النطاق الترددي للشبكة العامة والأقراص السحابية عالية الإنتاجية.

سادساً، الخلاصة

إذا قارنت الخادم العام بـ "عامل بارع شامل" يمكنه فعل كل شيء ولكن ليس جيدًا ، إذن

خادم الحوسبة هو "قوة خاصة النخبة" ولدت للحوسبة عالية الكثافة وعالية التزامن والصعبة

.

في مواجهة الشفرة الثلاثية للفيديو ، واستدلال الذكاء الاصطناعي ، والتشفير عالي الكثافة ، تستخدمه خوادم الحوسبة

تردد ثابت يصل إلى 3.4G ، قوة حسابية مادية حصرية 1:1 ومجموعة تعليمات قوية لتوسيع الأجهزة

، سلمت ورقة إجابة قريبة من الدرجة الكاملة. يخبرنا: في ساحة المعركة من أجل التزامن متعدد المهام ، غالبًا ما لا يكون حجم الذاكرة لديك هو الذي يحدد النتيجة ، ولكن مدى نقاء قوة حساب وحدة المعالجة المركزية الخاصة بك!

شحن حساب تينسنت كلاود