قناة إعادة شحن حساب Alibaba Cloud: مشهد تطبيق مثيلات البيانات الكبيرة ودليل هندسة مشرفي المواقع SEO
بصفتي مهندس معماري للحوسبة السحابية كان يعمل في السحابة لسنوات عديدة ، وهو أيضًا مدون رئيسي لمحطات SEO يحدق في حركة المرور والأوزان وسجلات الزواحف كل يوم ، غالبًا ما أجد أن العديد من الزملاء التقنيين سيوقعون في سوء فهم التفكير عند مواجهة البيانات الضخمة:
"كمية البيانات كبيرة ، أليس من الأفضل تجميع أعلى قوة حسابية مباشرة (نوع حسابي) أو أغلى قرص سحابة (ESSD) ؟"
في مواقع الويب الصغيرة أو الأعمال الأساسية ، قد يكون هذا النهج "المعجزة بقوة" ممكنًا. ومع ذلك ، عندما تتطور أعمالك إلى الحوسبة الموزعة على مستوى تيرابايت أو حتى مستوى PB ، فإن بنية "فصل الحوسبة والتخزين" التقليدية (أي القرص السحابي المحمل بواسطة ECS) ستواجه خطورة
شبكة I/O الاختناقات والعجز في الميزانية العالية
.
من أجل حل مشكلة "نقل البيانات" في ظل هذه البنية الموزعة ، أطلقت Alibaba Cloud
أمثلة من نوع البيانات الكبيرة (السلسلة D ، مثل d3s ، d3c ، d2s ، إلخ)
.
في هذه المقالة ، سأقف من منظور مزدوج للمهندس المعماري ومشرف الموقع ، وأفصل بعمق أرباح التكنولوجيا الأساسية ومشاهد التطبيق الأساسية لممثيلات البيانات الكبيرة من Aliyun ، وأشارك كيفية الجمع
حساب علي كلاود
قم بتحسين بنية سجل FinOps (الحوكمة المالية) و SEO.
1. ما هو مثال البيانات الكبيرة Aliyun ؟ أين هي "النواة الصلبة" الأساسية ؟
عادةً ما تستخدم مثيلات ECS التقليدية على مستوى المؤسسات (مثل النوع الحسابي من السلسلة c والنوع العام من السلسلة g) بنية "فصل الحساب" ، ويتم تخزين البيانات على تخزين الكتلة عن بُعد (القرص السحابي) ، ويجب نقل كل قراءة وكتابة عبر الشبكة الداخلية.
و Big Data Instance Family (سلسلة D باختصار)
الأمر مختلف تمامًا. لقد اعتمدت
المزيج الذهبي من "سعة التخزين المحلية عالية الإنتاجية والكبيرة HDD ذات السعة الكبيرة ، قوة الحوسبة على مستوى المؤسسة ، عرض النطاق الترددي الداخلي القوي". يمكن تلخيص خصائصها التقنية الأساسية في ثلاث كلمات رئيسية:
1. الإنتاجية المحلية القصوى (Data Locality)
مثيلات من نوع البيانات الكبيرة مجهزة مباشرة بما يصل إلى
12 تيرابايت (قرص واحد) سعة كبيرة ، عالية الإنتاجية SATA HDD القرص المحلي
. نظرًا لأنه يتم تخزين البيانات مباشرة على القرص الصلب الفعلي المحلي على نفس رف وحدة المعالجة المركزية ، يتم التخلص تمامًا من تكلفة نقل شبكة القرص السحابي. سرعة القراءة والكتابة المتسلسلة (Throughput) عالية جدًا وتدعم
إصلاح القرص السيئ عبر الإنترنت
.
2. نسبة إيداع الذهب إلى الذهب 1:4
عادة ما تكون نسبة المعالج إلى الذاكرة 1:4 $. هذا يعني أنه أثناء توفير نواة حسابية كافية ، يتم أيضًا إعطاء أطر البيانات الكبيرة (مثل Spark و Flink) مخازن ذاكرة كافية لمنع OOM (فائض الذاكرة) أثناء إجراء حسابات التدفق المعقدة أو تجميع الذاكرة.
3-عرض النطاق الترددي العالي للغاية (تصل إلى 64 جيجابت/ثانية)
مجموعات البيانات الكبيرة الموزعة عند إجراء عمليات حسابية واسعة النطاق ، يجب تبادل البيانات بشكل متكرر بين العقد. توفر مثيلات البيانات الكبيرة عرض النطاق الترددي لشبكة مثيل واحد يصل إلى 64 جيجابت/ثانية ، مما يحل بشكل مثالي اتصال المجموعة في مرحلة محاذاة الشبكة والغسيل المختلط
كارتون.
2. أربعة سيناريوهات أساسية قابلة للتطبيق لمثال البيانات الكبيرة Aliyun
مثيلات البيانات الكبيرة ليست شاملة ، فالأقراص المحلية لا تدعم اللقطات ولا تدعم التغييرات عبر الإنترنت. هذا مقدر له
مكونات البيانات الضخمة الموزعة والمتاحة للغاية والمتسامحة مع الأخطاء
مصممة خصيصا. فيما يلي أربعة سيناريوهات قابلة للتطبيق الأكثر كلاسيكية في بيئة الإنتاج:
1-توزيع البيانات الضخمة الحوسبة والتخزين (Hadoop/Hive/HBase)
هذه هي "ساحة المعركة الرئيسية" لسلسلة د من الأمثلة. عند بناء بيئة Hadoop مفتوحة المصدر أو استخدام Alibabic Cloud E-MapReduce(EMR) ، تتطلب عقدة البيانات (DataNode) مساحة تخزين كبيرة وإنتاجية عالية.
نقاط الألم المعمارية: عندما تواجه الأقراص السحابية التقليدية استفسارات الارتباط (Join) في جدول قسم Hive الهائل ، غالبًا ما يتم تحديد قناة القرص السحابي بواسطة التيار المحدود.
مزايا السلسلة D: بمساعدة أقراص SATA HDD المحلية ذات السعة الكبيرة ، فإن آلية النسخ المتعددة الطبيعية لـ HDFS (نظام الملفات الموزع Hadoop) تعوض تمامًا عن أوجه القصور في الأقراص المحلية بدون لقطات. أدى عرض النطاق الترددي العالي للشبكة إلى تسريع عملية Shuffle بشكل كبير في إطار حساب MapReduce ، ويمكن تحسين كفاءة تشغيل المجموعة الإجمالية بأكثر من 30 دولارًا أمريكيًا.
2. مجموعة تحليل البحث والسجلات الموزعة (Elasticsearch)
بالنسبة لمجموعات Elasticsearch(ES) أو ClickHouse التي تحمل في كثير من الأحيان مليارات السجلات وتحتاج إلى توفير استرجاع النص الكامل على مستوى الثواني ، تحدد قدرة I/O الحياة والموت.
نقاط الألم المعمارية: ES عرضة لتعليق الإدخال/الإخراج خلال فترة الذروة للكتابة (مثل Double 11 أو Timbers أو موقع الويب الذي يتعرض لهجوم من قبل الزواحف/CC على نطاق واسع) ، مما يؤدي إلى حدوث تشقق في الدماغ أو رفض الخدمة.
مزايا السلسلة D: يمكن أن يوفر السوق المحلي لممثلات البيانات الكبيرة إنتاجية كتابة متسلسلة عالية جدًا. جنبًا إلى جنب مع آليات الشظايا والنسخ ، لا يؤدي ذلك إلى توسيع الحد الأعلى لتخزين الفهرس بشكل كبير فحسب ، بل يقلل أيضًا بشكل كبير من حجم التخزين الضخم. سعر وحدة السجل الساخن والبارد.
3. مركز التخزين المؤقت لقائمة انتظار الرسائل عالية الإنتاجية (Apache Kafka)
كافكا باعتبارها "خزان التدفق" لهندسة التوزيع الحديثة ، فإن الطلب الأساسي هو
القدرة على الكتابة المتسلسلة القصوى وحزم إرسال واستقبال الشبكة الضخمة
.
مزايا السلسلة D: يمكن لآلية PageCache الخاصة بـ Kafka جنبًا إلى جنب مع أقراص SATA HDD المحلية عالية الإنتاجية من مثيلات السلسلة d ، والتي يمكن أن تصل إلى أقصى حد أداء القراءة والكتابة الفعلي للقرص. في الوقت نفسه ، يضمن عرض النطاق الترددي للشبكة لعشرات G من جهاز واحد أن المئات من المستهلكين (المستهلكين) و Producer (المنتجين) لن يفقدوا الحزم أو يتأخرون في ظل الإنتاجية المتزامنة العالية.
4-التخزين الطبقي الساخن والبارد للبيانات الكبيرة (EMR JindoFS + OSS)
في ظل الاتجاه العام لخفض التكاليف وزيادة الكفاءة ، تتحول المزيد والمزيد من الشركات إلى "هياكل البيانات الكبيرة المختلطة".
مزايا السلسلة D: في مجموعات المواصفات مثل d3c و d2c ، يمكن للشركات استخدام EMR J
تستخدم آلية ذاكرة التخزين المؤقت indoFS القرص المحلي لمثيلات من نوع البيانات الكبيرة كـ "طبقة ذاكرة التخزين المؤقت للبيانات الساخنة" ، ويتم تخزين البيانات الباردة التاريخية الضخمة في OSS لتخزين الكائنات السحابية على علي. لا تتمتع هذه البنية بسرعة القراءة والكتابة القصوى للقرص المحلي فحسب ، بل تتمتع أيضًا بالمرونة غير المحدودة والتكلفة المنخفضة لتخزين الكائن.
3. من التكنولوجيا إلى التمويل: طريقة FinOps التي تجمع بين "حساب Alibaba Cloud"
عادة ما تكون مجموعات البيانات الكبيرة عبارة عن "وحوش إنتاجية" تتكون من عشرات أو حتى مئات الحالات. بمجرد تكوينها بشكل غير صحيح ، ستكون نفقات الفواتير الشهرية مذهلة للغاية. كمهندس معماري ، بعد الانتهاء من الاختيار ، يجب عليك العودة إلى المنظور المالي وتسجيل الدخول
حساب علي كلاود
إجراء مراقبة دقيقة للتكلفة.
1. تسجيل الدخول إلى حساب Alibaba Cloud لتخطيط الموارد بشكل موحد
في المرحلة الأولى من المشروع ، يجب أن يمر الشخص المسؤول عن التشغيل والصيانة من خلال صاحب العمل
حساب علي كلاود
أدخل وحدة التحكم واستخدم مركز "التكلفة والتكلفة" الرسمي لتخطيط ميزانية المجموعة. نظرًا لأن مثيلات البيانات الكبيرة (السلسلة d) لا تدعم التغيير السلس للحزم السنوية والشهرية المباشرة للدفع على أساس الحجم ، لذلك
حساب علي كلاود
من المهم للغاية حساب "القوة الحسابية الدائمة الأساسية" و "قوة حساب المد والجزر المرنة" للأعمال مسبقًا.
2. استخدم بذكاء "مثال الاستباق" للتعاون مع خطة توفير حساب Alibaba Cloud
تحدد أنواع العقد في مجموعات البيانات الكبيرة أن أنماط الفوترة الخاصة بها يمكن أن تلعب الحيل أكثر:
عقدة الإدارة (Master Node): يجب أن تكون مستقرة بنسبة 100 ٪ لنقل الخدمات الأساسية مثل NameNode. يوصى باختيار "الاشتراك الشهري السنوي" أو ربط "خطة التوفير" لقفل السعر المنخفض لفترة طويلة في حساب Alibaba Cloud.
عقدة الحوسبة/البيانات (Core/Task Node): نظرًا لأن البيانات الضخمة الموزعة نفسها تتمتع بآليات جيدة لتحمل الأخطاء وترحيل النسخ ، يمكن للمهندس المعماري التقدم بطلب لشراء مثيلات مثبتة في حساب Alibaba Cloud لاستضافة عقد Task. عندما تتقلب أسعار السوق ، حتى إذا تم تحرير العقد الفردية ، يمكن للمجموعة إعادة توازن البيانات تلقائيًا. هذا المزيج المثالي من التكنولوجيا والتمويل يمكن أن يوفر ما يصل إلى أكثر من 70 دولارًا أمريكيًا في حساب فاتورة الشركة.
4. كلمات المنزل الخاص للمدونين SEO: الاستخدام السحري البديل لأمثلة البيانات الكبيرة في تشغيل صيانة مشرف الموقع
بصفتك مشرفًا بارعًا في SEO ، قد تسأل:
"ما علاقة أمثلة البيانات الكبيرة بموقعنا اليومي و SEO ؟"
العلاقة كبيرة جدا. عندما تصبح مصفوفة موقع الويب الخاص بك أكبر ، أو تقوم بتشغيل محرك بحث عمودي عالي الحركة ، أو محطة تجميع مستقلة ، أو الذهاب إلى البحر إلى شركة اتصالات متعددة اللغات ، فإنك تنتج عدة G أو حتى عشرات G كل يوم
سجل الوصول إلى Nginx (Access Log)
.
[Nginx الوصول إلى الهندسة المعمارية و analysis flow via Big Data instance]
تخفي هذه السجلات جميع مسارات زواحف محرك البحث مثل Googlebot و Bingbot.
نقاط الألم لمشرفي المواقع: الخوادم التقليدية لا يمكنها الركض بكميات كبيرة
تحليل السجل. بمجرد استخدام grep أو awk لتحليل مئات غيغابايت من سجلات الضغط بالقوة في بيئة الإنتاج ، سيتم ملء وحدة المعالجة المركزية مباشرة ، ولا يمكن فتح موقع الويب على الفور ، مما يضر بشكل خطير بترتيب SEO.
حلول المهندسين المعماريين:
يمكنك مزامنة سجلات Nginx لجميع المحطات الفرعية والمحطات المستقلة في الوقت الفعلي من خلال Logstash مع مثيلات بيانات كبيرة من Aliyun
ELK(Elasticsearch Logstash Kibana)
أو ربما
ClickHouse
تحليل مؤقت في المجموعة.
باستخدام مثيلات من نوع البيانات الكبيرة مع الأقراص المحلية الضخمة وإنتاجية القرص القوية ، يمكنك بسهولة إجراء التحليل المتعمق التالي لـ SEO:
تحليل تردد الزواحف والفترات الزمنية: مراقبة دقيقة للزواحف من Google في أي وقت يتم الزحف إليه بشكل متكرر في كل يوم ، وذلك لتجنب ذروة وصول المستخدم بشكل معقول.
تحليل متعمق لرمز الحالة: استرجع بسرعة ما إذا كان هناك خطأ 404 مخفي أو 500 صفحة على الموقع بأكمله لمنع فقدان الوزن.
تحسين Crawl Budget: تحليل عناوين URL غير الصالحة منخفضة القيمة التي تهدر الكثير من طاقة الزواحف ، ثم يتم حظرها بدقة من خلال ملصقات robots.txt أو canonical.
5. ملخص واقتراحات الاختيار
لم يتم إعداد مثال Aliyun Big Data (سلسلة D) لتطبيقات الويب العادية المستقلة ، فهو "سلاح ثقيل" يستخدم خصيصًا لخفض سيل البيانات الموزعة في عصر الحوسبة السحابية. من خلال الجمع القوي بين القرص المحلي عالي الإنتاجية وعرض النطاق الترددي للإنترانت العالي ، فإنه يقطع بشكل مثالي نقاط الألم الأساسية للمكونات الموزعة مثل Hadoop و Spark و Kafka و Elasticsearch.
إذا كنت تواجه ضغط معالجة البيانات على مستوى تيرابايت/بيتابايت ، أو كنت قلقًا بشأن فواتير تخزين الكتل باهظة الثمن ، فقد ترغب في تسجيل الدخول الآن
حساب علي كلاود
، قم بوضع "نوع البيانات الكبيرة" على صفحة إنشاء ECS ، وقم بتقييم مجموعة مواصفات d3s أو d3c بناءً على حجم بيانات الشركة. دع المواصفات الاحترافية تقوم بأشياء احترافية ، ستجد أنه ليس فقط سرعة الحساب تتضاعف ، ولكن التكلفة الإجمالية لهندسة تكنولوجيا المعلومات ستدخل أيضًا انخفاضًا تاريخيًا في الهيكل.