من الوصول إلى البيانات إلى اتخاذ القرار الذكي: دليل بناء بانورامي لسلسلة منتجات البيانات الكبيرة Aliyun

سحابة 2026-07-20 阅读 3

في عصر الاقتصاد الرقمي ، أصبحت البيانات عامل الإنتاج الأساسي للمؤسسات. تعد كيفية تحويل البيانات الضخمة المنتشرة في أنظمة الأعمال المختلفة إلى قرارات تجارية فعالة تحديًا مشتركًا يواجه مهندسي المؤسسات ومهندسي البيانات.

قامت Alibaba Cloud ببناء تغطية حول دورة حياة البيانات الكاملة

الوصول إلى البيانات ، وحوسبة التخزين ، والتحليل في الوقت الحقيقي ، ونمذجة الذكاء الاصطناعي واتخاذ القرارات المرئية

مصفوفة منتجات البيانات الكبيرة وقفة واحدة. سيحلل هذا البرنامج التعليمي بعمق المنطق المعماري الأساسي لسلسلة منتجات البيانات الكبيرة في Aliyun ، ويأخذك لبناء منصة بيانات حديثة قابلة للاستخدام للغاية ومنخفضة التأخير وقابلة للتطوير (Data Lakehouse / Real-time Data Platform).

1. مخطط البنية البانورامية للبيانات الكبيرة Aliyun

قبل إنشاء منتجات محددة ، نحتاج إلى توضيح التقسيم الطبقي المنطقي لمنصة البيانات بأكملها. عادة ما يتم تقسيم منصة البيانات الكبيرة الناضجة على مستوى المؤسسة إلى أربعة مستويات أساسية:

محطةانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانانان

| صنع القرار الذكي وطبقة التطبيق (Quick BI / PAI) |

▲

│

| خدمة البيانات وطبقة التسريع (Hologres / AnalyticDB) |

▲

│

| غير متصل مع طبقة الحوسبة في الوقت الحقيقي (MaxCompute / Realti

Me Compute) |

-----------------------------------------------------------------------

▲

│

-----------------------------------------------------------------------

| التخزين الموحد للبيانات ومستوى مستودعات البحيرة (OSS-HDFS / DLF) |

-----------------------------------------------------------------------

▲

│

-----------------------------------------------------------------------

| طبقة الوصول إلى البيانات ونقلها (SLS / DataHub / DTS) |

-----------------------------------------------------------------------

جدول فحص سريع لوظائف المنتج الأساسية

التسلسل الهرمي

المنتجات التمثيلية

تحديد المواقع الأساسية والمزايا التقنية

طبقة الوصول

SLS / DataHub / DTS

الحصول على السجل ، تدفق البيانات في الوقت الحقيقي ، قاعدة البيانات CDC المزامنة في الوقت الحقيقي

طبقة التخزين

OSS-HDFS / DLF

تخزين الكائن يخفض التكاليف ويحسن الكفاءة ، وبناء بحيرة البيانات والإدارة الموحدة للبيانات الوصفية

طبقة الحساب

MaxCompute / Flink

الحوسبة الفائقة غير المتصلة بالإنترنت على مستوى المؤسسة (مستوى EB) وحوسبة التدفق في الوقت الفعلي على مستوى الثواني

طبقة الخدمة

Hologres

التحليل التفاعلي على مستوى فرسخ ، بنية HSAP (تحليل الخدمة المتكاملة)

مستوى صنع القرار

Quick BI / PAI

التقارير الذكية المتقدمة ، والتعلم الآلي ، وصنع القرار الكبير لمنظمة العفو الدولية

ثانيًا ، المرحلة الأولى: الوصول إلى البيانات عالية الإنتاجية وتكاملها

الوصول إلى البيانات هو مدخل النظام الأساسي الذي يحتاج إلى التعامل معه في نفس الوقت

دفعة غير متصلة

تزامن

مع

جمع التدفق في الوقت الحقيقي

اثنين من السيناريوهات النموذجية.

1. قاعدة بيانات الأعمال CDC التزامن الإضافي: DTS

بالنسبة لقواعد بيانات الأعمال مثل MySQL و PostgreSQL و PolarDB ، استخدم

DTS (Data Transmission Service)

إجراء التقاط بيانات التغيير في الوقت الحقيقي (CDC) على مستوى Binlog:

نقاط التكوين: إنشاء مهام مزامنة DTS في الوقت الفعلي ، مع قاعدة البيانات كمصدر ، و DataHub أو Hologres كطرف مستهدف.

المزايا: عدم التطفل على مكتبة الأعمال الرئيسية ودعم المزامنة التلقائية لتغييرات DDL.

2. سجل والحصول على بيانات النقطة المدفونة: SLS و DataHub

SLS (Log Service): مناسب للخادم Log ، وسجلات الوصول Nginx ، ونقاط دفن عميل التطبيقات. قم بنشر عميل Logtail في العقدة ، ويمكن تحقيق مجموعة ثانية من عشرات الملايين من السجلات من خلال تكوين بسيط.

DataHub: كبديل لـ Kafka الأصلي لـ Ali Cloud ، يتولى دور المخزن المؤقت لبيانات التدفق المتزامن للغاية ، ويواصل تزويد المياه إلى Flink أو MaxCompute في اتجاه مجرى النهر.

3. المرحلة 2: الحوسبة والتخزين في مستودع البحيرة (Compute & Storage)

بعد ترسيب البيانات الضخمة ، من الضروري إنشاء محرك حسابي ثنائي المسار "معالجة الدُفعات غير المتصلة بالإنترنت" و "معالجة التدفق في الوقت الفعلي" ، ودمج بحيرة البيانات لتحقيق تخفيض مرن.

1. نمذجة عدد المستودعات وغير المتصلة: MaxCompute DataWorks

MaxCompute (ODPS الأصلي)

إنه مستودع بيانات Cloud Serverless المستضاف بالكامل بواسطة Ali Cloud. الجمع

DataWorks

، يمكن تحقيق النمذجة الهرمية القياسية (ODS -> DWD -> DWS -> ADS).

نمذجة مستودع البيانات الموحدة القتال الفعلي: طبقة ODS (طبقة المصدر المرسومة): من خلال تكامل بيانات DataWorks ، تتم كتابة البيانات التي تم الاستيلاء عليها بواسطة DTS/SLS بانتظام إلى MaxCompute حسب اليوم/الساعة. طبقة DWD (طبقة التفاصيل): قم بتشغيل SQL للتنظيف وإزالة الحساسية وجدول الأبعاد Join. طبقة DWS (طبقة الملخص): يتم تجميعها بشكل دوري وفقًا للمستخدم والمنتجات والحبيبات لإنشاء جدول واسع.

2. حساب تدفق الوقت الحقيقي على مستوى الثواني: Realtime Compute for Flink

للتحكم في الرياح في الوقت الفعلي ومشاهد الشاشة الكبيرة في الوقت الفعلي ، استخدم

علي يون Flink نسخة مستضافة بالكامل

رابط معالجة التدفق النموذجي: جدول المصدر: يعلن عن topic في DataHub أو Kafka. جدول الأبعاد (Lookup): ربط صورة المستخدم أو جدول التكوين في Hologres. جدول النتائج (Sink): اكتب مؤشر النافذة المحسوب إلى Hologres في الوقت الفعلي.

رابعاً-المرحلة الثالثة: تكامل تحليل الخدمات

في العمارة التقليدية ، غالبًا ما يتم فصل "التحليل (OLAP)" عن "الخدمة عبر الإنترنت (KV query)" ، مما يؤدي إلى تكرار البيانات. علي يون عبر

هولوغراس

تم تحقيقه

HSAP(Hybrid Serving/Analysis Processing)

الأفكار.

المزايا المعمارية لـ Hologres

اتصال سلس بعمق مع MaxCompute: يدعم الاستعلام المباشر عن مظهر جدول MaxCompute غير المتصل ، دون عودة بيانات ETL المعقدة.

كل من البحث عن نقاط التزامن العالي و OLAP المعقد: لا يمكن أن يدعم فقط استعلام المفتاح الأساسي لواجهة برمجة التطبيقات الأمامية لمئات الآلاف من QPS في الثانية ، ولكنه يدعم أيضًا أدوات BI للتحليل المتبادل متعدد الأبعاد على مستوى الثواني.

توصيات الهندسة المعمارية: قم بمزامنة جدول النتيجة النهائية لطبقة ADS الذي تم إنشاؤه بواسطة الحوسبة غير المتصلة بالإنترنت مع Hologres ، وفي نفس الوقت يتلقى البيانات المكتوبة بواسطة Flink في الوقت الفعلي ، والتي يتم استخدامها بشكل موحد كقاعدة بيانات المستوى الأعلى من BI و API.

5. المرحلة الرابعة: من البيانات إلى صنع القرار الذكي (AI & Decision)

تكمن القيمة النهائية للبيانات في توجيه إجراءات العمل. من خلال

Quick BI

مع

منصة PAI

، يمكن تحويل أصول البيانات المترسبة إلى قوة صنع القرار الآلي.

1. التصور السريع وتحليل الأعمال: Quick BI

Quick BI هو منتج BI ذكي تم إنشاؤه بواسطة Alibun لصناع القرار في الشركات ومندوبي المبيعات:

اتصال البيانات: إضافة Hologres أو MaxCompute مباشرة كمصدر للبيانات.

التحليل المرتجل ولوحة القيادة: السحب والسحب لإنشاء شاشة KPI كبيرة وتقارير نهاية الهاتف المحمول.

استكشاف الذكاء الاصطناعي: باستخدام وظيفة NL2SQL المدمجة (لغة طبيعية إلى SQL) ، يحتاج رجال الأعمال فقط إلى السؤال "ما هي أفضل عشرة منتجات في مبيعات شرق الصين الشهر الماضي ؟" ، يمكن للنظام إنشاء الرسوم البيانية تلقائيا.

2. قرارات الذكاء الاصطناعي التنبؤية: PAI (Platform for AI)

الوصول عندما لا يمكن أن تلبي التقارير الأساسية متطلبات التنبؤ المعقدة

PAI (منصة التعلم الآلي)

إنشاء حلقة مغلقة ذكية:

إعداد البيانات: قراءة البيانات المميزة مباشرة في MaxCompute/OSS.

تدريب النموذج: استخدام PAI-Designer أو PAI-DSW للتنبؤ بمعدل الخسارة ، والتوصية بالترشيح التعاوني ، وتطوير نموذج درجة الائتمان.

نشر النموذج: نقرة واحدة لنشر النموذج المدرب في PAI-EAS (API لخدمة الاستدلال المتزامن عالي المرونة) للاتصال في الوقت الفعلي من جانب الأعمال.

6. القتال الفعلي للمشهد: بناء رابط كامل للتجارة الإلكترونية "التحكم في الرياح في الوقت الحقيقي والتوصية"

للمساعدة في فهم أفضل للتعاون في سلسلة المنتجات ، ونحن في

التحكم في الرياح في الوقت الفعلي ونظام التوصية الشخصي

على سبيل المثال ، قم بتمشيط مسار نقل البيانات الكامل:

الجمع (S

LS/DTS): يتم جمع سجل نقرة المستخدم في الوقت الحقيقي من خلال SLS ، ويتم التقاط حدث المعاملة في الوقت الحقيقي من PolarDB عبر DTS.

النقل (DataHub): يتم دفع السجلات وبيانات CDC بشكل موحد إلى DataHub.

الحوسبة (Flink MaxCompute): الارتباط في الوقت الفعلي (Flink): اقرأ DataHub ، جنبًا إلى جنب مع جدول أبعاد القائمة السوداء في Hologres ، لتحديد ما إذا كان سلوكًا ضارًا. إذا كان الأمر كذلك ، قم بتشغيل واجهة برمجة تطبيقات الإنذار المبكر في الوقت الفعلي. MaxCompute (MaxCompute): يلخص البيانات السلوكية الكاملة التاريخية دون اتصال كل ليلة ، ويعيد حساب علامات تفضيل المستخدم.

النموذج (PAI): يقرأ محرك التعلم الآلي PAI علامات MaxCompute ليلاً ويعيد تدريب النموذج الموصى به ، ويكتب الوزن التنبؤي إلى Hologres.

اتخاذ القرار والعرض التقديمي (Quick BI/نظام الأعمال): استعلام API للأعمال على مستوى ثوانٍ عن Hologres ، يوصي بالمنتجات في الوقت الفعلي إلى الواجهة الأمامية للتطبيق. تعرض شاشة Quick BI الكبيرة في الوقت الفعلي ديناميكيًا معدل اعتراض التحكم في الرياح ومعدل التحويل الموصى به.

7. أفضل الممارسات لضبط الأداء وحوكمة التكلفة

عند إنشاء منصة بيانات كبيرة ، يجب موازنة تكلفة الموارد وكفاءة التشغيل.

1. التخزين الهرمي للبيانات الساخنة والباردة (Tiered Storage)

البيانات الساخنة (استجابة ثانية): احفظها في ذاكرة Hologres أو Realtime Compute ، واحتفظ بها في آخر 7 ~ 30 يوما من البيانات الدقيقة.

بيانات درجة الحرارة/البيانات الباردة: يتم أرشفة البيانات تلقائيًا لأكثر من 30 يومًا إلى تخزين MaxCompute أو OSS منخفض التردد/الأرشفة ، مما يقلل من تكاليف التخزين بأكثر من 60 ٪.

2-حساب توزيع الموارد حسب الطلب

وضع الفوترة المختلطة MaxCompute: بالنسبة لمهام ETL اليومية المنتظمة غير المتصلة بالإنترنت ، يتم استخدام نموذج الاشتراك السنوي (المحجوز بواسطة CU) لضمان كفاءة خط الأساس ؛ للتحليل المفاجئ والمؤقت على نطاق واسع ، قم بتشغيل Pay-as-you-go) التوسع المرن.

Flink مرن Auto-scaling: قم بتشغيل Flink التلقائي للتوسع والتخفيض للتعامل مع تأثير حركة المرور خلال فترات ذروة الأعمال مثل خصومات ترويج التجارة الإلكترونية.

ثامناً-ملخص

إن بناء سلسلة منتجات البيانات الكبيرة في Aliyun ليس مجرد "تجميع الأدوات" ، ولكن لمتابعة

"التجميع الموحد-> مستودع البحيرة لبناء القاع-> الحساب في الوقت الحقيقي-> خدمة السرعة-> تمكين الذكاء الاصطناعي"

نظام الحلقة المغلقة.

من خلال

SLS/DataHub + DataWorks/MaxCompute + Flink + Hologres + QuickBI/PAI

مع المزيج الذهبي ، يمكن للشركات التخلص من مستنقع بنية المدخنة التقليدية ، ليس فقط لتحقيق "رؤية سريعة والتحقق منها" لكمية كاملة من أصول البيانات ، ولكن أيضًا بمساعدة الذكاء الاصطناعي

يمكنه تحقيق "اتخاذ القرار الدقيق والاستجابة السريعة" ، وإفساح المجال كاملاً لقيمة الإنتاجية الرقمية.