شراء حساب AWS: Amazon Athena بدون خادم للاستعلام المباشر عن البيانات الكبيرة S3 بنية التكنولوجيا السوداء!
مع ارتفاع البيانات الموزعة ونموذج الذكاء الاصطناعي (LLM) اليوم ، تنتج شركات الإنترنت ومحطات التجارة الإلكترونية المستقلة والمواقع الكبيرة والمتوسطة الحجم سجلات ومسار سلوك المستخدم والأوامر وبيانات تدفق النقر المختلفة بمعدل ينذر بالخطر كل يوم.
بصفتي مهندس معماري للحوسبة السحابية كان يعمل في مجال الهندسة السحابية لسنوات عديدة ، وهو أيضًا مدون رئيسي لمحطات SEO يقوم بوزن البحث كل يوم ، وميزانية الزواحف ومعدل التحويل ، كثيرًا ما أسمع الزملاء التقنيين يشكون:
"من أجل تحليل بضع مئات من غيغابايت أو حتى بضع تيرابايت من السجلات المخزنة على Amazon S3 ، كان علينا بناء مجموعة ضخمة من EMR(Hadoop) أو بناء ClickHouse الخاص بنا. لا يتعين عليك فقط كتابة قنوات ETL المعقدة (الاستخراج والتحويل والتحميل) ، ولكن عليك أيضًا دفع رسوم عالية للخادم الخاملة عندما لا تكون هناك مهمة. إنها ببساطة مزحة بشأن التدفق النقدي للشركة!"
في مواجهة نقطة الألم هذه ، فإن الرصاصة الفضية النهائية التي قدمها مهندس الحوسبة السحابية هي:
أمازون أثينا
.
إنها نقية
خدمة استعلام تفاعلية بدون خادم (Serverless)
. مع ذلك ، لا تحتاج إلى تعيين أي خادم أو مجموعة حسابية مسبقًا ، فقط من خلال بيان SQL القياسي ، يمكنك التنظيف والاستعلام مباشرة عن البيانات الضخمة غير المهيكلة وشبه المهيكلة المخزنة في Amazon S3 في غضون ثوانٍ قليلة.
في هذه المقالة ، سأتطرق إلى الاختيار الأساسي للمهندس المعماري ، وسجلات SEO لمشرف الموقع ، وكيفية الجمع بين
شراء حساب AWS
الاستراتيجية المالية والأبعاد الأخرى ، بالنسبة لك لتفكيك هذه التكنولوجيا السوداء الأساسية للبيانات الكبيرة بدون خادم.
1. لماذا كسرت Amazon Athena قيود البيانات الضخمة التقليدية ؟
في بنية مستودعات البيانات الحديثة التقليدية (مثل المجموعات المادية المبنية ذاتيًا ، ووضع Redshift التقليدي غير Serverless) ، فإن منطق معالجة البيانات الكبيرة هو:
"يجب أن تتحرك البيانات ، ولا تتحرك"
. تحتاج إلى نقل البيانات الباردة على S3 من خلال خط أنابيب ETL واستيرادها بشكل منظم إلى القرص المحلي لمحرك قاعدة البيانات قبل أن تتمكن من بدء الاستعلام. يحتوي هذا الهيكل على اثنين من الجروح القاتلة:
نفقات الإدارة الضخمة: ليس فقط للحفاظ على استقرار مناولة البيانات ، ولكن أيضًا لإدارة مستوى المياه للأجهزة في العقدة بدقة.
الثقب الأسود للميزانية: بمجرد تشغيل الكتلة ، حتى لو لم يكن هناك محلل بيانات يدير المهمة في الليل ، يجب على الشركة دفع ثمن وحدة المعالجة المركزية الخاملة والذاكرة.
لقد قلبت Amazon Athena هذا المنطق تمامًا ، وفعلت ذلك
"قوة حسابية ، بيانات لا تتحرك (Query in Place)"
:
100 ٪ Serverless Architecture: لا تحتاج إلى فتح أي مثيلات EC2 في وحدة التحكم الخاصة بك. يتم جدولة موارد الحوسبة تلقائيًا ومرونة من قبل AWS في الوقت الفعلي وفقًا لتعقيد SQL المقدم ، ويتم تدميرها على الفور بعد الاستخدام.
الفوترة حسب كمية البيانات الممسوحة ضوئيًا: التسعير القياسي نقي للغاية ، 1 لكل مسح
تبلغ تكلفة بيانات TB 5.00 دولار أمريكي فقط (تقريب أقل من 10 ميغابايت بواسطة 10 ميغابايت). إذا لم تقم بتشغيل الاستفسارات ، فإن الفاتورة الشهرية هي صفر مباشرة.
الاقتران المثالي مع AWS Glue: من خلال AWS Glue Data Catalog (Data Catalog) كمركز للبيانات الوصفية ، يمكن لـ Athena تعيين العديد من الملفات ذات التنسيق الفضفاض مثل JSON و CSV و Parquet و ORC وحتى Avro على S3 إلى جدول قاعدة بيانات منظم قياسي في لحظة.
2. القتال الفعلي المتعمق: استخدم Athena للضغط على "القواعد الذهبية الثلاث" لأداء البيانات الكبيرة S3
Athena ، على الرغم من أنها مريحة ، إذا تم السماح لها بتنفيذها من قبل محللي البيانات غير المحترفين
SELECT * FROM large_table
، إنه بمثابة فقدان الدم في الحساب المالي للشركة. إذا كنت ترغب في خفض تكلفة المسح ، فإن المهندسين المعماريين لديهم ثلاث طرق لـ "التكنولوجيا السوداء الأساسية" التي لا يتم نقلها في الصناعة:
1. احتضان التخزين على غرار العمود (مجموعات Columnar)
لا تستخدم أثينا مباشرة للاستعلام عن الأصل
CSV
أو
JSON
الوثائق. CSV عبارة عن مخزن سطري. إذا كنت ترغب في الاستعلام عن حقل معين ، فيجب على Athena مسح كل صف وكل عمود من الجدول بأكمله لتوليد فاتورة مسح ضخمة.
استراتيجية التحسين: تحويل البيانات الأصلية إلى تنسيق Apache Parquet أو ORC عبر AWS Glue Job على S3. لا يأتي Parquet فقط مع ضغط عالي (GZIP/Snappy) ، ولكن يمكنه ضغط 60 ٪ ~ 90 ٪ من الحجم المادي) ، وهو تخزين عمودي. عندما تختار SQL اثنين فقط من الأعمدة لـ GROUP BY ، ستقوم Athena فقط بمسح كتل البيانات في هذين العمودين فعليًا ، وعادة ما تنخفض التكلفة والوقت على الفور بأكثر من 80 ٪.
2. إدخال أسلوب Hive (Partitioning)
بالنسبة لبيانات السلاسل الزمنية (مثل سجل الوصول اليومي إلى موقع الويب) ، يجب إنشاء هيكل تقسيم دليل موحد ، مثل:
S3: // my-bucket/logs/year = 2026/month = 06/day = 23/
استراتيجية التحسين: استخدم تقنية عرض التقسيم. بهذه الطريقة ، عند إضافة قيود WHERE year = '2026 'AND month = '06' عند تنفيذ SQL ، ستتخطى أثينا بذكاء كتالوجات السنوات والأشهر الأخرى ، وتمسح فقط ملفات Parquet ضمن هذا المجلد المحدد. انخفض حجم المسح مباشرة من عشرات تيرابايت إلى عدة غيغابايت ، محققًا حقًا "استجابة ثانية".
3. ضربة خفض الأبعاد على شكل جدول: Apache Iceberg و S3 Anno
Tations
في عام 2026 الحالي ، استخدم Athena
Apache Iceberg
أصبح نموذج جدول المصدر المفتوح معيارًا على مستوى المؤسسة. وهو يدعم التحديثات على مستوى الخط ، وشؤون ACID ، والتراجع التاريخي.
آخر الأخبار: أطلقت AWS مؤخرًا الخصائص الجديدة لـ Amazon S3 Annotations ، والتي يمكنها إرفاق بيانات وصفية مخصصة عالية المستوى مباشرة بكائنات S3. باستخدام هذه الخاصية لتتناسب مع الجدول السنوي ، يمكن لـ Athena إكمال البحث عبر المجال للبيانات الوصفية الأفقية الدقيقة لكائن البرميل بالكامل بسرعة عالية تبلغ 10000 مرة على أساس أنه غير مضغوط تمامًا ولا يقرأ المحتوى المحدد للكائن.
3. من التكنولوجيا إلى التمويل: أسرار توفير المال حول "شراء حساب AWS" و FinOps
عندما تقرر نقل تدقيق سجل الشركة وتقرير BI ونظام صورة المستخدم بالكامل إلى بنية بحيرة البيانات الحديثة في Athena S3 ، نظرًا لمرونتها الكبيرة ، أصبح الامتثال المالي وعزل الموارد أولوية قصوى. سيقوم المهندسين المعماريين وأصحاب الأعمال الأذكياء بتنظيم التدفق المالي الأساسي في المرحلة الأولى من المشروع:
1. تنظيم شراء حساب AWS ومصادقة الاسم الحقيقي
يجب أن تضمن حوكمة البيانات الضخمة نقاء الحسابات السحابية الأساسية والامتثال لها. قبل النشر ، تأكد من إكمال الحساب الرئيسي أو منظمة الحسابات المتعددة للمؤسسات من خلال قنوات الامتثال الرسمية (AWS Organizations)
شراء حساب AWS
مع الشهادات.
تجنب حفرة الأمان: لا تذهب أبدًا إلى حساب غير مستخدم بدون اسم حقيقي أو رقم متصدع من أصل غير معروف. تعد أصول بحيرة البيانات والبيانات الضخمة من الأسرار الأساسية للمؤسسة. إذا واجهوا القليل من التحكم في رياح الحساب الثلاثي أو حظر تحصيل الديون ، فسيتم حرق أرشفة HDFS أو سجل سلوك المستخدم الأساسي S3 المتراكم على مر السنين.
2. الاستخدام الذكي Workgroups (مجموعة العمل) لتنفيذ سقف التكلفة
عندما تنتهي من
شراء حساب AWS
وبعد تسجيل الدخول إلى وحدة التحكم ، تذكر أن أول شيء هو استخدام أثينا
Workgroups (مجموعة العمل)
وظيفة.
يمكنك تقسيم مجموعات عمل مختلفة لقسم SEO وقسم تحليل البيانات وقسم التطوير.
تكوين استراتيجية صارمة في مجموعة العمل: الحد من الحد الأقصى لكمية البيانات الممسوحة ضوئيًا لاستعلام واحد (على سبيل المثال ، يجب ألا يتجاوز 50 جيجابايت) ، أو تعيين عتبة إنفاق يومية وشهرية إجمالية. بمجرد أن يكتب مبرمج مبتدئ استفسارًا شريطًا بدون دائرة ميتة بدون نقاط إضافية ، ستقوم مجموعة العمل بقطع الحد بشكل حاسم عند الوصول إلى الحد الأدنى ، مما يمنع الشركة تمامًا من مواجهة "فاتورة سحابة باهظة الثمن" (صدمة الفاتورة)).
4. كلمات خاصة لمشرفي المواقع الذين يتقنون SEO: استخدم Athena لفتح "كلمة مرور الزحف العنكبوت" على دفعات
بصفتي مدون رئيسي يتقن تحسين محركات البحث ، فإن السبب الذي يجعلني أؤيد بشكل محموم بنية Athena S3 هو أنه يمكن أن يساعدنا في حل نقطة الألم الضخمة على المدى الطويل:
محرك البحث الشامل سجل الزواحف (أ)
Ccess Logs) التشخيص على مستوى ثانية
.
[Architecture of processing Nginx via S3, Glue and Amazon Athena]
إذا كانت مصفوفة موقع الويب الخاص بك كبيرة جدًا ، بما في ذلك المئات من المحطات المستقلة العمودية ومحطات التجارة الخارجية ، فإن حجم سجل الوصول إلى Nginx/Apache الذي تنتجه كل يوم أمر مخيف للغاية.
أرشفة باردة طويلة الأمد بدون تكلفة: يمكنك رمي جميع سجلات Nginx للعامين أو الثلاثة أعوام الماضية في دلو Amazon S3 Standard أو S3 Express One Zone بتكلفة رخيصة للغاية.
تحليل مسار الزواحف الخالي من الصيانة: عندما تريد أن تعرف سبب انخفاض Google في إدراج فئة معينة منك مؤخرًا ، لا تحتاج إلى تشغيل grep الذي يستغرق وقتًا طويلاً على خادم الإنتاج. قم بتسجيل الدخول مباشرة إلى حساب AWS الخاص بك لشراء وحدة التحكم Athena ، واكتب قسمًا قصيرًا من SQL:SQLSELECT request_uri ، COUNT(*) as crawl_count FROM "seo_log_db".
في أقل من ثانيتين ، يمكن لـ Athena العثور بدقة على صفحات 404 غير الصالحة و 500 رابط غير عادي في مليارات السجلات الأصلية التي تلتهم بشكل محموم ميزانية Crawl Budget. استخدم هذه البيانات لتحسين "robots.txt" والربط داخل الموقع ، بحيث يمكن أن يؤدي وزن موقع الويب الخاص بك وترتيب الكلمات الرئيسية الأساسية إلى انتعاش هائل.
---
##5. ملخص وقائمة المهندسين المعماريين الرئيسيين
يمكن تلخيص السحر الأساسي لـ Amazon Athena في أربع كلمات: ** ضربة خفض الأبعاد **. إنه يلغي العمل الشاق للخادم ويسمح للمؤسسات بالتركيز على كتابة SQL واكتشاف قيمة البيانات نفسها.
أخيرًا ، قائمة تأكيد نهائية لجميع التقنيين المستعدون لاحتضان بحيرة البيانات:
* ** تأكيد تنسيق البيانات **: تخلص تمامًا من الفحص المباشر CSV/JSON ، واستخدم AWS Glue للتحول تلقائيًا أو يدويًا إلى ** Parquet Snappy/Gzip ضغط ** تركيبة.
* ** تأكيد سلطة الاستعلام **: قم بتسجيل الدخول إلى القناة القياسية لإكمال مصادقة الاسم الحقيقي ** بعد شراء حساب AWS ** ، يجب عليك إنشاء مبدأ الامتياز الأدنى لـ IAM لمنع الموظفين من استخدام حسابات الجذر لعمليات عالية الخطورة.
*
** التأكيد المالي **: لا تستخدم بيئة الإنتاج مجموعة العمل الافتراضية على الإطلاق ، ويجب إنشاء مجموعة عمل جديدة وتكوين ** حد أقصى للمسح الفردي/اليومي **.
دع قوة الحساب تأتي حسب الرغبة ، دع البيانات تطلق القيمة بهدوء في S3. باستخدام بنية Serverless البراغماتية ، في هذا البحر الأحمر للبيانات الضخمة ، يتم سحب أثمن أرباح الشركة ومعدل نموها!