إعادة شحن Amazon Cloud Dais: بوابة ملفات AWS Storage تزامن الملفات المحلية إلى S3 دليل كامل للتحقيق في فشل S3

في بنية السحابة المختلطة ، تعد بوابة ملف AWS S3 (بوابة الملفات) جسرًا يربط غرفة الكمبيوتر المحلية للمؤسسة بالتخزين السحابي AWS. يسمح للتطبيقات المحلية بكتابة الملفات إلى بوابة من خلال بروتوكول NFS أو SMB القياسي ، ثم تقوم البوابة تلقائيًا بمزامنة هذه الملفات بشكل غير متزامن في دلو تخزين Amazon S3.

ومع ذلك ، في التشغيل الفعلي والصيانة ، سيواجه العديد من المهندسين"

تمت كتابة المستندات المحلية ، لكن لم يتم رؤيتها في S3

"أو"

خطأ في مطالبة البوابة ، مقاطعة مباشرة للمزامنة

"الوضع المحرج. يبدو هذا النوع من الأسئلة بسيطًا ، لكنه قد ينطوي عليه

فاتورة الحساب ، سياسة الأذونات ، وقت الشبكة ، قرص التخزين المؤقت المحلي وقواعد S3

وأسباب متعددة المستويات.

تجمع هذه المقالة بين الخبرة القتالية الفعلية للتشغيل والصيانة في الخطوط الأمامية ، وتفرز مجموعة من أفكار التحقيق من الضحلة إلى العميقة ، وتساعدك على تحديد موقع وحل مشكلة الفشل المتزامن لبوابة التخزين بسرعة.

1. الخطوة الأولى: التحقق من الخدمة الأساسية وحالة الحساب (فرضية لا يمكن تجاهلها)

قبل إجراء تحقيق متعمق في العديد من الشبكات المعقدة وتكوينات الأذونات ، يجب عليك أولاً تأكيد صحة حساب AWS نفسه والخدمات الأساسية.

1. تحقق من حالة حساب AWS والفواتير

تميل العديد من الفرق إلى تجاهل الأساسيات عند استكشاف التفاصيل الفنية

حالة الحساب

. إذا تم تعليق الموارد أو تقييدها بسبب متأخرات حساب AWS (على سبيل المثال ، أذونات استدعاء API محدودة) ، فلن تتمكن خدمة الخلفية لـ Storage Gateway من كتابة البيانات إلى S3.

عنصر التحقق: قم بتسجيل الدخول إلى وحدة التحكم AWS لمعرفة ما إذا كانت واجهة Billing تحتوي على فواتير متأخرات أو مطالبات بتجميد الحساب.

توصيات التشغيل والصيانة: عند نشر بيئة الإنتاج ، يجب على الشركات التأكد من أن قنوات إعادة شحن حساب AWS سلسة ، وتكوين تحذيرات فاتورة CloudWatch. في الوقت نفسه ، يوصى بربط بطاقات الائتمان المتاحة أو إكمال إعادة شحن حساب AWS والإنذار المبكر بالحصة من خلال وكلاء AWS المتوافقين لتجنب انقطاع قنوات البيانات المحلية للشركات إلى السحابة بسبب المتأخرات المفاجئة.

2. تحقق من حالة تشغيل البوابة والسجل الصحي CloudWatch

قم بتسجيل الدخول إلى AWS Storage Gateway Console لتأكيد ما إذا كانت حالة البوابة "عبر الإنترنت" (عبر الإنترنت).

تأكد من تمكين CloudWatch Health Logs. سيتم إخراج العديد من الحالات الشاذة المتزامنة لبوابة الملفات (مثل S3AccessDenied ، Gateway ClockOutOfSync ، وما إلى ذلك) مباشرة في مجموعة سجل CloudWatch ، وهو الأساس الأكثر مباشرة لتشخيص المشكلة.

2. الخطوة الثانية: مصادقة الهوية والتحقيق في سلطة IAM

لا يمكن كتابة البيانات من البوابة إلى S3 ، أحد أكثر الأسباب شيوعًا

أذونات غير كافية

. تحتاج البوابة إلى أن تكون على S من خلال IAM Role (شخصية)

3 دلاء لعمليات القراءة والكتابة.

[عميل NFS/SMB المحلي]

│ الكتابة

▼

[AWS Storage Gateway Virtual Machine]

│ استخدام مصادقة وتوقيع IAM Role

▼

[دلو تخزين Amazon S3]

1. تحقق من سياسة الأذونات الخاصة بـ IAM Role (Policy)

تحقق مما إذا كان IAM Role المرتبط بالبوابة لديه الأذونات الأساسية التالية لبرميل S3 المستهدف:

S3: GetBucketLocation (الحصول على منطقة برميل)

S3: ListBucket (قائمة محتويات برميل)

S3: GetObject (قراءة الكائنات)

S3: PutObject (كائنات ملف التحميل)

S3: PutObjectAcl (إذا تم تشغيل الإعدادات ذات الصلة ACL)

2. تحقق من استراتيجية برميل S3 (Bucket Policy)

تأكيد ما إذا كان هناك رفض صريح في استراتيجية البرميل (

(دينى)

) الجملة. على سبيل المثال:

هل هناك قيود على السماح بالوصول إلى عناوين IP أو VPC محددة فقط ، بينما يتم حظر عناوين IP لبوابة الملفات ؟

هل تم تمكين سياسة إجبار نقل HTTPs ، لكن تكوين البوابة فشل في مطابقته ؟

3. أذونات مفتاح التشفير KMS (مثل فتح SSE-KMS)

إذا قام دلو S3 المستهدف بتشغيل تشفير مفتاح KMS المخصص (SSE-KMS) ، فيجب أن يكون لدى IAM Role أذونات S3 بالإضافة إلى أذونات S3

KMS Key Policy

يتم منح الأذونات التالية:

Kms: GenerateDataKey

Kms: Decrypt

يؤدي عدم وجود أذونات KMS إلى استدعاء البوابة

PutObject

عندما رمي مباشرة

Access Denied

خطأ.

4. قيود استراتيجية VPC Endpoint

إذا كانت البوابة و S3 متصلتين عبر VPC Endpoint ، فمن الضروري التحقق مما إذا كانت Endpoint Policy تسمح لـ IAM Role بالوصول إلى برميل الهدف S3.

3. الخطوة الثالثة: التحقق من تزامن الشبكة ووقت النظام

يتطلب Storage Gateway دقة عالية للغاية في اتصال الشبكة ووقت النظام المحلي.

1. انحراف وقت النظام (Gateway ClockOutOfSync)

تعتمد AWS API على آلية طلب التوقيع ، والتوقيعات لها توقيت. إذا كان Storage Gateway عبارة عن جهاز ظاهري (VMware أو Hyper-V أو EC2) وقت النظام ووقت خادم AWS

أكثر من الانحراف

خمس دقائق

، AWS سوف ترفض جميع طلبات البوابة وإخراجها في السجل

Gateway ClockOutOfSync

خطأ.

طريقة التحقيق: قم بتسجيل الدخول إلى وحدة التحكم المحلية (وحدة التحكم المحلية) ، تحقق من تكوين NTP.

الحل: تأكد من أن الجهاز الظاهري للبوابة يمكنه الاتصال بخادم NTP بشكل طبيعي (مثل خدمة NTP داخل 0.amazon.pool.ntp.org أو المؤسسة) ، أو تشغيل وظيفة مزامنة الوقت للمضيف.

2. التدفق السلس لمنافذ الشبكة الصادرة

تحتاج البوابة إلى إنشاء اتصال خارج المحطة إلى خادم AWS. تأكد من عدم اعتراض المنافذ التالية بواسطة جدار الحماية أو مجموعة الأمان:

443 (HTTPS): منفذ الاتصال الأساسي للبوابة و AWS Storage Gateway و S3.

80 (HTTP): مطلوب عند تنشيط البوابة (مرحلة التنشيط فقط).

22 (SSH/Support Channel): إذا كنت بحاجة إلى فتح قناة الدعم الفني الرسمية لـ AWS.

4. الخطوة 4: التخزين المؤقت المحلي واختناقات موارد الأجهزة

تتبنى بوابة الملفات بنية "ذاكرة التخزين المؤقت المحلية والتحميل غير المتزامن في الخلفية". عندما تكون كمية الكتابة المحلية كبيرة جدًا أو موارد الأجهزة غير كافية ، سيتم الاحتفاظ بالملفات في ذاكرة التخزين المؤقت المحلية ولا يمكن مزامنتها إلى السحابة في الوقت المناسب.

1. نسبة التخزين المؤقت للبيانات القذرة مرتفعة للغاية (عنصر مراقبة CachePercentDirty)

افتح CloudWatch Metrics ، ابحث عن هذه البوابة

CachePercentDirty

(النسبة المئوية للبيانات القذرة) المؤشرات.

الحالة العادية: ترتفع بعد كتابة البيانات ، ثم تعود إلى ما يقرب من 0 ٪ بعد اكتمال التحميل.

الحالة غير الطبيعية: إذا كان CachePercentDirty أعلى من 80 ٪ لفترة طويلة ، فهذا يعني أن سرعة كتابة العميل المحلي أكبر بكثير من سرعة تحميل البوابة إلى S3.

استراتيجيات المواجهة

:

تحقق مما إذا كان النطاق العريض للتصدير ممتلئًا ، وقم بزيادة عرض النطاق الترددي للشبكة إذا لزم الأمر.

إضافة المزيد من أقراص Cache المحلية إلى البوابة.

يتحكم العميل في معدل الكتابة لتجنب الملفات الكبيرة المفاجئة والضغط على ذاكرة التخزين المؤقت.

2-اختناقات القرص المحلي I/O (IoWaitPercent)

مراقبة في CloudWatch

IoWaitPercent

المؤشرات. إذا استمرت القيمة في تجاوز

10%

، مما يشير إلى وجود اختناقات في أداء القراءة والكتابة لقرص ذاكرة التخزين المؤقت المحلي (على سبيل المثال ، يتم استخدام HDD منخفض السرعة بدلاً من SSD/NVMe).

الحل: يوصى باستبدال قرص ذاكرة التخزين المؤقت بمحرك أقراص الحالة الصلبة NVMe أو SSD عالي IOPS ؛ أو تقسيم قرص ذاكرة التخزين المؤقت الكبير إلى عدة أقراص مادية مستقلة لتثبيبها على جهاز افتراضي لتفريق ضغط الإدخال/الإخراج.

3. إدخال أذونات Windows (ACL) طويل جدًا (Error 1344)

إذا كان يتم مشاركة الملفات من خلال بروتوكول SMB, عند محاولة مزامنة يحتوي على معقدة للغاية Win

قد يتم تشغيل أذونات dows عند تعيين الملفات

Error: 1344 (0x00000540)

.

السبب: تدعم AWS S3 File Gateway تخزين ما يصل إلى 10 إدخالات للتحكم في الوصول (ACEs) لكل ملف أو دليل.

الحل: تنظيف وتبسيط قائمة أذونات الوصول إلى Windows للملفات أو المجلدات ، ودمج مجموعات المستخدمين ، والتأكد من أن عدد ACE أقل من 10.

5. الخطوة 5: لا ينعكس تغيير S3 محليًا (سوء فهم الإدراك المتزامن العكسي)

هناك حالة خاصة غالبًا ما يتم الخلط فيها على أنها "فشل متزامن":

قام المستخدم بتحميل الملف مباشرة على وحدة التحكم S3 ، ولكن لا يمكن رؤيته في نقطة تحميل NFS/SMB المحلية

.

المبدأ: من أجل الحفاظ على الأداء العالي ، ستقوم بوابة الملفات بتخزين البيانات الوصفية لـ S3 ، ولن يتم إجراء الاستعلام في الوقت الفعلي عن التغييرات داخل دلو S3 افتراضيًا.

الحل: التحديث اليدوي: حدد مشاركة الملفات في وحدة التحكم ، وانقر فوق "Refresh Cache" (قم بتحديث ذاكرة التخزين المؤقت) ، أو قم بتنفيذ الأمر عبر AWS CLI. التحديث التلقائي: تكوين الفاصل الزمني لاستراتيجية تحديث ذاكرة التخزين المؤقت التلقائي في إعدادات مشاركة الملفات.

سادساً ، التحقيق في ملخص قائمة CheckList

عندما تفشل مزامنة ملف AWS Storage Gateway ، يمكنك الرجوع إلى الجدول التالي للحصول على مقعد سريع:

مستوى التحقيق

تحقق من المشروع

الظواهر الشائعة/رموز الخطأ

الحل الموصى به

الأساس والفواتير

حالة حساب AWS

تم رفض مكالمات API ، بوابة غير متصلة بالإنترنت

قم بإعادة شحن حساب AWS في الوقت المناسب للتأكد من عدم وجود متأخرات وتكوين تحذير الرصيد

التحكم في الأذونات

IAM Role / S3 Policy / KMS

S3AccessDenied

استكمال أذونات PutObject وأذونات فك التشفير KMS

وقت النظام

مزامنة وقت NTP

Gateway ClockOutOfSync

معايرة بوابة الجهاز الظاهري NTP الوقت ، وضمان الانحراف أقل من 5 دقائق

اتصال الشبكة

443 منفذ مع VPC Endpoint

مهلة الشبكة ، فشل الاتصال

تحقق من مجموعة الأمان وقواعد الخروج من جدار الحماية

أداء الأجهزة

ذاكرة التخزين المؤقت القرص مع وحدة المعالجة المركزية/الذاكرة

CachePercentDirty > 80 ٪

قم بترقية قرص ذاكرة التخزين المؤقت SSD وتوسيع عرض النطاق الترددي للتحميل

S3 المزامنة العكسية

الكتابة الخارجية المباشرة S3

لا يمكنك رؤية الملفات السحابية الجديدة في نقطة التحميل المحلية

قم بتنفيذ عملية refresh-cache لتحديث ذاكرة التخزين المؤقت للبيانات الوصفية

فقط اتبع

"حالة الفاتورة-> سياسة الأذونات-> شبكة الوقت-> الأجهزة المحلية/ذاكرة التخزين المؤقت-> القيود الخاصة"

هذا الترتيب التفكيك التدريجي ، الغالبية العظمى

يمكن حل فشل المزامنة في AWS Storage Gateway في وقت قصير. فقط من خلال الحفاظ على إدارة حسابات السحابة الجيدة وعادات المراقبة يمكن ضمان التشغيل المستقر لأنابيب البيانات السحابية المختلطة للمؤسسات.