การป้องกันการปิดผนึกที่เก็บข้อมูลบนคลาวด์ของอาลีบาบา: คำแนะนำเชิงลึกเกี่ยวกับการส่งต่อเบรกพอยต์ไฟล์ขนาดใหญ่ของ Alibaba Cloud OSS และการอัปโหลดแบบมัลติเธรด
ในการกระจายอินเทอร์เน็ตบนมือถือบริการเสียงและวิดีโอหรือสถานการณ์การส่งข้อมูลขนาดใหญ่เรามักจะต้องประมวลผลไฟล์ขนาดใหญ่หลายร้อย MB หรือหลาย GB (เช่นเกม APK แพ็คเกจการติดตั้ง iOS IPA วิดีโอ4K เป็นต้น) หากคุณใช้การอัปโหลดแบบฟอร์มธรรมดาหรือการอัปโหลดไฟล์ธรรมดา (PutObject) โดยตรงเมื่อเครือข่ายกระวนกระวายใจเล็กน้อยหรือเมื่อโทรศัพท์มือถือเปลี่ยนสถานีฐานหรืออุโมงค์ถูกตัดการเชื่อมต่อการส่งข้อมูลทั้งหมดจะขัดข้องโดยตรงและผู้ใช้สามารถเริ่มต้นใหม่ได้จาก0% เท่านั้นเริ่ม.
เพื่อแก้ปัญหาความเสถียรและความเร็วในการถ่ายโอนไฟล์ขนาดใหญ่
OSS ของอาลีบาบาคลาวด์
ให้อัปโหลดแผ่น (Multipart Upload)
กับ
กลไก Resumable Upload บทความนี้จะละทิ้งคำดำที่ยาวของเอกสารอย่างเป็นทางการโดยสิ้นเชิงตั้งแต่หลักการหลักตรรกะพื้นฐานไปจนถึงสถาปัตยกรรมโค้ดจริงและพาคุณผ่านด่านศุลกากรได้อย่างรวดเร็วในขณะเดียวกันสำหรับประเด็นที่น่าปวดใจของการกระจายแพ็คเกจการติดตั้งการเปิดเผยในเชิงลึกเกี่ยวกับวิธีการบรรลุผ่านการออกแบบสถาปัตยกรรม
การป้องกันการถูกบล็อกของ OSS บน Alibaba Cloud
、
การป้องกันแอป APK ของ Alibaba Cloud Storage ไม่ให้ถูกแบน
และ
OSS ของอาลีบาบานำระบบ IPA มาป้องกันการถูกบล็อก
。
1.ตรรกะพื้นฐาน: การอัปโหลดแบบแยกส่วนและการส่งต่อเบรกพอยต์คืออะไร?
พูดง่ายๆก็คือการอัปโหลดแบบแยกส่วนคือการ "สับ" ไฟล์ขนาดใหญ่ให้เป็นบล็อกข้อมูลขนาดเล็กหลายๆส่วนและส่งไปที่
OSS ของอาลีบาบาคลาวด์
โหนดและในที่สุดก็รวมเป็นไฟล์ที่สมบูรณ์ในระบบคลาวด์
ความต่อเนื่องของเบรกพอยต์ขึ้นอยู่กับการอัปโหลดแบบแยกส่วนโดยเพิ่มไฟล์
จุดบันทึกท้องถิ่น (Checkpoint)
。จะบันทึกแบบเรียลไทม์ว่าชิ้นส่วนใดได้รับการอัปโหลดเรียบร้อยแล้วเมื่อเครือข่ายถูกตัดการเชื่อมต่อกลางคันหรือกระบวนการถูกฆ่าเมื่อการอัปโหลดถูกทริกเกอร์อีกครั้งโปรแกรมจะอ่านไฟล์ Checkpoint ข้ามชิ้นส่วนที่เสร็จสมบูรณ์โดยตรงและดาวน์โหลดหรืออัปโหลดเฉพาะชิ้นส่วนที่เหลือเท่านั้น
สามขั้นตอนหลักของการอัปโหลดแบบแยกส่วน:
InitiateMultipartUpload (InitiateMultipartUpload): บอก OSS ว่าฉันต้องการอัปโหลดไฟล์ขนาดใหญ่ OSS จะส่งคืน UploadId ที่ไม่ซ้ำกันในเครือข่ายทั้งหมดหลังจากได้รับ
ส่วนการอัปโหลดแบบขนาน (ส่วนการอัปโหลดแบบขนาน): โปรแกรมใช้ UploadId นี้และอัปโหลดทุกส่วนพร้อมกันแบบมัลติเธรดแต่ละชิ้นต้องระบุหมายเลขเฉพาะ (1 ~ 10000)
อัปโหลดแท็บเล็ตที่สมบูรณ์ (CompleteMultipartUpload): เมื่อส่งแท็บเล็ตทั้งหมดแล้วให้ส่งคำสั่งผสานไปยัง OSS และ OSS จะประกบชิ้นส่วนเหล่านี้เพื่อสร้างไฟล์สุดท้าย
2.การใช้รหัสหลัก: การแบ่งหลายเธรดและการส่งต่อเบรกพอยต์
ใช้ Java SDK หลักขององค์กรเป็นตัวอย่างเพื่อแสดงวิธีการเปิดการเร่งความเร็วแบบมัลติเธรดและบันทึกเบรกพอยต์ (ภาษาอื่นๆเช่น Python, Go, Node.js ตรรกะเหมือนกันทุกประการ)
1.การแนะนำการพึ่งพาพื้นฐาน
<
Dependency>
<GroupId> com.aliyun.oss</groupId>
<ArtifactId> aliyun-sdk-oss</artifactId>
<Version> 3.17.4</version> </dependency>
2.การกำหนดค่าพารามิเตอร์การอัปโหลดขั้นสูง
ผ่าน
UploadFileRequest
คลาสเราสามารถเปิดเธรดพูลและเบรกพอยต์เพื่อดำเนินการต่อได้อย่างง่ายดายโดยไม่ต้องเขียนลูปการแบ่งส่วนพื้นฐานด้วยตนเอง
ประการที่สามจุดตายของอุตสาหกรรม: สถาปัตยกรรมระดับสูง "ป้องกันการปิดผนึก" ในการกระจายไฟล์ขนาดใหญ่ APK/IPA
การถ่ายโอนไฟล์ขนาดใหญ่เป็นเพียงขั้นตอนแรกเท่านั้นในธุรกิจจริงหลายทีมจะ
OSS ของอาลีบาบาคลาวด์
เป็นช่องทางการจัดจำหน่ายสำหรับแอพสโตร์การทดสอบระดับสีเทาหรือแอพมือถือ (Android APK, iOS IPA)
ในเวลานี้คุณจะพบกับความจริงที่โหดร้ายอย่างยิ่ง: เนื่องจากกระแสการดาวน์โหลดบ่อยครั้งรายงานที่เป็นอันตรายจากคู่แข่งในอุตสาหกรรมเดียวกันหรือการเรียกใช้การควบคุมความเสี่ยงด้วยคำที่ละเอียดอ่อนโดยตรงของเครือข่ายสีเขียวในตัวของ WeChat/QQ ลิงก์ดาวน์โหลดของคุณมักจะแสดงใน WeChat "รายงานยาเสพติด/ถูกสกัดกั้น" และยังทำให้เจ้าหน้าที่ของ Alibaba Cloud ปกป้องตัวเองตัดการเข้าถึงโดเมนเริ่มต้น OSS ของคุณโดยตรง
ทำอย่างไรให้ดีจริงๆ
การป้องกันการถูกบล็อกของ OSS บน Alibaba Cloud
、
การป้องกันแอป APK ของ Alibaba Cloud Storage ไม่ให้ถูกแบน
และ
OSS ของอาลีบาบานำระบบ IPA มาป้องกันการถูกบล็อก
?ต้องแนะนำ "เกราะ" สามชั้นต่อไปนี้ในระดับสถาปัตยกรรม:
1.บังคับบล็อกชื่อโดเมนเริ่มต้นและใช้คลัสเตอร์ชื่อโดเมนป้องกันการบล็อกที่กำหนดเอง
กฎเหล็กแห่งการอยู่รอด: อย่าเปิดเผย * .oss-cn-xxx.aliyuncs.com ให้กับผู้ใช้ปลายทาง
เมื่อชื่อโดเมนเริ่มต้นถูกร้องเรียนหรือการควบคุมความเสี่ยงเกิดจากคุณสมบัติบางอย่างของ APK/IPA Bucket ทั้งหมดจะถูกยกเลิก
วิธีที่ถูกต้อง: ผูกชื่อโดเมนที่กำหนดเอง (เช่น static.yourdomain.com) ในฝั่ง OSS ในขณะเดียวกันให้เตรียมชื่อโดเมนสำรองที่เป็นอิสระอย่างสมบูรณ์หลายชุดเป็นกลุ่มสำรวจ
ลอจิกแบบแบ่งส่วน: อินเทอร์เฟซส่วนหลังจะออกชื่อโดเมนลิงก์ดาวน์โหลดที่แตกต่างกันแบบไดนามิกตามภูมิภาคของผู้ใช้สภาพแวดล้อมเครือข่ายและแม้แต่ไคลเอนต์ที่ร้องขอเมื่อพบว่าชื่อโดเมน A ถูกแย่งชิงและบล็อกโดยผู้ให้บริการใน WeChat หรือบางจังหวัดระบบจะเปลี่ยนไปใช้ชื่อโดเมน B โดยอัตโนมัติและไม่จำเป็นต้องย้ายไฟล์ต้นฉบับภายใน OSS เลยนี่คือตรรกะการป้องกันการบล็อก OSS ของ Alibaba Cloud ขั้นพื้นฐานที่สุด
2.ด้านหน้า Alibaba Cloud CDN/การเร่งความเร็วทั้งไซต์: ซ่อนสถานีต้นทาง OSS และป้องกันการปัด
หากผู้ใช้ได้รับอนุญาตให้เชื่อมต่อโดยตรงกับ OSS เพื่อดาวน์โหลด APK หรือ IPA หลายร้อย MB ไม่เพียงแต่ค่าธรรมเนียมการรับส่งข้อมูลกลับจะสูงมากเท่านั้น
และเมื่อคุณถูกโจมตีโดย DDoS หรือถูกดาวน์โหลดอย่างบ้าคลั่งด้วยสคริปต์มันจะนำไปสู่การเรียกเก็บเงินจำนวนมากในชั่วข้ามคืน
ไซต์ต้นทางที่ซ่อนอยู่: ด้วยการกำหนดค่า Alibaba Cloud CDN คำขอดาวน์โหลดทั้งหมดของผู้ใช้จะถูกบล็อกบนโหนดขอบและ CDN จะเริ่มแหล่งกลับแบบมัลติเธรดไปยัง OSS
การตอบสนองต่อการแบน: หากชื่อโดเมนแบบเร่งความเร็วของ CDN ถูกบล็อกใน WeChat คุณจะต้องปลดบล็อกชื่อโดเมนบนคอนโซล CDN และเปลี่ยนเป็นชื่อโดเมนใหม่เพื่อออนไลน์สถานีต้นทาง OSS มีความเสถียรเหมือนภูเขา
การคุ้มกันความปลอดภัย (ป้องกันการปัดที่เป็นอันตราย): เปิดการตรวจสอบ URL (ห่วงโซ่ป้องกันการโจรกรรมประทับเวลา) บน CDN ลิงค์ดาวน์โหลดมาพร้อมกับพารามิเตอร์ auth_key และเวลาหมดอายุ (เช่น5นาทีที่ถูกต้อง) แม้ว่าผู้ใช้จะจับที่อยู่ของแพ็คเกจการติดตั้งแต่การส่งต่อจะเป็นลิงก์ที่ไม่ถูกต้องซึ่งช่วยแก้ปัญหาการขโมยที่เป็นอันตรายในกระบวนการป้องกันการบล็อกของ Alibaba Cloud Storage APK ได้อย่างสมบูรณ์
3.การตัดสินด้านสิ่งแวดล้อมและการบังคับให้กระโดดออกไป (ซอฟต์แวร์โซเชียลป้องกันการสกัดกั้นระบบนิเวศ)
ไม่ว่าจะเป็น
การป้องกันแอป APK ของ Alibaba Cloud Storage ไม่ให้ถูกแบน
ยังคง
OSS ของอาลีบาบานำระบบ IPA มาป้องกันการถูกบล็อก
"ถูกบล็อก" ส่วนใหญ่เกิดขึ้นภายใน WeChat หรือ QQ
แนวทางปฏิบัติที่ดีที่สุดสำหรับ Android APK: เขียนการตัดสินด้านสิ่งแวดล้อมในหน้าเชื่อมโยงไปถึงการดาวน์โหลด H5เมื่อตรวจพบว่า User-Agent มี MicroMessenger (WeChat) หน้ากากจะแจ้งว่า "โปรดคลิกที่มุมขวาบนและเลือกเปิดในเบราว์เซอร์" เทคโนโลยีขั้นสูงเพิ่มเติมสามารถใช้ส่วนหัวตอบสนองการกำหนดค่าเฉพาะ (เช่น Content-Disposition: attachment; filename = "app.apk") ซึ่งสามารถปลุกเบราว์เซอร์ระบบที่มาพร้อมกับโทรศัพท์เพื่อดาวน์โหลดโดยอัตโนมัติใน WeChat ของระบบ Android หลักบางระบบรายงานด้วยตนเอง
ช่องทางการออกที่ปลอดภัยของ iOS IPA: การดาวน์โหลดแพ็คเกจ IPA จากระยะไกลของ iOS ต้องผ่าน itms-services:// โปรโตคอลอย่างเป็นทางการของ Apple ซึ่งอาศัยไฟล์กำหนดค่า manifest.plist HTTPS เนื่องจาก WeChat ได้บล็อกข้อตกลงนี้อย่างสมบูรณ์คุณต้องใส่ไฟล์ plist และเป็นจริงไฟล์ ipa จะถูกเก็บไว้ใน Alibaba Cloud OSS และผู้ใช้จะได้รับอนุญาตให้เปิดและดาวน์โหลดในเบราว์เซอร์ Safari ดั้งเดิมของ Apple เพื่อให้เป็นไปตามขั้นตอนการติดตั้ง iOS ขององค์กรหรือ super-sea
4.การบำรุงรักษาขั้นสูง: ทำความสะอาดขยะที่ยังไม่เสร็จ (ประหยัดเงิน)
เมื่อใช้การอัปโหลดต่อและการอัปโหลดแบบแยกส่วนมีสิ่งที่มองข้ามได้ง่ายมาก
กับดักค่าใช้จ่าย
: หากไฟล์1GB อัปโหลดเพียง500MB เนื่องจากเครือข่ายถูกขัดจังหวะโดยสิ้นเชิงหรือผู้ใช้ถอนการติดตั้งซอฟต์แวร์โดยตรงชิ้นส่วน500MB จะยังคงอยู่
ซ่อนอยู่ในพื้นที่เก็บข้อมูล OSS ของคุณ
และคำนวณค่าธรรมเนียมความจุอย่างต่อเนื่อง! คุณไม่เห็นชิ้นส่วนเหล่านี้ในรายการคอนโซลปกติ
โซลูชัน: กำหนดค่าวงจรชีวิต (Lifecycle) ตั้งแต่
การทำความสะอาดแบบไดนามิก
เพื่อป้องกันไม่ให้ชิ้นส่วนที่ยังไม่เสร็จเหล่านี้กินงบประมาณของคุณอย่าลืมทำสิ่งต่อไปนี้:
เข้าสู่คอนโซล Alibaba Cloud OSS และเลือก Bucket ที่เกี่ยวข้อง
คลิกการจัดการข้อมูล-> วงจรชีวิต-> สร้างกฎ
การกำหนดค่านโยบาย: กลยุทธ์ขึ้นอยู่กับ: การกระจายตัวจะมีประสิทธิภาพ (เลือก "การล้างข้อมูล") ล้างชิ้นส่วนที่หมดอายุ: ตั้งค่า "ไฟล์วันที่หมดอายุ" เป็น3วันหรือ7วัน
ด้วยวิธีนี้ชิ้นส่วนขยะที่หมดอายุใดๆที่ไม่สามารถรวมเข้าด้วยกันได้เนื่องจากการตัดการเชื่อมต่อหรือความผิดปกติจะถูกทำลายและลบโดยอัตโนมัติโดย OSS ซึ่งช่วยให้คุณประหยัดเงินได้มาก
ห้าสรุป
การประมวลผลไฟล์ขนาดใหญ่อย่างมีประสิทธิภาพชั้นล่างสุดขึ้นอยู่กับ
OSS ของอาลีบาบาคลาวด์
การแบ่งส่วนแบบมัลติเธรดที่มั่นคงและกลไกการส่งข้อมูลต่อของจุดตรวจในพื้นที่ซึ่งรับประกัน "พลังที่ยาก" ของการส่งในแอปพลิเคชันระดับบนและเครือข่ายการจัดจำหน่ายร่วมกับชื่อโดเมนที่กำหนดเองการตรวจสอบการประทับเวลา CDN และคำแนะนำในสภาพแวดล้อม WeChat สำหรับเทอร์มินัลมือถือ (APK/IPA) ถือเป็น "ซอฟต์พาวเวอร์" สำหรับการดำเนินธุรกิจอย่างต่อเนื่อง
การรวมกันของทั้งสองระบบการกระจายไฟล์ขนาดใหญ่ของคุณไม่เพียงแต่วิ่งได้เร็วเหมือนรถสปอร์ตเท่านั้นแต่ยังมีความเสถียรและป้องกันการปิดผนึกเหมือนรถหุ้มเกราะอีกด้วย
