ช่องทางการเติมเงินบัญชี Alibaba Cloud: สถานการณ์การใช้งานตัวอย่างข้อมูลขนาดใหญ่และคู่มือสถาปัตยกรรมผู้ดูแลเว็บ SEO

ในฐานะสถาปนิกระบบคลาวด์คอมพิวติ้งที่อยู่ในระบบคลาวด์มาหลายปีและยังเป็นบล็อกเกอร์ของไซต์ SEO ที่จ้องมองการเข้าชมน้ำหนักและบันทึกโปรแกรมรวบรวมข้อมูลทุกวันฉันมักจะพบว่าเพื่อนร่วมงานด้านเทคนิคหลายคนจะต้องเผชิญกับข้อมูลจำนวนมากตกอยู่ในความเข้าใจผิดในการคิด:

"ด้วยข้อมูลจำนวนมากพลังการประมวลผลสูงสุด (ประเภทการคำนวณ) หรือดิสก์คลาวด์ที่แพงที่สุด (ESSD) จะไม่เพียงพอ"

ในเว็บไซต์ขนาดเล็กหรือธุรกิจพื้นฐานแนวทาง "สร้างปาฏิหาริย์" นี้อาจเป็นไปได้อย่างไรก็ตามเมื่อธุรกิจของคุณพัฒนาไปสู่การประมวลผลแบบกระจายระดับ TB หรือระดับ PB สถาปัตยกรรม "การแยกการประมวลผลและการจัดเก็บข้อมูล" แบบดั้งเดิม (เช่นคลาวด์ดิสก์ติดตั้ง ECS) จะประสบปัญหาร้ายแรง

เครือข่าย I/O คอขวดและการขาดดุลงบประมาณสูง

。

เพื่อแก้ปัญหา "การจัดการข้อมูล" ภายใต้สถาปัตยกรรมแบบกระจาย Alibaba Cloud ได้เปิดตัว

ตัวอย่างประเภทข้อมูลขนาดใหญ่ (D series เช่น d3s, d3c, d2s ฯลฯ)

。

ในบทความนี้ฉันจะยืนอยู่ในมุมมองคู่ของสถาปนิกและผู้ดูแลเว็บเพื่อแยกการปันผลทางเทคนิคพื้นฐานและสถานการณ์การใช้งานหลักของอินสแตนซ์ข้อมูลขนาดใหญ่ของ Alibaba Cloud และแบ่งปันวิธีการรวมเข้าด้วยกัน

บัญชีอาลีคลาวด์

ดำเนินการเพิ่มประสิทธิภาพสูงสุดของ FinOps (การกำกับดูแลทางการเงิน) และสถาปัตยกรรมบันทึก SEO

1.ตัวอย่างข้อมูลขนาดใหญ่ของ Alibaba Cloud คืออะไร? "ฮาร์ดคอร์" ระดับต่ำอยู่ที่ไหน?

อินสแตนซ์ระดับองค์กร ECS แบบดั้งเดิม (เช่นประเภทคอมพิวเตอร์ซีรีส์ c, ประเภทสากลซีรีส์ g) มักใช้สถาปัตยกรรม "การแยกหน่วยความจำ" ข้อมูลจะถูกเก็บไว้ในที่จัดเก็บบล็อกระยะไกล (ดิสก์บนคลาวด์) และทุกครั้งที่อ่านและเขียนจำเป็นต้องผ่านอินทราเน็ตการส่งผ่านเครือข่าย

และอินสแตนซ์ประเภทข้อมูลขนาดใหญ่ (Big Data Instance Family เรียกว่า D series)

มันแตกต่างกันอย่างสิ้นเชิงมันใช้

การผสมผสานสีทองของ "หน่วยเก็บข้อมูล HDD ที่มีปริมาณงานสูงและความจุสูงในพื้นที่การประมวลผลระดับองค์กรและแบนด์วิดท์อินทราเน็ตที่แข็งแกร่ง" ลักษณะทางเทคนิคหลักสามารถสรุปได้ด้วยคำหลักสามคำ:

1.ปริมาณงานท้องถิ่นที่ดีที่สุด (Data Locality)

อินสแตนซ์ประเภทข้อมูลขนาดใหญ่ติดตั้งโดยตรงถึง

ความจุขนาดใหญ่12 TB (ดิสก์เดี่ยว), ปริมาณงานสูง SATA HDD ดิสก์ท้องถิ่น

。เนื่องจากข้อมูลถูกเก็บไว้โดยตรงในฮาร์ดไดรฟ์ทางกายภาพภายในที่มีชั้นวางเดียวกับ CPU ค่าใช้จ่ายในการส่งผ่านเครือข่ายดิสก์บนคลาวด์จึงถูกกำจัดออกไปโดยสิ้นเชิงปริมาณงานของการอ่านและเขียนตามลำดับจำนวนมากจึงสูงมากและรองรับ

การแก้ไขดิสก์เสียแบบเสียบปลั๊กแบบออนไลน์

。

2.อัตราส่วนเงินฝากทองคำ1:4

อัตราส่วนของโปรเซสเซอร์ต่อหน่วยความจำมักจะเป็น $1:4 $ ซึ่งหมายความว่าในขณะที่มีคอร์การประมวลผลที่เพียงพอเฟรมเวิร์กข้อมูลขนาดใหญ่ (เช่น Spark, Flink) ยังได้รับบัฟเฟอร์หน่วยความจำที่เพียงพอเพื่อป้องกัน OOM (หน่วยความจำล้น) เมื่อทำการคำนวณสตรีมที่ซับซ้อนหรือการรวมหน่วยความจำ

3.แบนด์วิดท์อินทราเน็ตสูงพิเศษ (สูงสุด64 Gbit/s)

เมื่อทำการคำนวณขนาดใหญ่ในคลัสเตอร์ข้อมูลขนาดใหญ่แบบกระจายโหนดจำเป็นต้องแลกเปลี่ยนข้อมูลบ่อยๆอินสแตนซ์ข้อมูลขนาดใหญ่ให้แบนด์วิดท์เครือข่ายอินสแตนซ์เดียวสูงสุด64 Gbit/s ซึ่งช่วยแก้ปัญหาการสื่อสารของคลัสเตอร์ในขั้นตอนการจัดตำแหน่งและการผสมเครือข่ายได้อย่างสมบูรณ์แบบ

ติด.

2.สถานการณ์ที่ใช้งานได้หลักสี่ประการของตัวอย่างข้อมูลขนาดใหญ่ของ Alibaba Cloud

อินสแตนซ์ข้อมูลขนาดใหญ่ไม่ใช่ยาครอบจักรวาลและดิสก์ในเครื่องไม่รองรับสแนปชอตหรือการจัดสรรออนไลน์มันถูกกำหนดให้เป็น

ส่วนประกอบข้อมูลขนาดใหญ่แบบกระจายพร้อมความพร้อมใช้งานสูงพร้อมกลไกที่ทนต่อความผิดพลาด

สั่งตัดต่อไปนี้เป็นสี่สถานการณ์ที่ใช้งานได้คลาสสิกที่สุดในสภาพแวดล้อมการผลิต:

1.การคำนวณและการจัดเก็บข้อมูลขนาดใหญ่แบบกระจาย (Hadoop/Hiv/HBase)

นี่คือ "สนามรบหลัก" ของตัวอย่างซีรีส์ d เมื่อสร้างระบบนิเวศ Hadoop แบบโอเพนซอร์สหรือใช้ Alibaba Cloud E-MapReduce(EMR) โหนดข้อมูล (DataNode) ต้องการพื้นที่จัดเก็บขนาดใหญ่และปริมาณงานสูง

จุดเจ็บปวดของสถาปัตยกรรม: เมื่อดิสก์บนคลาวด์แบบดั้งเดิมต้องเผชิญกับแบบสอบถามที่เกี่ยวข้องกับตารางพาร์ติชัน Hive (Join) จำนวนมากช่องดิสก์บนคลาวด์มักจะถูกจำกัดด้วยกระแสที่จำกัด

ข้อดีของซีรีส์ D: ด้วยความช่วยเหลือของดิสก์ SATA HDD ความจุขนาดใหญ่ในท้องถิ่นกลไกหลายสำเนาตามธรรมชาติของ HDFS(Hadoop Distributed File System) ทำให้ข้อบกพร่องของดิสก์ในเครื่องไม่มีสแนปชอตแบนด์วิดท์เครือข่ายที่สูงช่วยเร่งกระบวนการ Shuffle ภายใต้กรอบการประมวลผลของ MapReduce ได้อย่างมากและประสิทธิภาพแบทช์การทำงานของคลัสเตอร์โดยรวมสามารถเพิ่มขึ้นได้มากกว่า $30 \ % $

2.คลัสเตอร์การค้นหาและการวิเคราะห์บันทึกแบบกระจาย (Elasticsearch)

สำหรับคลัสเตอร์ Elasticsearch(ES) หรือ ClickHouse ที่มีบันทึกหลายพันล้านรายการและจำเป็นต้องให้การค้นหาข้อความแบบเต็มในไม่กี่วินาทีความสามารถของ I/O เป็นตัวกำหนดชีวิตและความตาย

จุดเจ็บปวดของสถาปัตยกรรม: ES มีแนวโน้มที่จะวางสาย I/O ในช่วงที่มีการเขียนสูงสุด (เช่น Double 11โปรโมชั่นขนาดใหญ่หรือเมื่อเว็บไซต์ถูกโจมตีโดยโปรแกรมรวบรวมข้อมูล/CC ขนาดใหญ่) ซึ่งนำไปสู่การแตกของคลัสเตอร์หรือการปฏิเสธบริการ

ข้อดีของซีรีส์ D: ตลาดในพื้นที่ของอินสแตนซ์ที่ใช้ข้อมูลขนาดใหญ่สามารถให้ปริมาณการเขียนตามลำดับที่สูงมากด้วยกลไก Shard และ Replica ไม่เพียงแต่ขยายขีดจำกัดสูงสุดของการจัดเก็บดัชนีอย่างมากแต่ยังช่วยลดความเย็นจำนวนมากได้อย่างมากราคาต่อหน่วยของบันทึกร้อน

3.สูงคิวข้อความบัฟเฟอร์ศูนย์ (Apache Kafka)

Kafka เป็น "แหล่งกักเก็บการไหล" ของสถาปัตยกรรมแบบกระจายสมัยใหม่ข้อกำหนดหลักคือ

ลำดับที่ดีที่สุดของความสามารถในการเขียนดิสก์และปริมาณงานของแพ็คเก็ตตัวรับส่งสัญญาณเครือข่ายขนาดใหญ่

。

ข้อดีของซีรีส์ D: กลไก PageCache ของ Kafka รวมกับตัวอย่างซีรีส์ d ดิสก์ภายในเครื่อง SATA HDD ที่มีปริมาณงานสูงสามารถเพิ่มประสิทธิภาพการอ่านและเขียนตามลำดับทางกายภาพของดิสก์ได้สูงสุดในขณะเดียวกันแบนด์วิดท์เครือข่ายหลายสิบ G แบบสแตนด์อโลนช่วยให้มั่นใจได้ว่าผู้บริโภค (ผู้บริโภค) และผู้ผลิต (ผู้ผลิต) หลายร้อยรายจะไม่สูญเสียแพ็กเก็ตหรือล่าช้าภายใต้ปริมาณงานพร้อมกันสูง

4.ข้อมูลขนาดใหญ่ร้อนและเย็นชั้นจัดเก็บ (EMR JindoFS + OSS)

ภายใต้แนวโน้มทั่วไปของการลดต้นทุนและเพิ่มประสิทธิภาพบริษัทต่างๆหันมาใช้ "สถาปัตยกรรมข้อมูลขนาดใหญ่แบบไฮบริด" มากขึ้นเรื่อยๆ

ข้อดีของซีรีส์ D: ในตระกูลข้อกำหนดเช่น d3c และ d2c องค์กรต่างๆสามารถใช้ EMR J ได้

กลไกการแคช indoFS ใช้ดิสก์ภายในของอินสแตนซ์ข้อมูลขนาดใหญ่เป็น "เลเยอร์แคชข้อมูลร้อน" และจัดเก็บข้อมูลเย็นในอดีตจำนวนมากไว้ใน OSS ที่จัดเก็บออบเจ็กต์บนคลาวด์ของอาลีบาบาสถาปัตยกรรมนี้ไม่เพียงแต่เพลิดเพลินไปกับความเร็วในการอ่านและเขียนสูงสุดของดิสก์ในเครื่องเท่านั้นแต่ยังมีความยืดหยุ่นไม่สิ้นสุดและต้นทุนที่ต่ำเป็นพิเศษของการจัดเก็บวัตถุ

3.จากเทคโนโลยีสู่การเงิน: FinOps รวมกับ "บัญชี Alibaba Cloud"

คลัสเตอร์ข้อมูลขนาดใหญ่มักเป็น "สัตว์ประหลาดที่มีปริมาณงาน" ซึ่งประกอบด้วยอินสแตนซ์หลายสิบหรือหลายร้อยตัวเมื่อกำหนดค่าไม่ถูกต้องค่าใช้จ่ายในการเรียกเก็บเงินรายเดือนจะน่าทึ่งมากในฐานะสถาปนิกหลังจากการเลือกสิ้นสุดลงคุณต้องเปลี่ยนกลับไปที่มุมมองทางการเงินทันทีและเข้าสู่ระบบ

บัญชีอาลีคลาวด์

ดำเนินการควบคุมต้นทุนที่แม่นยำ

1.เข้าสู่ระบบบัญชี Alibaba Cloud และดำเนินการวางแผนทรัพยากรแบบครบวงจร

ในช่วงเริ่มต้นของโครงการผู้รับผิดชอบการดำเนินงานและการบำรุงรักษาควรผ่านเจ้าของธุรกิจ

บัญชีอาลีคลาวด์

เข้าสู่คอนโซลและใช้ศูนย์ "ต้นทุนและต้นทุน" อย่างเป็นทางการสำหรับการวางแผนงบประมาณคลัสเตอร์เนื่องจากอินสแตนซ์ประเภทข้อมูลขนาดใหญ่ (ซีรีส์ d) ไม่รองรับการเปลี่ยนแปลงที่ราบรื่นของการสมัครสมาชิกรายเดือนและการโอนโดยตรงไปยังการชำระเงินตามปริมาณ

บัญชีอาลีคลาวด์

เป็นสิ่งสำคัญมากในการคำนวณ "พลังการประมวลผลถาวรขั้นพื้นฐาน" และ "พลังการประมวลผลน้ำขึ้นน้ำลงที่ยืดหยุ่น" ของธุรกิจล่วงหน้า

2.ใช้ "ตัวอย่างการยึด" อย่างชาญฉลาดเพื่อร่วมมือกับแผนการประหยัดบัญชี Alibaba Cloud

ประเภทโหนดของคลัสเตอร์ข้อมูลขนาดใหญ่กำหนดว่ารูปแบบการเรียกเก็บเงินของพวกเขาสามารถเล่นกลได้มากขึ้น:

โหนดการจัดการ (Master Node): ในการให้บริการหลักเช่น NameNode ต้องมีความเสถียร100% ขอแนะนำให้เลือก "การสมัครสมาชิกรายเดือน" หรือผูก "แผนการประหยัด" ในบัญชี Alibaba Cloud เพื่อล็อกราคาต่ำเป็นเวลานาน

โหนดคอมพิวเตอร์/ข้อมูล (Core/Task Node): เนื่องจากข้อมูลขนาดใหญ่แบบกระจายมีความทนทานต่อความผิดพลาดและกลไกการโยกย้ายสำเนาที่ดีสถาปนิกจึงสามารถสมัครซื้อ Spot Instance ในบัญชี Alibaba Cloud เพื่อดำเนินการโหนด Task เมื่อราคาตลาดผันผวนแม้ว่าแต่ละโหนดจะถูกปล่อยออกมาคลัสเตอร์ก็สามารถปรับสมดุลข้อมูลได้โดยอัตโนมัติการผสมผสานที่ลงตัวระหว่างเทคโนโลยีและการเงินนี้สามารถประหยัดค่าใช้จ่ายในการคำนวณได้มากกว่า $70 \ % $ สำหรับค่าใช้จ่ายขององค์กร

4.การพูดคุยส่วนตัวของบล็อกเกอร์ SEO: การใช้ตัวอย่างข้อมูลขนาดใหญ่ในการใช้งานและการบำรุงรักษาของผู้ดูแลเว็บ

ในฐานะผู้ดูแลเว็บที่มีความเชี่ยวชาญด้าน SEO คุณอาจถามว่า:

"อะไรคือความสัมพันธ์ระหว่างตัวอย่างข้อมูลขนาดใหญ่กับการสร้างเว็บไซต์และ SEO ประจำวันของเรา"

มันใหญ่เกินไปเมื่อเมทริกซ์เว็บไซต์ของคุณมีขนาดใหญ่ขึ้นหรือคุณกำลังใช้งานเครื่องมือค้นหาแนวตั้งที่มีการเข้าชมสูงไซต์อิสระที่รวมเข้าด้วยกันและอีคอมเมิร์ซหลายภาษาในทะเลคุณจะสร้างหลาย G หรือหลายสิบ G ทุกวัน

บันทึกการเข้าถึง Nginx (Access Log)

。

[Nginx access log structure and analysis flow via Big Data instance]

บันทึกเหล่านี้ซ่อนวิถีทั้งหมดของโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาเช่น Googlebot และ Bingbot

จุดเจ็บปวดของผู้ดูแลเว็บ: เซิร์ฟเวอร์แบบเดิมไม่สามารถทำงานได้เลย

การวิเคราะห์บันทึกเมื่อใช้ grep หรือ awk เพื่อบังคับให้วิเคราะห์บันทึกการบีบอัดหลายร้อย GB ในสภาพแวดล้อมการผลิตซีพียูจะเต็มโดยตรงไม่สามารถเปิดเว็บไซต์ได้ทันทีและการจัดอันดับ SEO จะเสียหายอย่างร้ายแรง

โซลูชั่นของสถาปนิก:

คุณสามารถซิงโครไนซ์บันทึก Nginx ของไซต์ย่อยทั้งหมดและไซต์อิสระกับอินสแตนซ์ข้อมูลขนาดใหญ่ของ Alibaba Cloud แบบเรียลไทม์ผ่าน Logstash

ELK(Elasticsearch Logstash Kibana)

หรือว่า

ClickHouse

วิเคราะห์คลัสเตอร์ชั่วคราว

การใช้ดิสก์ในเครื่องขนาดใหญ่และปริมาณงานดิสก์ที่มีประสิทธิภาพของอินสแตนซ์ข้อมูลขนาดใหญ่คุณสามารถทำการวิเคราะห์เชิงลึกของ SEO ต่อไปนี้ได้อย่างง่ายดาย:

การวิเคราะห์ความถี่และช่วงเวลาของโปรแกรมรวบรวมข้อมูล: ตรวจสอบอย่างแม่นยำว่าโปรแกรมรวบรวมข้อมูลของ Google รวบรวมข้อมูลบ่อยที่สุดในแต่ละวันเพื่อหลีกเลี่ยงช่วงเวลาสูงสุดของการเข้าชมของผู้ใช้

การวิเคราะห์เชิงลึกของรหัสสถานะ: ค้นหาอย่างรวดเร็วว่ามีข้อผิดพลาด404ที่ซ่อนอยู่หรือ500หน้าในทั้งไซต์เพื่อป้องกันการสูญเสียน้ำหนัก

การเพิ่มประสิทธิภาพงบประมาณ (Crawl Budget): วิเคราะห์ว่า URL ที่ไม่ถูกต้องมูลค่าต่ำใดที่สิ้นเปลืองพลังงานของโปรแกรมรวบรวมข้อมูลจำนวนมากจากนั้นบล็อกอย่างถูกต้องผ่าน robots.txt หรือแท็ก canonical

5.สรุปและข้อเสนอแนะในการเลือก

ตัวอย่างข้อมูลขนาดใหญ่ของ Alibaba Cloud (ซีรีส์ D) ไม่ได้เตรียมไว้สำหรับแอปพลิเคชันเว็บแบบสแตนด์อโลนธรรมดามันเป็น "อาวุธหนัก" ที่ใช้เป็นพิเศษเพื่อปราบข้อมูลแบบกระจายในยุคคลาวด์คอมพิวติ้งด้วยการผสมผสานที่แข็งแกร่งของดิสก์ภายในเครื่องที่มีปริมาณงานสูงและแบนด์วิดท์อินทราเน็ตสูงทำให้สามารถเข้าถึงจุดเจ็บปวดพื้นฐานของส่วนประกอบแบบกระจายเช่น Hadoop, Spark, Kafka และ Elasticsearch ได้อย่างสมบูรณ์แบบ

หากคุณกำลังเผชิญกับแรงกดดันในการประมวลผลข้อมูลระดับ TB/PB หรือกังวลเกี่ยวกับการเรียกเก็บเงินที่เก็บบล็อกราคาแพงคุณอาจเข้าสู่ระบบ

บัญชีอาลีคลาวด์

, ค้นหา "ประเภทข้อมูลขนาดใหญ่" ในหน้าการสร้าง ECS และประเมินตระกูลข้อมูลจำเพาะ d3s หรือ d3c ตามปริมาณข้อมูลของธุรกิจปล่อยให้ข้อกำหนดระดับมืออาชีพทำสิ่งที่เป็นมืออาชีพคุณจะพบว่าไม่เพียงแต่ความเร็วในการคำนวณจะเพิ่มขึ้นเป็นสองเท่าแต่ต้นทุนสถาปัตยกรรมไอทีโดยรวมก็จะนำไปสู่การลดลงของโครงสร้างในอดีตด้วย