Saluran pengisian semula akaun Alibaba Cloud: senario aplikasi contoh data besar dan panduan seni bina webmaster SEO
Sebagai arkitek pengkomputeran awan yang telah berada di awan selama bertahun-tahun, dan juga blogger SEO yang menatap lalu lintas, berat badan dan log crawler setiap hari, saya sering mendapati bahawa banyak rakan teknikal akan menghadapi data besar-besaran. Jatuh ke dalam salah faham:
"Dengan sejumlah besar data, tidak cukup untuk memiliki kekuatan pengkomputeran tertinggi (jenis pengkomputeran) atau cakera awan paling mahal (ESSD)?"
Dalam laman web kecil atau perniagaan asas, pendekatan "keajaiban besar" ini mungkin dapat dilaksanakan. Walau bagaimanapun, apabila perniagaan anda berkembang menjadi pengkomputeran terdistribusi tahap TB atau bahkan PB, seni bina "pemisahan pengkomputeran dan penyimpanan" tradisional (iaitu cakera awan pemasangan ECS) akan menghadapi masalah serius
Rangkaian I/O kesesakan dan defisit belanjawan yang tinggi
。
Untuk menyelesaikan masalah "pengendalian data" di bawah seni bina yang diedarkan ini, Alibaba Cloud melancarkan
Contoh data besar (siri D, seperti d3s, d3c, d2s, dll.)
。
Dalam artikel ini, saya akan berdiri dari perspektif dua arkitek dan webmaster, membongkar dividen teknikal yang mendasari dan senario aplikasi teras contoh data besar Alibaba Cloud, dan berkongsi cara menggabungkan
Akaun Alibaba Cloud
Lakukan pengoptimuman seni bina log FinOps (tadbir urus kewangan) dan SEO yang terbaik.
1. Apakah contoh data besar Alibaba Cloud? Di manakah "inti keras" yang mendasari?
Contoh peringkat perusahaan ECS tradisional (seperti jenis pengkomputeran siri c, jenis tujuan umum siri g) biasanya menggunakan seni bina "pemisahan penyimpanan dan pengiraan". Data disimpan pada penyimpanan blok jauh (cakera awan), dan setiap kali anda membaca dan menulis, anda perlu melalui intranet Penghantaran rangkaian.
Dan contoh data besar (Big Data Instance Family, disebut sebagai siri d)
Ia sama sekali berbeza. Ia menggunakan
Gabungan emas "kapasiti tinggi tempatan, penyimpanan HDD berkapasiti besar, kekuatan pengkomputeran peringkat perusahaan, lebar jalur intranet yang kuat". Ciri teknikal utamanya dapat diringkaskan dalam tiga kata kunci:
1. Data Tempatan Terunggul (Data Locality)
Contoh berasaskan data besar secara langsung dilengkapi dengan Gundam
12 TB (cakera tunggal) cakera tempatan SATA HDD berkapasiti besar, throughput tinggi
。 Oleh kerana data disimpan secara langsung pada cakera keras fizikal tempatan pada bingkai yang sama dengan CPU, overhead penghantaran rangkaian cakera awan dihapuskan sepenuhnya, dan throughput (Throughput) membaca dan menulis pesanan besar-besaran sangat tinggi, dan ia menyokong
Pembaikan cakera buruk pertukaran panas dalam talian
。
Nisbah simpanan emas dan emas 2.1: 4
Nisbah pemproses ke memori biasanya $1:4 $. Ini bermaksud bahawa sambil menyediakan teras pengkomputeran yang banyak, ia juga memberikan penyangga memori yang cukup untuk kerangka data besar (seperti Spark, Flink) untuk mencegah OOM (limpahan memori) ketika melakukan pengiraan aliran kompleks atau agregasi memori.
3. Lebar jalur intranet ultra tinggi (sehingga 64 Gbit/s)
Kumpulan data besar yang diedarkan Semasa melakukan pengiraan berskala besar, nod perlu kerap bertukar data. Contoh berasaskan data besar memberikan lebar jalur rangkaian satu contoh hingga 64 Gbit/s, yang dengan sempurna menyelesaikan komunikasi kluster pada tahap penjajaran rangkaian dan Shuffle.
Caton.
2. Empat senario aplikasi teras contoh data besar Alibaba Cloud
Contoh berasaskan data besar bukanlah ubat mujarab, cakera tempatannya tidak menyokong snapshot, dan juga tidak menyokong perubahan dalam talian. Ini ditakdirkan untuk
Komponen data besar yang diedarkan, sangat tersedia, dengan mekanisme toleransi kesalahan
Disesuaikan. Berikut adalah empat senario aplikasi paling klasik dalam persekitaran pengeluaran:
1. Pengkomputeran dan Penyimpanan Data Besar Teragih (Hadoop/Hive/HBase)
Ini adalah "medan perang utama" contoh siri d. Semasa membina ekosistem Hadoop sumber terbuka atau menggunakan Alibaba Cloud E-MapReduce(EMR), nod data (DataNode) memerlukan ruang penyimpanan yang besar dan throughput yang tinggi.
Titik kesakitan seni bina: Apabila cakera awan tradisional menghadapi pertanyaan berkaitan jadual partisi Hive besar-besaran (Join), saluran cakera awan sering dibatasi oleh had semasa.
Kelebihan siri D: Dengan bantuan cakera HDD SATA berkapasiti besar tempatan, mekanisme multi-salinan semula jadi HDFS (sistem fail diedarkan Hadoop) dengan sempurna menebus kekurangan cakera tempatan tanpa snapshot. Lebar jalur rangkaian yang tinggi telah mempercepat proses Shuffle di bawah kerangka pengkomputeran MapReduce, dan kecekapan kumpulan berjalan secara keseluruhan dapat ditingkatkan lebih dari $30 \ % $.
2. Kluster analisis carian dan log diedarkan (Elasticsearch)
Untuk kluster Elasticsearch(ES) atau ClickHouse, yang sering membawa berbilion log dan perlu memberikan carian teks penuh tahap kedua, kemampuan I/O menentukan hidup dan mati.
Titik kesakitan seni bina: ES cenderung menggantung I/O semasa tempoh penulisan puncak (seperti Double 11, promosi besar, atau ketika laman web mengalami serangan perayap/CC berskala besar), yang menyebabkan percambahan kluster atau penolakan perkhidmatan.
Kelebihan siri D: Pasaran tempatan dengan contoh berasaskan data besar dapat memberikan throughput penulisan berurutan yang sangat tinggi. Dengan mekanisme Shard dan Replica, ia tidak hanya memperluas had penyimpanan indeks, tetapi juga mengurangkan jumlah besar sejuk dan panas. Harga unit penyimpanan log panas.
3. Pusat Penyangga Antrian Mesej Hasil Tinggi (Apache Kafka)
Sebagai "takungan aliran" seni bina diedarkan moden, keperluan teras Kafka adalah
Keupayaan menulis pesanan utama dan throughput paket penghantaran dan penerimaan rangkaian yang besar
。
Kelebihan siri D: Mekanisme PageCache Kafka dan cakera tempatan SATA HDD throughput tinggi dengan contoh siri d dapat memaksimumkan prestasi membaca dan menulis urutan fizikal cakera. Pada masa yang sama, lebar jalur rangkaian berpuluh-puluh G yang berdiri sendiri memastikan bahawa beratus-ratus Consumer (pengguna) dan Producer (pengeluar) tidak kehilangan paket atau kelewatan di bawah throughput serentak tinggi.
4. Penyimpanan Berlapis Panas dan Sejuk Data Besar (EMR JindoFS + OSS)
Di bawah trend umum pengurangan kos dan peningkatan kecekapan, semakin banyak syarikat beralih ke "seni bina data besar hibrid."
Kelebihan siri D: Dalam keluarga spesifikasi seperti d3c dan d2c, syarikat boleh menggunakan EMR J
Mekanisme cache indoFS menggunakan cakera tempatan contoh data besar sebagai "lapisan cache data panas", dan menyimpan data sejuk sejarah besar-besaran secara berterusan dalam penyimpanan objek Alibaba Cloud OSS. Senibina ini bukan sahaja menikmati kelajuan membaca dan menulis cakera tempatan yang melampau, tetapi juga mempunyai fleksibiliti penyimpanan objek yang tidak terhad dan kos yang sangat rendah.
3. Dari teknologi ke kewangan: kaedah pengurangan FinOps yang digabungkan dengan "akaun Alibaba Cloud"
Kluster data besar biasanya merupakan "monster throughput" yang terdiri daripada puluhan atau bahkan ratusan contoh. Setelah konfigurasi tidak betul, perbelanjaan bil bulanan akan sangat mengejutkan. Sebagai arkitek, setelah pemilihan selesai, anda mesti segera kembali ke perspektif kewangan dan log masuk ke
Akaun Alibaba Cloud
Menjalankan kawalan kos yang tepat.
1. Log masuk ke akaun Alibaba Cloud dan buat perancangan sumber yang bersatu
Pada peringkat awal projek, orang yang bertanggungjawab dalam operasi dan penyelenggaraan harus lulus pemilik perniagaan
Akaun Alibaba Cloud
Masukkan konsol dan gunakan pusat "kos dan kos" rasmi untuk perancangan anggaran kluster. Oleh kerana contoh berasaskan data besar (siri d) tidak menyokong penukaran langganan tahunan dan bulanan secara langsung kepada pembayaran mengikut jumlah,
Akaun Alibaba Cloud
Penting untuk mengira "kekuatan pengkomputeran asas" dan "kekuatan pengkomputeran pasang surut fleksibel" perniagaan terlebih dahulu.
2. Gunakan "contoh merampas" dengan bijak untuk bekerjasama dengan rancangan simpanan akaun Alibaba Cloud
Jenis nod kluster data besar menentukan bahawa mod penagihan mereka dapat memainkan lebih banyak muslihat:
Node Pengurusan: Menjalankan perkhidmatan teras seperti NameNode mesti stabil 100%. Sebaiknya pilih "langganan tahunan dan bulanan" atau ikat "rancangan simpanan" di akaun Alibaba Cloud untuk mengunci harga rendah untuk jangka masa yang panjang.
Node Pengiraan/Data: Oleh kerana data besar yang diedarkan itu sendiri mempunyai mekanisme toleransi kesalahan dan pemindahan salinan yang baik, arkitek boleh memohon pembelian Contoh Spot di akaun Cloud Alibaba untuk menjalankan nod Task. Apabila harga pasaran berubah-ubah, walaupun node individu dilepaskan, kluster dapat secara automatik mengimbangi data (Rebalance). Gabungan teknologi dan kewangan yang sempurna ini dapat menjimatkan lebih daripada $70 \ % $ dalam pengiraan bil perniagaan.
Keempat, perbincangan peribadi blogger SEO: penggunaan alternatif contoh data besar dalam operasi dan penyelenggaraan webmaster
Sebagai webmaster yang mahir dalam SEO, anda mungkin bertanya:
"Apa hubungan antara contoh berasaskan data besar dan pembinaan laman web harian kami dan SEO?"
Hubungannya terlalu besar. Apabila matriks laman web anda lebih besar, atau anda mengendalikan enjin carian menegak dengan lalu lintas tinggi, stesen bebas agregat, dan e-dagang berbilang bahasa, anda akan menghasilkan beberapa G atau bahkan puluhan G setiap hari.
Log akses Nginx (Access Log)
。
[Nginx access log structure and analysis flow melalui Big Data instance]
Log ini menyembunyikan semua lintasan perayap enjin carian seperti Googlebot dan Bingbot.
Titik sakit webmaster: pelayan tradisional tidak dapat menjalankan massa sama sekali
Analisis log. Setelah menggunakan grep atau awk untuk menganalisis beratus-ratus GB log termampat secara paksa dalam persekitaran pengeluaran, CPU akan langsung penuh, laman web tidak dapat dibuka dengan serta-merta, dan peringkat SEO akan rosak teruk.
Penyelesaian arkitek:
Anda boleh menggunakan Logstash untuk menyegerakkan log Nginx semua sub-stesen dan stesen bebas ke dalam satu yang dibina oleh contoh data besar Alibaba Cloud
ELK(Elasticsearch Logstash Kibana)
Atau
ClickHouse
Kumpulan analisis sementara.
Dengan menggunakan cakera tempatan yang besar dan throughput cakera yang kuat dari contoh data besar, anda dapat dengan mudah melakukan analisis mendalam SEO berikut:
Analisis frekuensi dan jangka masa crawler: Pantau dengan tepat waktu mana crawler Google merangkak paling kerap setiap hari, untuk mengelakkan tempoh lawatan pengguna puncak.
Analisis mendalam mengenai kod status: Dapatkan dengan cepat sama ada terdapat ralat 404 atau 500 halaman tersembunyi di seluruh laman web untuk mengelakkan kehilangan berat badan.
Pengoptimuman Crawl Budget: Menganalisis URL tidak sah bernilai rendah mana yang membuang banyak tenaga perayap, dan kemudian menyekatnya dengan tepat melalui tag robots.txt atau canonical.
5. Ringkasan dan cadangan pemilihan
Contoh data besar Alibaba Cloud (siri D) tidak disiapkan untuk aplikasi web yang berdiri sendiri biasa. Ini adalah "senjata berat" yang digunakan khas untuk menyerahkan arus data yang diedarkan pada era pengkomputeran awan. Melalui gabungan kuat cakera tempatan throughput tinggi dan lebar jalur intranet tinggi, ia dengan sempurna memotong titik kesakitan komponen yang diedarkan seperti Hadoop, Spark, Kafka dan Elasticsearch.
Sekiranya anda menghadapi tekanan pemprosesan data tahap TB/PB, atau bimbang menyimpan bil yang mahal, anda mungkin juga log masuk ke bil anda sekarang
Akaun Alibaba Cloud
, Cari "jenis data besar" di halaman penciptaan ECS, dan menilai keluarga spesifikasi d3s atau d3c berdasarkan jumlah data perniagaan. Biarkan spesifikasi profesional melakukan perkara profesional, anda akan mendapati bahawa bukan sahaja kelajuan pengkomputeran meningkat dua kali ganda, tetapi keseluruhan kos seni bina IT juga akan membawa kepada penurunan struktur yang bersejarah.
