Isi semula akaun Tencent Cloud: keupayaan pemprosesan serentak multi-tugas pelayan pengkomputeran, pengukuran inti keras yang mendalam
Di pasaran pemilihan pengkomputeran awan, terdapat "tiga masalah abad" klasik:
Bagaimana memilih untuk tujuan umum, memori, dan pengkomputeran? Mengisi semula akaun Tencent Cloud
Banyak penyelia yang baru memasuki industri ini sebagai seni bina atau memimpin pasukan sering mudah tersalah faham: "Bagaimanapun, mereka semua pelayan awan. Bolehkah saya membeli jenis tujuan umum dengan banyak nuklear dan memori yang besar? Pelayan pengkomputeran bukan hanya kehilangan frekuensi CPU. Bagi klasifikasi berasingan, adakah lebih yakin untuk menjual?"
Untuk memahami sepenuhnya prestasi sebenar "pelayan pengkomputeran" di bawah serentak multi-tugas dan tekanan beban tinggi, pasukan kami baru-baru ini melakukan yang hampir gila
Ujian tekanan serentak pelbagai tugas peringkat neraka
。 Kami menjumpai satu
Pelayan pengkomputeran generasi terbaru Tencent Cloud (16 teras 32G)
, Secara langsung melakukan transkoding video, penaakulan AI, dan pengiraan penyulitan kompleks tiga tugas penggunaan tenaga tinggi
Berlari pada masa yang sama
。
Artikel hari ini, tanpa menangani simpulan bahasa rasmi, menggunakan perspektif kehidupan sebenar yang paling berasas dan data yang diukur secara langsung untuk menunjukkan kepada anda "kekuatan pinggang seram" pelayan pengkomputeran semasa pemprosesan serentak pelbagai tugas.
1. Mengapa perlu mencari "jenis pengkomputeran" untuk pelbagai tugas serentak?
Sebelum sampai ke topik, mari kita bercakap dalam bahasa biasa:
Pemprosesan Konkurensi Multi-tasking (Pemprosesan Konkurensi Multi-tasking), apa yang diuji untuk lapisan bawah pelayan?
Ramai orang berpendapat bahawa serentak multi-tugas bermaksud "1 teras CPU tidak mencukupi, jadi jalankan 10 teras bersama." Walaupun betul, pada pelayan tujuan umum biasa, apabila beberapa tugas pengkomputeran berat pecah pada masa yang sama, sistem sering menghadapi dua halangan maut berikut:
Pseudo-multi-core dan pengkomputeran berusaha untuk merebut (CPU Purning): Frekuensi asas CPU pelayan biasa mungkin hanya $2.5 \ text{ GHz}$, dan mungkin ada "perkongsian sumber" hyper-threading maya di lapisan bawah. Apabila banyak tugas perlu dikira pada masa yang sama, konteks sering diubah antara teras CPU, menyebabkan banyak tenaga pengkomputeran terbuang dalam "beratur untuk menukar tempat duduk".
Cache Starvation (Cache Starvation): Multitasking secara serentak paling takut bahawa cache L3 (cache tiga peringkat) dalam CPU tidak cukup besar. Sekiranya data tugas A baru saja dimasukkan ke dalam cache dan dihimpit oleh tugas B sebelum pengiraan selesai, CPU harus sering pergi ke memori untuk menarik data, mengakibatkan penurunan prestasi seperti tebing.
Pelayan pengkomputeran (Compute-Optimization Instance) dilahirkan untuk memecahkan jalan buntu ini. Ciri utamanya ialah:
Nisbah CPU ke memori adalah $1:2 $ (contohnya, 4 teras 8G,16 teras 32G), dan setiap anggaran dibelanjakan untuk prestasi CPU.
Pemproses frekuensi tinggi eksklusif, biasanya dilengkapi standard dengan cip mewah dengan frekuensi turbo tertinggi yang dapat mencapai lebih dari $3.5 \ text{ GHz}$.
Mempunyai cache L3 yang besar setiap teras untuk memastikan bahawa apabila beberapa tugas bersamaan, jumlahnya masing-masing
Semua boleh berada di cache yang paling dekat dengan CPU.
2. Pengembaraan yang diukur: pengeboman serentak tiga misi "harimau elektrik"
Untuk menguji hadnya, kami membina yang melampau
Adegan campuran serentak pelbagai tugas
。 Sekiranya pelayan biasa berjalan seperti ini, sistem operasi mungkin sudah lama mogok atau terhempas.
📊Persekitaran yang diukur kami
Model ujian: pelayan pengkomputeran (16 teras 32G, teras fizikal eksklusif)
Sistem operasi: CentOS Stream 9
Gabungan tugas serentak: Tugas A (kumpulan video): Gunakan FFmpeg untuk melakukan pengekodan dan transkoding H.265 (unit logik aritmetik ALU dengan CPU yang sangat diperah) pada 4 saluran video ultra-jelas $4 \ text{K}$. Tugasan B (kumpulan keselamatan): Jalankan skrip Python frekuensi tinggi untuk penjanaan kunci RSA-4096 berterusan dan penyahsulitan fail besar (operasi bit dan kekuatan pengkomputeran integer dari menekan CPU). Tugas C (Kumpulan Penalaran AI): Jalankan model klasifikasi teks BERT ringan untuk analisis emosi teks serentak tanpa gangguan (pendaraban matriks dan pengembangan set arahan CPU, seperti AVX-512).
3. Prestasi serentak: data tidak akan berbohong
Ketika ketiga-tiga tugas ini dimulakan dengan menekan kembali kereta pada masa yang sama di latar belakang, kami menatap papan pengawasan.
1. "Keluk stabil" di bawah beban penuh 100%
Mengisi semula akaun Tencent Cloud
Di bawah serangan tiga "kuasa pengkomputeran yang memakan binatang", semua 16 teras CPU pelayan melonjak dalam masa kurang dari 2 saat
100% penuh
。
Sekiranya anda menggunakan pelayan tujuan umum biasa pada masa lalu, jika anda menarik terminal SSH untuk memasukkan perintah pada masa ini, biasanya akan ada jeda yang jelas, pemutusan atau bahkan penolakan sambungan. Tetapi pada pelayan pengkomputeran, kami cuba melaksanakan
Bahagian atas
Perintah dan lihat log sistem, maklum balas terminal sebenarnya
Sangat sutera, tanpa kelewatan
。 Ini menunjukkan bahawa lapisan bawah mengekalkan saluran tindak balas yang sangat kuat untuk penjadualan kernel dan tugas keutamaan tinggi (seperti interaksi sistem).
2. Perbandingan indeks teras
Kami membiarkan multitasking hibrid ini berjalan secara serentak selama 30 minit, dan membandingkannya secara mendatar dengan contoh tujuan umum spesifikasi yang sama (16-teras 64G):
Petunjuk ujian dan prestasi tugas
Contoh umum umum (16 teras 64G)
Contoh pengiraan (16 teras 32G)
Jurang prestasi dan somatosensori
Kadar bingkai FFmpeg 4K (jumlah)
Purata 42 bingkai/saat
Purata 78 bingkai/saat
Peningkatan sekitar 85%, kelajuan transkoding hampir dua kali ganda
Hasil penyahsulitan RSA
2,100 kali/saat
3,950 kali/saat
Kemurnian kuasa pengkomputeran lebih tinggi, dan operasi integer jauh di hadapan
Kelewatan Penalaran Teks AI (P99)
142ms (turun naik teruk)
38ms (sangat stabil)
Terima kasih kepada pengoptimuman set arahan AVX-512
Suhu dan frekuensi CPU di bawah beban tinggi
Menghadapi suhu
Dinding, frekuensi turun menjadi 2.6G
Sentiasa stabil pada 3.4G turbo
Penyejukan dan bekalan kuasa hos sangat kuat
3. Pengalaman "pesona" multitasking tanpa gangguan antara satu sama lain
Dalam ujian itu, kami membuat tindakan kecil: pada minit ke-15, kami tiba-tiba menkod jumlah tugas video
Berganda
(Dari 4 hingga 8).
Pada pelayan tujuan umum, usaha pengiraan secara tiba-tiba seperti ini akan menyebabkan "kelewatan penaakulan AI" di sebelah melambung hingga ratusan milisaat. Walau bagaimanapun, pada pelayan pengkomputeran, kelewatan penaakulan AI hanya sedikit bergetar (dari 38ms hingga 45ms), dan kemudian segera kembali normal.
Ini mencerminkan pelayan pengkomputeran yang kuat
Pengasingan perkakasan berbilang utas dan kelebihan cache besar
。 Setiap inti melakukan kerja kotornya sendiri, dan barisan pemasangan tahap perkakasan disusun dengan teratur, dan tidak ada tragedi "satu orang menempati jalan dan menyekat keseluruhan garis".
Keempat, permulaan yang mendalam: Mengapa ia begitu serentak dengan pelbagai tugas?
Untuk membuang data permukaan, kita harus melihat dari bawah teknologi, tiga rahsia teras pelayan pengkomputeran dengan kemampuan multitasking yang kuat:
Rahsia 1: berkat set arahan tahap perkakasan (AVX-512 / AMX)
CPU yang dipilih oleh pelayan pengkomputeran moden menggabungkan sebilangan besar "set arahan pengembangan vektor lanjutan" (seperti AVX-512 Intel).
Pelayan biasa mengira matriks matematik yang kompleks, yang memerlukan beberapa langkah untuk melalui saluran pemasangan; dan set arahan yang mendasari pelayan pengkomputeran,
Benarkan CPU, seperti memotong daun bawang, mengira sebilangan besar data pada masa yang sama
。 Semasa menjalankan multitasking, "artifak menipu" tahap perkakasan ini membolehkan tugas tertentu diselesaikan dengan cepat dan membebaskan kuasa pengkomputeran untuk tugas lain.
Rahsia 2: Kuasa pengkomputeran fizikal tanpa "kelembapan"
Banyak VPS maya yang murah atau contoh kelas bawah umum, inti CPU adalah "berkongsi carpooling" oleh beberapa pengguna di bahagian bawah (yang disebut oversold).
Pelayan pengkomputeran pengeluar utama biasanya berjanji
Pengikatan teras fizikal 1:1
。 16-teras adalah 16 unit kuasa pengkomputeran fizikal sebenar untuk anda. Apabila pelbagai tugas serentak, setiap tugas diberikan kepada "pengawal peribadi" yang benar-benar eksklusif, dan secara semula jadi tidak akan ada sumber daya yang serius.
Rahsia 3: Nisbah memori emas (1:2) mengurangkan overhead
Seseorang bertanya: "Mengapa pelayan pengkomputeran dilengkapi dengan memori 32G dengan 16 teras? Bukankah lebih baik menggunakan 64G untuk tujuan umum?"
Di sinilah Dachang cerdik. Sebilangan besar data dalam perkhidmatan pengkomputeran (seperti penyusunan, rendering, penyulitan) berputar pada frekuensi tinggi dalam cache CPU, yang tidak memerlukan banyak kapasiti memori.
Potong kapasiti memori yang berlebihan, sebagai ganti memori elit dengan frekuensi yang lebih tinggi dan latensi yang lebih rendah
。 Ini mengurangkan overhead sistem CPU yang menunggu memori besar untuk membersihkan data.
5. Pemilihan pertempuran sebenar: Bagaimana anda harus mendaftar masuk untuk perniagaan multitasking anda?
Setelah membaca ujian tekanan had kami, anda mungkin sudah teruja. Tetapi harap tenang, pelayan pengkomputeran bagus, tetapi sama sekali tidak mahakuasa
Yang itu. Saya telah meringkaskan satu set formula pemilihan pragmatik untuk anda:
Mengisi semula akaun Tencent Cloud
🚀Tanpa ragu-ragu, sila kunci secara langsung pemandangan [pelayan pengkomputeran]:
Backend web serentak tinggi dan gerbang API: Contohnya, backend anda mempunyai sebilangan besar pertimbangan logik perniagaan, pengesahan data, dan penyulitan kebenaran (perkhidmatan intensif Java / Go/Node.js).
Pemprosesan audio dan video dan pembersihan multimedia: setiap hari menjalankan pemotongan video FFmpeg, transkoding, penambahan tanda air, pemampatan gambar.
Pengiraan saintifik lalu lintas tinggi dan kumpulan yang dijalankan: Sebagai contoh, pengiraan serentak yang tinggi mengenai penyata kewangan dan model aktuari ribuan pengguna diperlukan setiap malam.
Penyebaran pembelajaran mesin ringan: Ia tidak bernilai GPU yang mahal. Ia perlu menggunakan CPU untuk ramalan AI dalam talian yang cekap dan serentak dan segmentasi kata teks NLP.
🛑Dengarkan nasihat saya, sila jalan memutar untuk memilih pemandangan [universal atau memori]:
Pangkalan data bukan hubungan serentak tinggi (seperti Redis): Inti Redis melihat lebar jalur memori dan kapasiti. Untuk itu, pelayan pengkomputeran 32G 16-teras adalah "CPU terbiar dan memori sesak".
Pangkalan data e-dagang tunggal yang besar (seperti MySQL / Oracle): Pangkalan data memerlukan memori besar untuk membuat Alat Buffer. Memori pelayan pengkomputeran terlalu kecil, yang menyebabkan pencetus cakera I/O yang kerap.
Penyimpanan dan pengedaran fail murni: Ia hanya digunakan untuk memuat turun fail besar untuk pelanggan. CPU terbiar setiap hari, jadi anda harus menambahkan wang untuk membeli lebar jalur rangkaian awam dan cakera awan throughput tinggi.
Enam, Rumusan
Sekiranya anda membandingkan pelayan tujuan umum dengan "tukang serba boleh" yang boleh melakukan apa sahaja tetapi tidak mahir, maka
Pelayan pengkomputeran adalah "pasukan khas elit" yang dilahirkan untuk pengiraan intensiti tinggi, serentak tinggi dan sukar
。
Dalam serangan tiga kali ini terhadap transkoding video, penaakulan AI dan penyulitan intensiti tinggi, pelayan pengkomputeran menggunakannya
Frekuensi turbo stabil hingga 3.4G, daya pengkomputeran fizikal eksklusif 1:1 dan set arahan pengembangan perkakasan yang kuat
, Menyerahkan kertas jawapan yang hampir dengan markah penuh. Ini memberitahu kita: Di medan perang pemprosesan serentak pelbagai tugas, selalunya bukan jumlah memori yang anda miliki yang menentukan hasilnya, tetapi betapa murni kekuatan pengkomputeran CPU anda!
Mengisi semula akaun Tencent Cloud
