Cara menggunakan pemantauan awan Alibaba untuk menetapkan pemberitahuan amaran masa nyata untuk CPU dan lebar jalur
Dalam kerja teknikal operasi dan pengurusan sistem, ramai bakat baharu yang baru mula mengenali komputan awan sering melakukan satu kesilapan besar:
Setelah membeli pelayan dan melaksanakan pelupusan perniagaan, mereka menyangka segala-galanya telah selesai.
.
Sehingga tengah malam, lalu lintas tiba-tiba meroket dan lebar jalur tersekat, atau proses gelung tanpa henti secara langsung mendorong CPU ke 100%, menyebabkan sistem tidak berfungsi, panggilan pelanggan diledakkan, dan bakat operasi dan penyelenggaraan bergegas masuk ke latar belakang untuk memeriksa log. Penderitaan akibat “pemadaman api secara pasif” ini merupakan sesuatu yang tidak ingin dialami sekali lagi oleh mana-mana jurutera yang pernah mengalaminya.
Sebenarnya, Alibaba Cloud sendiri telah dilengkapi dengan satu set alat pemantauan infrastruktur yang sangat canggih—
Pemantauan Awan (CloudMonitor)
. Selagi anda mengkonfigurasi pemberitahuan penggera masa nyata dengan CPU dan lebar jalur rangkaian, anda boleh menerima pemberitahuan dalam beberapa minit pertama apabila petunjuk sistem berubah, sehingga dapat dilakukan dengan mudah sebelum krisis merebak.
Di bawah ini, saya akan menggabungkan pengalaman operasi dan penyelenggaraan sebenar saya untuk membina sistem penggera masa nyata Alibaba Cloud yang cekap dan tidak dilaporkan.
Pertama, mengapakah CPU dan lebar jalur merupakan “garisan nyawa” bagi amaran?
Dalam pelbagai petunjuk pemantauan bagi Pelayan Awan (ECS), item amaran sangat pelbagai, tetapi
Kadar penggunaan CPU
Dan
Lebar jalur arah keluar/masuk
Sentiasa menjadi teras dalam teras.
Kadar penggunaan CPU: Mencerminkan beban pengkomputeran pelayan. Sekiranya CPU dikekalkan lebih dari 90% untuk waktu yang lama, ini akan menyebabkan lonjakan kelewatan permintaan HTTP, dan sistem OOM (limpahan memori) atau tersekat secara langsung.
Lebar jalur rangkaian (Pengeluaran Rangkaian/Input Rangkaian): mencerminkan tekanan penghantaran data. Setelah lebar jalur keluar penuh (contohnya, anda membeli lebar jalur 5Mbps dan berlari ke 4.9Mbps), pelayan akan mengalami kehilangan paket dan kelewatan rangkaian yang serius, dan pengguna luaran nampaknya "laman web tidak dapat dibuka" atau "masa tamat antara muka".
Dengan memantau kedua-dua penunjuk ini dengan teliti, lebih daripada 90% kesilapan infrastruktur pelayan dapat dikesan awal.
II. Persediaan: “Infrastruktur” bagi Pemberitahuan Amaran
Sebelum memasuki konsol Pemantauan Awan untuk membuat konfigurasi peraturan, kita perlu terlebih dahulu menyiapkan “saluran pemberitahuan”. Jika amaran telah dicetuskan tetapi tiada penerima yang betul, maka sehebat mana pun peraturan itu tetap tidak berguna.
1. Sahkan status pemalam Pemantauan Awan
Log masuk ke konsol Alibaba Cloud, dan masuki
Pemantauan Awan -> Pemantauan Pelayan
. Pastikan pada instans ECS anda
ArgusAgent
Status pemalam dipaparkan sebagai
"Sedang berjalan"
. Hanya apabila pemalam berfungsi dengan baik, Pemantauan Awan dapat memperoleh data petunjuk dalaman sistem pada tahap yang lebih terperinci.
2. Menetapkan penerima dan kumpulan penerima makluman
Klik secara berturut-turut pada bar navigasi sebelah kiri.
“Perkhidmatan Pemberitahuan” -> “Maklumat Hubungan Pemberitahuan”
:
Buat kenalan: isikan nombor telefon bimbit dan alamat e-mel pengendali atau pembangun, dan ikat dengan WebHook atau Feishu/Enterprise WeChat Robot
.
Buat kumpulan kenalan: tarik kenalan yang berkaitan ke dalam kumpulan yang sama (seperti "kumpulan operasi dan penyelenggaraan teras" atau "kumpulan kakitangan bertugas").
Pengalaman: Sangat disarankan untuk mengakses robot kumpulan DingTalk/Feishu. Berbanding dengan e-mel tradisional (mudah digantung) dan mesej teks (mudah dipintas oleh gangguan), robot kumpulan bekerjasama dengan fungsi @ pemilik untuk bertindak balas dengan cepat dalam keadaan kecemasan.
3. Latihan praktikal: konfigurasi peraturan penggera CPU dan lebar jalur langkah demi langkah
Setelah persiapan selesai, kami secara rasmi memasuki proses pembuatan peraturan penggera.
1. Masukkan peraturan penggera untuk membuat pintu masuk: navigasi konsol.
Log masuk ke Konsol Awan Alibaba, masukkan "Pemantauan Awan" di bar carian atas dan masukkan. Di bar menu sebelah kiri, sila buka satu demi satu.
Perkhidmatan panggilan kecemasan
->
Peraturan penggera
, klik pada halaman tersebut
Cipta peraturan penggera
Butang.
2. Pilih sumber dan produk berkaitan: Tentukan sasaran pemantauan.
Jenis Produk: Pilih ECS pelayan awan (jika lebar jalur yang dikongsi atau SLB, anda boleh memilih produk yang sesuai).
Skop sumber: Sebaiknya pilih contoh pada peringkat awal dan periksa pelayan teras yang perlu dipantau. Sekiranya terdapat sebilangan besar pelayan, pengurusan seterusnya dapat dilakukan berdasarkan "pengelompokan aplikasi".
3. Tetapkan peraturan amaran penggunaan CPU: penunjuk pengiraan utama.
Dalam panel "Tambah Peraturan", tambahkan penunjuk pemantauan pertama:
Penunjuk pemantauan: Pemilihan (ECS) Penggunaan CPU (cpu_total).
Konfigurasi ambang dan tahap: Kecemasan: 3 kitaran berturut-turut (lalai 1 minit), kadar penggunaan CPU $ \ ge 90 \ % $. Amaran (Warn): 3 kitaran berturut-turut, penggunaan CPU $ \ ge 80 \ % $.
Pemilihan saluran: Periksa telefon + SMS + Dingding untuk tahap kecemasan; periksa e-mel + Dingding untuk tahap amaran.
4. Tetapkan peraturan penggera lebar jalur rangkaian: petunjuk throughput rangkaian.
Terus klik "Tambah Peraturan" untuk mengkonfigurasi petunjuk berkaitan lebar jalur rangkaian:
Petunjuk pemantauan: Pilih lebar jalur aliran keluar rangkaian awam (ECS) (IntranetOut atau InternetOut, bergantung pada sama ada perniagaan akan melalui rangkaian awam atau intranet).
Kemahiran menetapkan ambang: Penggera lebar jalur tidak dapat menetapkan perkadaran secara membuta tuli, tetapi harus digabungkan dengan konfigurasi sebenar ECS anda. Sebagai contoh, jika had lebar jalur rangkaian awam yang anda beli adalah 10 Mbps, maka garis polis boleh ditetapkan ke: Tahap amaran: kadar aliran keluar $ \ ge 8 \ text{ Mbps}$ (iaitu, $80 \ % $ untuk mencapai had atas). Tahap kecemasan: kadar aliran keluar $ \ ge 9.5 \ text{ Mbps}$ (akan ditutup tidak lama lagi).
5. Masa penghantaran dan tarikh kuat kuasa pemberitahuan konfigurasi: selesaikan pembuatan peraturan.
Kumpulan hubungan penggera: Periksa "kumpulan operasi dan penyelenggaraan teras" yang dibuat sebelumnya.
Tetapan anti-gangguan: Tetapkan masa efektif peraturan (seperti berkuat kuasa 24 jam sehari).
Konfigurasi lanjutan: Tetapkan frekuensi penggera berulang ke "5 minit/masa" atau "15 minit/masa" untuk mengelakkan kesan ribut amaran.
Klik OK setelah mengesahkan bahawa ia betul
Tetapkan selesai dicipta.
4. Logik pengesahan dan penyelesaian masalah selepas amaran dipacakkan
Selepas menetapkan peraturan, bagaimana untuk mengesahkan bahawa aliran amaran ini berkesan dan lancar?
1. Kaedah pengesahan (bagaimana untuk mencetuskan ujian?)
Anda boleh menggunakan alat bawaan sistem Linux untuk menjalankan ujian tekanan simulasi:
Uji tekanan CPU: Jalankan baris perintah stress-cpu 2-timeout 300s dalam persekitaran ujian, dan tarik CPU sepenuhnya secara manual.
Pengukuran tekanan lebar jalur: Gunakan iperf3 atau muat turun fail besar dari dalam pelayan ke rangkaian luaran untuk meningkatkan lebar jalur arah.
Kriteria pengesahan: Perhatikan sama ada kumpulan Dingding atau pesanan teks telefon bimbit dapat menerima pemberitahuan amaran yang dihantar oleh Alibaba Cloud dengan tepat dalam masa 3-5 minit.
Ujian persekitaran pengeluaran untuk mencegah amaran
Sangat dilarang sama sekali untuk menjalankan ujian tekanan terus pada persekitaran pengeluaran! Sila pastikan anda memilih pelayan ujian atau mencipta instans sementara baharu untuk melakukan pengesahan rangkaian amaran.
2. Tiga langkah emas untuk tindakan selepas amaran dicetuskan
Semasa menerima amaran CPU atau lebar jalur, jangan mulakan semula pelayan secara membuta tuli. Sebaiknya ambil jalan penyiasatan langkah demi langkah berikut:
[Notifikasi amaran diterima]
│
Alarm> Penggera CPU ───> Log masuk ke pelaya──> Jalankan 'top' / 'htop' ───> Cari PID yang tinggi ──> Periksa log proses atau bunuh utas yang tidak normal
│
└ ─────── Log masuk ke Konsol ──> Lihat Keluk Pemantauan Lalu Lintas ──> Jalankan 'iftop' / 'nethogs' ──> Kenal pasti sambungan yang tidak normal ──> Konfigurasikan Kumpulan Keselamatan untuk melarang atau memperluas lebar jalur
Lima, Renungan lanjut mengenai operasi dan penyelenggaraan perusahaan: Pengurusan piawai bagi akaun dan sumber.
Dalam proses membina satu set sistem pemantauan dan penggera yang lengkap, selain konfigurasi teknikal itu sendiri, banyak syarikat sering mengabaikan
Keselamatan aset teras infrastruktur dan pematuhan peraturan akaun
.
Dengan pengembangan skala perniagaan, banyak pasukan akan menghadapi keperluan pengurusan berbilang akaun, penyelesaian projek bebas atau pengembangan perniagaan di luar negara. Dalam proses ini, yang terlibat ialah
Pembelian akaun Alibaba Cloud
Oleh itu, pengesahan nama sebenar akaun serta pemisahan keistimewaan menjadi amat penting.
Prinsip meminimumkan kebenaran: Jangan sekali-kali secara langsung memberikan kebenaran global tertinggi kepada jurutera operasi dan penyelenggaraan atau perkhidmatan pemantauan. Adalah disyorkan untuk membuat peranan khusus melalui RAM (kawalan akses), yang hanya memberi kebenaran membaca dan menulis untuk pemantauan awan (CMS) (seperti AliyunCloudMonitorFullAccess).
Pembinaan struktur akaun: Bagi syarikat yang memerlukan pengasingan pelbagai persekitaran (pembangunan, pengujian, pengeluaran), perancangan pembelian dan struktur akaun Alibaba Cloud yang wajar dapat mengasingkan risiko dari sumbernya. Penggera dalam persekitaran pengeluaran disambungkan terus kepada pasukan operasi utama, manakala persekitaran pembangunan
Penggera persekitaran diedarkan kepada personel R & D tertentu, sehingga mereka tidak saling mengganggu dan mempunyai hak dan tanggungjawab yang jelas.
Pengurusan kitaran hidup: Sama ada pembaharuan ECS pelayan awan atau evolusi peraturan pemantauan dan penggera, ia mesti terikat dengan kitaran hidup sumber di bawah akaun. Sekiranya pelayan dilepaskan, peraturan penggera yang sesuai juga harus dibersihkan secara serentak untuk mengelakkan sampah penggera yang tidak sah.
Kesimpulan
Penggera masa nyata bukan untuk meningkatkan beban kerja operasi dan penyelenggaraan, sebaliknya, untuk "mengurangkan beban" jurutera.
Sistem penggera CPU dan lebar jalur Alibaba Cloud dengan reka bentuk yang munasabah dan ambang saintifik adalah seperti memasang "pengawal keselamatan" dengan rondaan tanpa gangguan 24 jam pada pelayan. Apabila semua petunjuk normal, anda boleh tidur dengan tenang; apabila risiko mula muncul, ia akan menghantar maklumat yang paling tepat kepada anda pada kali pertama, membantu anda membunuh kesalahan di buaian.
Sebelum keluar bekerja malam ini, anda mungkin juga meluangkan masa 10 minit untuk log masuk ke konsol Alibaba Cloud untuk memeriksa sama ada peraturan penggera pelayan anda ditetapkan dengan betul?