Pembelian akaun AWS: Amazon Athena secara langsung meminta teknologi hitam seni bina data besar S3 tanpa pelayan!
Hari ini, ketika data diedarkan dan model kecerdasan buatan (LLM) melambung tinggi, syarikat Internet, laman web bebas e-dagang, dan laman web sederhana dan besar menghasilkan log, lintasan tingkah laku pengguna, pesanan, dan pelbagai data aliran klik dengan kelajuan yang membimbangkan setiap hari.
Sebagai arkitek pengkomputeran awan yang telah bertahun-tahun berada dalam bidang seni bina awan, dan juga blogger SEO yang mencari berat badan, crawl Budget dan kadar penukaran setiap hari, saya sering mendengar rakan teknikal mengadu:
"Untuk menganalisis beratus-ratus GB atau bahkan beberapa TB log yang disimpan di Amazon S3, kita mesti membina kluster EMR(Hadoop) yang besar atau membina ClickHouse sendiri. Anda bukan sahaja harus menulis saluran ETL (pengekstrakan, penukaran, pemuatan) yang rumit, tetapi juga membayar kos terbiar pelayan yang tinggi ketika anda tidak menjalankan tugas. Ini hanya bergurau dengan aliran tunai syarikat!"
Menghadapi titik sakit ini, peluru perak utama yang diberikan oleh arkitek pengkomputeran awan adalah:
Amazon Athena
。
Ini adalah tulen
Perkhidmatan pertanyaan tanpa pelayan (Serverless) interaktif
。 Dengan itu, anda tidak perlu menetapkan mana-mana pelayan atau kluster pengkomputeran, anda hanya perlu menggunakan pernyataan SQL standard untuk secara langsung membersihkan dan menanyakan sejumlah besar data tidak berstruktur dan separa berstruktur yang disimpan di Amazon S3 dalam beberapa saat..
Dalam artikel ini, saya akan memilih dari bahagian bawah arkitek, pertempuran sebenar log SEO webmaster dan cara menggabungkan
Pembelian akaun AWS
Strategi kewangan dan dimensi lain akan membongkar teknologi hitam teras data besar tanpa pelayan ini untuk anda.
1. Mengapa Amazon Athena memecahkan belenggu data besar tradisional?
Dalam seni bina gudang data moden tradisional (seperti kelompok fizikal yang dibina sendiri, mod bukan Serverless Redshift tradisional), logik pemprosesan data besar adalah:
"Data mesti bergerak, tetapi kekuatan pengkomputeran tidak bergerak"
。 Anda perlu memindahkan data sejuk pada S3 melalui saluran paip ETL dan mengimportnya ke cakera tempatan mesin pangkalan data untuk memulakan pertanyaan. Terdapat dua kelemahan maut dalam seni bina ini:
Perbelanjaan pengurusan yang besar: bukan sahaja untuk menjaga kestabilan pengendalian data, tetapi juga untuk menguruskan paras air perkakasan nod dengan teliti.
Lubang hitam anggaran: Setelah kluster dihidupkan, walaupun tidak ada penganalisis data yang menjalankan tugas pada waktu malam, syarikat mesti membayar CPU dan memori yang tidak berfungsi.
Amazon Athena sepenuhnya menolak logik ini, ia berjaya
"Query in Place"
:
Senibina Serverless 100%: Anda tidak perlu membuka sebarang contoh EC2 di konsol anda. Sumber pengkomputeran secara automatik dan fleksibel dijadualkan secara dalaman oleh AWS mengikut kerumitan SQL yang anda kirimkan dalam masa nyata, dan musnah sebaik sahaja digunakan.
Pengebilan mengikut jumlah data yang diimbas: harga standard sangat murni, setiap imbasan 1
Data TB hanya berharga $5.00 USD (dibundarkan oleh 10MB di bawah 10MB). Sekiranya anda tidak menjalankan pertanyaan, bil bulanan akan menjadi sifar.
Gandingan sempurna dengan AWS Glue: Melalui AWS Glue Data (Data Catalog) sebagai pusat metadata, Athena dapat memetakan pelbagai fail format longgar seperti JSON, CSV, Parquet, ORC dan bahkan Avro di S3 ke dalam struktur standard dalam sekelip mata. Jadual pangkalan data (Pangkalan Data & Kertas).
2. Pertempuran sebenar yang mendalam: "Tiga peraturan emas untuk mengurangkan kos" untuk menekan prestasi data besar S3 dengan Athena
Walaupun Athena senang, jika anda membiarkan penganalisis data yang tidak profesional melaksanakannya
SELECT * FROM large_table
, Ini sama dengan kehilangan darah dalam akaun kewangan syarikat. Sekiranya anda ingin menurunkan kos pengimbasan, arkitek mempunyai tiga "teknologi hitam teras" yang tidak pernah disebarkan oleh industri:
1. Memeluk penyimpanan lajur (Kolumnar Formats)
Jangan gunakan Athena secara langsung untuk membuat pertanyaan yang asal
CSV
Atau
JSON
Fail. CSV adalah penyimpanan baris. Sekiranya anda ingin mencari bidang tertentu, Athena mesti mengimbas setiap baris dan setiap lajur keseluruhan jadual untuk menghasilkan bil imbasan yang besar.
Strategi pengoptimuman: Menukar data mentah ke dalam format Apache Parquet atau ORC pada S3 melalui AWS Glue Job. Parquet tidak hanya dilengkapi dengan pemampatan tinggi (GZIP/Snappy, yang dapat memampatkan 60% ~ 90% isipadu fizikal), dan ia adalah penyimpanan lajur. Apabila SQL anda hanya memilih dua lajur untuk GROUP BY, Athena hanya akan mengimbas blok data kedua lajur ini secara fizikal, dan kos dan masa biasanya dapat dikurangkan lebih dari 80% dalam sekelip mata.
2. Memperkenalkan bahagian gaya Hive (Bahagian)
Untuk data siri masa (seperti log akses laman web harian), struktur partisi direktori standard mesti dibuat, seperti:
S3: // my-bucket/logo/tahun = 2026/month = 06/day = 23/
Strategi pengoptimuman: gunakan teknologi Unjuran Bahagian. Dengan cara ini, apabila anda menambahkan had tahun WHERE = '2026' AND month = '06' semasa menjalankan SQL, Athena dengan bijak akan melangkau direktori tahun dan bulan lain secara langsung dan hanya mengimbas fail Parquet di bawah folder tertentu ini. Jumlah imbasan menurun secara langsung dari puluhan TB hingga beberapa GB, benar-benar menyedari "tindak balas tahap kedua".
3. Serangan penurunan dimensi berdasarkan jadual: Apache Iceberg dan S3 Anno
Tatations
Pada tahun 2026 semasa, gunakan Athena untuk bekerjasama
Apache Iceberg
Format jadual sumber terbuka telah menjadi penanda aras peringkat perusahaan. Ia menyokong kemas kini peringkat baris, transaksi ACID dan retrospektif sejarah.
Berita terkini: Ciri baru Amazon S3 Annotations yang baru dilancarkan oleh AWS secara langsung dapat menambahkan metadata tersuai dengan had tinggi pada objek S3. Dengan menggunakan ciri ini dan Jadual Aplikasi, Athena dapat menyelesaikan pengambilan metadata rentas domain yang tepat dari objek baldi penyimpanan penuh pada kelajuan tinggi sepuluh ribu kali tanpa menyelesaikan sepenuhnya tekanan dan tidak membaca kandungan tertentu objek.
3. Dari teknologi hingga kewangan: petua penjimatan wang mengenai "pembelian akaun AWS" dan FinOps
Apabila anda memutuskan untuk memindahkan audit log syarikat, laporan BI dan sistem potret pengguna sepenuhnya ke seni bina Data Lake moden Athena S3, kerana fleksibiliti yang besar, pematuhan kewangan dan pengasingan sumber telah menjadi keutamaan. Arkitek pintar dan pemilik perniagaan akan mengatur aliran kewangan yang mendasari pada peringkat awal projek:
1. Menyeragamkan pembelian akaun AWS dan pengesahan nama sebenar
Tadbir urus data yang besar mesti memastikan kesucian dan kepatuhan akaun awan yang mendasari. Sebelum penyebaran, pastikan untuk melengkapkan akaun utama atau organisasi berbilang akaun syarikat (AWS Organizations) melalui saluran pematuhan rasmi
Pembelian akaun AWS
Dan pensijilan.
Elakkan lubang dengan selamat: Jangan sekali-kali membuang akaun nama sebenar atau akaun retak terpakai yang tidak diketahui. Aset data besar dan data tasik adalah rahsia utama syarikat. Sekiranya anda secara tidak sengaja menemui kawalan risiko akaun tiga pihak atau larangan kutipan hutang, arkib HDFS atau log tingkah laku pengguna teras S3 yang terkumpul selama bertahun-tahun akan dibakar.
2. Gunakan Workgroups (kumpulan kerja) untuk melaksanakan had kos yang sukar
Apabila anda selesai biasa
Pembelian akaun AWS
Dan setelah log masuk ke konsol, ingat bahawa perkara pertama adalah menggunakan Athena
Workgroups (Kumpulan kerja)
Fungsi.
Anda boleh membahagikan kumpulan kerja yang berbeza untuk jabatan SEO, jabatan analisis data dan jabatan pembangunan.
Konfigurasikan strategi yang sukar dalam kumpulan kerja: hadkan jumlah maksimum data yang diimbas untuk satu pertanyaan (misalnya, tidak melebihi 50GB), atau tetapkan ambang perbelanjaan harian dan bulanan. Setelah pengaturcara junior menulis pertanyaan gelung tanpa henti yang ganas tanpa penapisan titik tambahan, kumpulan kerja akan memotongnya dengan tegas ketika mencapai ambang, dan sepenuhnya mencegah syarikat daripada menghadapi kejutan bil "bil awan mahal".).
4. Kata-kata peribadi webmaster yang mahir dalam SEO: Gunakan Athena untuk membuka kunci "kata laluan merangkak labah-labah" anda secara berkumpulan
Sebagai blogger yang mahir dalam SEO, alasan mengapa saya sangat mengagumi seni bina Athena S3 adalah kerana ia dapat membantu kita menyelesaikan masalah kesakitan jangka panjang yang besar:
Log perayap enjin carian besar-besaran (A
Ccess Logs) diagnosis tahap kedua
。
[Architecture of processing Nginx access logs melalui S3, Glue and Amazon Athena]
Sekiranya matriks laman web anda sangat besar, termasuk beratus-ratus stesen bebas menegak dan stesen e-dagang luar negara, skala log akses Nginx/Apache yang anda hasilkan setiap hari sangat menakutkan.
Arkib sejuk tahan lama tanpa kos: Anda boleh membuang semua log Nginx dari dua atau tiga tahun yang lalu ke dalam tong Amazon S3 Standard atau S3 Express One Zone dengan kos yang sangat murah.
Analisis jalan perayap bebas penyelenggaraan: Apabila anda ingin mengetahui mengapa kemasukan Google ke dalam kategori anda telah menurun dengan mendadak baru-baru ini, anda tidak perlu menjalankan grep yang memakan masa dan tersekat di pelayan pengeluaran. Log masuk terus ke akaun AWS anda untuk membeli konsol Athena dan tulis SQL pendek: SQLSELECT request_uri, COUNT(*) as crawl_count BROM "IMRO_lucog_db".
Dalam masa kurang dari 2 saat, Athena dapat mengetahui dengan tepat 404 halaman yang tidak sah dan 500 pautan tidak normal yang memakan anggaran crawl Google dalam berbilion log asal. Gunakan data ini untuk mengoptimumkan 'robots.txt 'dan pautan dalaman laman web, yang dapat menjadikan kedudukan berat dan kata kunci teras laman web anda melambung tinggi.
---
##5. Ringkasan dan senarai ketua arkitek
Daya tarikan utama Amazon Athena dapat diringkaskan dalam empat kata: ** Pengurangan dimensi **. Ini menghilangkan kerja keras operasi dan penyelenggaraan pelayan, yang membolehkan syarikat menumpukan seluruh tenaga mereka untuk menulis SQL dan menemui nilai data itu sendiri.
Akhirnya, senarai pengesahan akhir untuk semua teknologi yang bersedia untuk memeluk tasik data:
* ** Pengesahan format data **: Tinggalkan sepenuhnya pemeriksaan langsung CSV/JSON, gunakan AWS Glue untuk menukar secara automatik atau manual ke gabungan ** Pemampatan Parquet Snappy/Gzip **.
* ** Pengesahan kebenaran pertanyaan **: Setelah log masuk ke saluran standard untuk menyelesaikan pengesahan nama sebenar ** pembelian akaun AWS **, prinsip hak istimewa minimum IAM mesti dibuat untuk mengelakkan pekerja menggunakan akaun Root untuk operasi berisiko tinggi.
*
** Pengesahan kewangan **: Persekitaran pengeluaran sama sekali tidak menggunakan kumpulan kerja lalai, dan kumpulan kerja baru mesti dibina dan dikonfigurasi ** had imbasan tunggal/harian **.
Biarkan kuasa pengkomputeran digunakan, dan biarkan data melepaskan nilainya dengan tenang di S3. Dengan seni bina Serverless yang pragmatik, di laut merah data besar ini, potong keuntungan dan kadar pertumbuhan syarikat yang paling berharga!