Nombor nama sebenar Tencent Cloud: Gunakan model besar Tencent Cloud Vector Database (VectorDB) untuk membina pangkalan pengetahuan swasta peringkat perusahaan

Dalam era model besar (LLM) "terbang ke langit" ini, banyak syarikat dan pembangun akan menghadapi sakit kepala yang sangat besar ketika mereka menggunakan aplikasi AI:

Model besar mempunyai ilusi, tidak mengetahui data peribadi di dalam syarikat, atau jawapannya tidak cukup tepat pada masanya

。

Fine-tuning bukan sahaja mahal, tetapi kemas kini data sangat membebankan. Penyelesaian yang paling matang dan menjimatkan kos dalam industri adalah

RAG (Penjanaan Peningkatan Pengambilan, Diperolehi-Augmented Generation)

。 Inti "jantung" seni bina RAG adalah

Pangkalan Data Vektor (Pangkalan Data Vector)

。

Hari ini, kami akan menggunakan Tencent Cloud yang dikembangkan sendiri

TencentDB untuk VectorDB (Pangkalan Data Vektor Awan Tencent)

, Dengan LangChain dan model besar, kami akan membawa anda membina pangkalan pengetahuan swasta peringkat perusahaan yang cekap dan tepat dari awal!

1. Mengapa memilih Tencent Cloud VectorDB?

Sebelum menulis kod, mari kita bincangkan mengapa VectorDB Tencent Cloud dipilih kali ini dan bukannya menggunakan komponen sumber terbuka (seperti Milvus atau Faiss) untuk membuang:

Di luar kotak, tanpa operasi dan penyelenggaraan: Pangkalan data vektor sumber terbuka mudah dibina sendiri, tetapi ketersediaan tinggi, segmentasi, pengembangan, dan pengoptimuman indeks semuanya lubang. Tencent Cloud merangkumi semua kerumitan asas ini.

Prestasi serentak dan tersendiri yang sangat tinggi: Mesin tunggal menyokong hingga juta QPS, dan kawalan kelewatan berada pada tahap milisaat, yang sangat sesuai untuk pengembangan skala perniagaan yang lancar setelah pertumbuhan.

Sokongan asli untuk senario RAG: Model vektor Embedding terbina dalam dan fungsi penapisan skaler secara langsung menghilangkan kos pengkomputeran untuk membina perkhidmatan Embedding sendiri.

Petua pra-persiapan: Sebelum memulakan, anda perlu mengaktifkan perkhidmatan cloud Tencent. Sekiranya anda adalah pasukan korporat atau perlu membeli sumber secara berkumpulan, disarankan untuk melengkapkan pembelian akaun Tencent Cloud dan pengesahan nama sebenar melalui saluran rasmi. Anda bukan sahaja dapat memperoleh panduan akses profesional dari arkitek, tetapi anda juga sering dapat menikmati potongan harga eksklusif yang lebih menjimatkan.

2. Reka bentuk seni bina keseluruhan (aliran kerja RAG)

Untuk asas pengetahuan peribadi yang kami bina, proses teras hanya mempunyai 3 langkah:

Plaintext

[Dokumen asal (.pdf/.md)]

│

▼

[1. Potongan teks (Chunking) & vektor (Embedding)]

│

▼

[2. Deposit di Tencent Cloud VectorDB] ─── (Soalan pengguna) ──── ► [3. Pencarian kesamaan vektor]

│

▼

[4. Pasang Prompt dan serahkan ke model besar] ───► [Jawapan tepat output]

3. Langkah praktikal: membina pangkalan pengetahuan dari 0 hingga 1

Langkah 1: Buat contoh Tencent Cloud VectorDB

Log masuk ke Tencent Cloud Console dan cari halaman TencentDB untuk VectorDB, pangkalan data vektor.

Klik "Contoh Baru" untuk memilih mod penagihan (disarankan untuk memilih penagihan mengikut kuantiti semasa ujian, dan persekitaran pengeluaran memilih langganan tahunan dan bulanan).

Rangkaian Konfigurasi (VPC): Perhatian! Pangkalan data vektor mesti berada dalam VPC (rangkaian peribadi) yang sama dengan pelayan awan anda (CVM) atau pengiraan fungsi untuk mencapai akses cepat melalui intranet.

Setelah penciptaan selesai, rakam IP intranet, port (biasanya 80), nama pengguna (root) dan kunci (Kunci) contoh.

Langkah 2: Persediaan Alam Sekitar dengan Pemasangan SDK

Dalam persekitaran pembangunan Python anda (atau Tencent Cloud CVM), pasang SDK rasmi dan perpustakaan pergantungan yang diperlukan:

Bash

Pip install tcvecordb langchain-community pypdf

Langkah 3: Menulis kod-pemprosesan dokumen dan penyimpanan vektor

Katakan kita mempunyai bahagian dalaman

Company_policy.pdf

(Manual pekerja). Kita perlu membaca, memotong, mengubahnya menjadi vektor, dan menulisnya ke Tencent Cloud VectorDB.

Langkah 4: Merealisasikan Pertanyaan dan Jawapan Model Besar (gelung tertutup RAG)

Setelah dokumen dimasukkan ke dalam pangkalan data, ketika pengguna mengajukan pertanyaan, kami pergi ke VectorDB untuk mengambil perenggan teks yang paling berkaitan, dan akhirnya memberikannya ke model besar (seperti model DeepSeek atau Hybrid):

Def ask_knowledge_base(query_text):#1. Tukar soalan pengguna menjadi vektor (gunakan model Embedding yang sama dengan perpustakaan) # Tencent Cloud VectorDB menyokong Embedding Pipeline, atau anda boleh menggunakan model tempatan untuk menghasilkan

Query_vector = get_embedding(query_text) # Andaikan ini adalah fungsi vektor anda #2. Lakukan carian kesamaan Top-K di VectorDB

Res = coll. carian (

Vectors =[query_vector],

Hidup = 3 # Ambil 3 perenggan teks yang paling serupa

& Nbs

P;)

#3. Ekstrak konteks yang diambil

Context_list = [doc['text _ content'] untuk doc in res[0]

Context = "\ n --- \ n".join(context_list)

#4. Membina Prompt dengan Konteks

Prompt = f "" "Anda adalah pembantu perniagaan profesional. Sila jawab soalan pengguna hanya berdasarkan [Rujukan] yang disediakan di bawah. Sekiranya tidak disebutkan dalam maklumat, jawab "Maaf, kandungan yang relevan tidak dijumpai dalam maklumat dalaman". [Rujukan]: {context} [Soalan pengguna]: {query_text} "" "#5. Panggil model besar untuk menghasilkan jawapan

Response = call_llm(prompt) # Panggil LLM APIreturn anda

# Panggilan ujian

Pekerja = ask_knowledge_base("Berapa hari cuti tahunan berbayar syarikat? ")

Print (answer)

Keempat, panduan mengelakkan lubang dan amalan terbaik

Dalam proses pendaratan yang sebenarnya, terdapat beberapa "pelajaran darah dan air mata" yang patut mendapat perhatian anda:

Ukuran Chunk sangat penting: jika potongan terlalu kecil (seperti 50 aksara), mudah kehilangan maklumat kontekstual; jika potongan terlalu besar (seperti 2000 aksara), terlalu banyak bunyi yang diambil. Cadangan: 300 ~ setiap bahagian 500 perkataan, overlap (tahap pertindihan) ditetapkan pada 10% ~ 15%.

Penapis skalar (Penapis) digunakan dengan baik: Sekiranya pangkalan pengetahuan anda mengandungi data dari pelbagai jabatan (seperti HR, kewangan, teknologi), anda mesti menambahkan bidang skalar kategori semasa membina indeks. Tapis jabatan terlebih dahulu semasa mencari, yang dapat meningkatkan ketepatan dan menjimatkan kuasa pengkomputeran.

Carian Hibrid: Pencarian vektor semata-mata (padanan semantik) kadang-kadang tidak sensitif terhadap perbendaharaan kata proprietari (seperti model produk, nama orang). Tencent Cloud VectorDB menggabungkan mod carian campuran carian teks penuh/penapisan kata kunci, kesannya akan jauh lebih baik.

Ringkasan

Melalui

Model besar Tencent Cloud VectorDB

Kami hanya menggunakan puluhan baris kod untuk mengelakkan persekitaran yang kompleks dan membina pangkalan pengetahuan peribadi korporat yang serentak, latensi rendah dan sangat tepat.

Sekiranya anda merancang untuk menggunakan sistem pangkalan pengetahuan AI anda sendiri dalam pasukan, anda juga boleh mencubanya secara langsung. Pada peringkat awal pembinaan, disarankan untuk merancang kekuatan pengkomputeran dan sumber penyimpanan, dan memilih yang sesuai dan menjimatkan kos

Pembelian akaun Tencent Cloud

Dan saluran jaminan perkhidmatan

, Biarkan projek AI anda dilaksanakan dengan cekap dan stabil!