اسم Tencent Cloud الحقيقي: استخدم نموذج قاعدة بيانات Tencent Cloud المتجه (VectorDB) لبناء قاعدة معرفة خاصة على مستوى المؤسسة بدون خطوة على الحفرة
في عصر "الطيران في جميع أنحاء السماء" للنموذج الكبير (LLM) ، ستواجه العديد من الشركات والمطورين صداع شديد عند الهبوط على تطبيقات الذكاء الاصطناعي:
النماذج الكبيرة لها هلوسة ، أو لا تعرف البيانات الخاصة داخل المؤسسة ، أو الإجابات ليست فعالة في الوقت المناسب
.
الضبط المباشر (Fine-tuning) ليس مكلفًا فحسب ، بل إن تحديثات البيانات مرهقة للغاية. الحل الأكثر نضجًا وفعالية من حيث التكلفة في الصناعة هو
RAG (استرجاع توليد محسّن ، Retrievers-Augmented Generation)
. و "القلب" الأساسي لبنية RAG هو
قاعدة بيانات المتجهات (قاعدة بيانات Vector)
.
اليوم ، سنستخدم Tencent Cloud للبحث الذاتي
TencentDB for VectorDB (قاعدة بيانات Tencent Cloud ناقلات)
، مع LangChain والنماذج الكبيرة ، يأخذك لبناء قاعدة معرفة خاصة فعالة ودقيقة على مستوى المؤسسة من الصفر!
1. لماذا تختار Tencent Cloud VectorDB ؟
قبل كتابة الكود ، تحدث عن سبب اختيار VectorDB الخاص بـ Tencent Cloud هذه المرة ، بدلاً من استخدام المكونات مفتوحة المصدر (مثل Milvus أو Fais) للقذف:
يتم استخدامه من خارج الصندوق ، بدون تشغيل وصقل: من السهل إنشاء قاعدة بيانات متجه مفتوحة المصدر من تلقاء نفسها ، ولكن يمكن الوصول إليها بشكل كبير ، وتفصلها ، وتوسيع نطاقها ، وتحسين الفهرس كلها حفر. قامت Tencent Cloud بتغليف كل هذه التعقيدات السفلية.
التزامن الفائق والأداء الفردي: يدعم الجهاز الفردي ما يصل إلى مليون مستوى QPS ، ويتم التحكم في التأخير على مستوى مللي ثانية ، وهو مناسب جدًا للتوسع السلس بعد نمو حجم الأعمال.
دعم محلي لمشهد RAG: تم دمج نموذج اتجاه Embedding ووظيفة الترشيح القياسي ، مما يلغي التكلفة الحسابية لبناء خدمة Embedding.
نصيحة التحضير المسبق: قبل البدء ، تحتاج إلى فتح خدمة Tencent السحابية. إذا كنت فريقًا من الشركات أو تحتاج إلى شراء كميات كبيرة من الموارد ، فمن المستحسن إكمال شراء حساب Tencent Cloud ومصادقة الاسم الحقيقي من خلال القنوات الرسمية. لا يمكنك فقط الحصول على إرشادات الوصول المهنية للمهندسين المعماريين ، ولكن يمكنك أيضًا الاستمتاع بخصومات حصرية أكثر فعالية من حيث التكلفة.
2. التصميم المعماري العام (سير عمل RAG)
قاعدة المعرفة الخاصة التي بنناها ، العملية الأساسية هي 3 خطوات فقط:
Plaintext
[الوثيقة الأصلية (.pdf/.md)]
│
▼
[1. قطع النص (Chunking) & الاتجاه (Embedding)]
│
▼
[2. قم بإيداعها في Tencent Cloud VectorDB] ── (أسئلة المستخدم) ── [3. استرجاع تشابه المتجه]
│
▼
[4. تجميع Prompt لتقديمه إلى نموذج كبير] ── ► [إخراج إجابة دقيقة]
3. خطوات القتال الفعلية: بناء قاعدة المعرفة من 0 إلى 1
الخطوة 1: إنشاء مثيلات Tencent Cloud VectorDB
قم بتسجيل الدخول إلى Tencent Cloud Console وابحث عن قاعدة بيانات المتجه TencentDB لـ VectorDB.
انقر فوق "مثال جديد" وحدد وضع الفوترة (يوصى باختيار الفوترة حسب الكمية أثناء الاختبار ، وبيئة الإنتاج تختار الاشتراك السنوي الشهري).
تكوين الشبكة (VPC): احترس! يجب أن تكون قاعدة بيانات المتجهات في نفس VPC (الشبكة الخاصة) مثل الخادم السحابي (CVM) أو حساب الوظيفة من أجل تحقيق الوصول السريع عبر الشبكة الداخلية.
بعد الإنشاء ، قم بتسجيل عنوان IP الخاص بالشبكة الداخلية والمنفذ (عادةً 80) واسم المستخدم (الجذر) والمفتاح (المفتاح) للممثل.
الخطوة 2: إعداد البيئة مع تثبيت SDK
في بيئة تطوير Python (أو Tencent Cloud CVM) ، قم بتثبيت SDK الرسمي والمكتبات التبعية اللازمة:
باش
Pip install tcvectordb langchain langchain-community pypdf
الخطوة 3: كتابة التعليمات البرمجية-معالجة المستندات ومكتبة المتجهات
لنفترض أن لدينا نسخة من داخل المؤسسة
Company_policy.pdf
(دليل الموظف). نحتاج إلى قراءته وتقطيعه وتحويله إلى متجه وكتابته في Tencent Cloud VectorDB.
الخطوة 4: تحقيق الاسترجاع مع نموذج كبير سؤال وجواب (حلقة مغلقة RAG)
بعد وضع المستند في المكتبة ، عندما يطرح المستخدم سؤلاً ، نذهب إلى VectorDB لاسترداد الفقرة النصية ذات أعلى اتصال ، وأخيراً نطعمها إلى النموذج الكبير (مثل DeepSeek أو النموذج المختلط):
Def ask_knowledge_base(query_text):#1. تحويل أسئلة المستخدم إلى متجه (باستخدام نفس نموذج Embedding مثل المكتبة) # Tencent Cloud VectorDB يدعم Embedding Pipeline ، أو يمكن إنشاء النموذج المحلي
Query_vector = get_embedding(query_text) # افترض أن هذه هي دالة التوجيه الخاصة بك #2. التشابه في VectorDB Top-K الاسترجاع
Res = coll.search (
Vectors =[query_vector] ،
Limit = 3 # خذ النص الأكثر تشابهًا في 3 فقرات
& Nbs
(ع) ؛
#3. استخراج السياق الذي تم استرجاعه
Context_list = [doc['text _ content'] for doc in res[0]]
Context = "\ n --- \ n".join(context_list)
#4. بناء Prompt مع السياق
Prompt = f "" "أنت مساعد الأعمال المهنية. يرجى الإجابة على أسئلة المستخدمين فقط بناءً على [المراجع] المقدمة أدناه. إذا لم يتم ذكرها في المعلومات ، فالرجاء الإجابة "آسف ، لم يتم العثور على أي شيء ذي صلة في المعلومات الداخلية". [مرجع]: {context} [سؤال المستخدم]: {query_text} "" "#5. استدعاء نموذج كبير لإنشاء إجابة
Response = call_llm(prompt) # اتصل بك LLM APIreturn response
# اختبار استدعاء
Answer = ask_knowledge_base("كم عدد أيام الإجازة السنوية المدفوعة للشركة ؟ ")
Print (answer)
4. دليل تجنب الحفر وأفضل الممارسات
في عملية الهبوط الفعلية ، هناك العديد من "دروس الدم والدموع" التي تستحق اهتمامك:
حجم القطع مهم جدًا: القطع صغير جدًا (مثل 50 كلمة) ، ومن السهل فقدان معلومات السياق ؛ القطع كبير جدًا (مثل 2000 كلمة) ، وهناك الكثير من الضوضاء التي يتم استردادها. التوصية: 300 لكل يوان 500 كلمة ، يتم تعيين overlap (درجة التداخل) عند 10 ٪ ~ 15%.
استخدام التصفية العددية (Filter): إذا كانت قاعدة معارفك تحتوي على بيانات من أقسام متعددة (مثل الموارد البشرية ، والتمويل ، والتكنولوجيا) ، فيجب عليك إضافة الحقول القياسية للفهرسة. عند البحث ، قم بتصفية القسم أولاً ، مما يمكن أن يحسن الدقة بشكل كبير ويوفر قوة الحساب.
البحث الهجين: الاعتماد فقط على استرجاع المتجهات (المطابقة الدلالية) في بعض الأحيان غير حساس للمفردات الخاصة (مثل نماذج المنتج والأسماء). وضع الاسترجاع المختلط لـ Tencent Cloud VectorDB جنبًا إلى جنب مع البحث عن النص الكامل/تصفية الكلمات الرئيسية ، سيكون التأثير أفضل بكثير.
الخلاصة
من خلال
Tencent Cloud VectorDB + نموذج كبير
مجموعة ، استخدمنا فقط عشرات الأسطر من التعليمات البرمجية لتجنب بناء البيئة الأساسية المعقدة وبناء قاعدة معارف خاصة للشركات مع التزامن العالي والتأخير المنخفض والدقة للغاية.
إذا كنت تستعد لنشر نظام قاعدة معارف الذكاء الاصطناعي الخاص بك داخل فريقك ، فقد ترغب في تجربته مباشرة. في المرحلة المبكرة من البناء ، يوصى بتخطيط موارد الحساب والتخزين ، واختيار الامتثال والفعالية من حيث التكلفة
شراء حساب تينسنت كلاود
وقنوات ضمان الخدمة
دع مشروع الذكاء الاصطناعي يهبط بكفاءة وثبات!
