لماذا لن يحل RAG مشكلة هلوسة الذكاء الاصطناعي التوليدي؟

الهلوسة – الأكاذيب التي ترويها نماذج الذكاء الاصطناعي التوليدية – تمثل مشكلة كبيرة للشركات التي تتطلع إلى دمج التكنولوجيا في عملياتها.

نظرًا لأن النماذج ليس لديها ذكاء حقيقي وتقوم ببساطة بالتنبؤ بالكلمات والصور والكلام والموسيقى وغيرها من البيانات وفقًا لمخطط خاص، فإنها تخطئ في بعض الأحيان. خاطئ جدا. في مقال حديث في صحيفة وول ستريت جورنال، يروي أحد المصادر مثالًا حيث اخترع الذكاء الاصطناعي التوليدي من Microsoft الحاضرين في الاجتماع وأشار ضمنيًا إلى أن المكالمات الجماعية كانت حول موضوعات لم تتم مناقشتها فعليًا أثناء المكالمة.

كما كتبت منذ فترة، قد تكون الهلوسة مشكلة غير قابلة للحل مع بنيات النماذج القائمة على المحولات اليوم. لكن عددًا من بائعي الذكاء الاصطناعي الإبداعي يقترحون ذلك يستطيع يمكن التخلص منها، بشكل أو بآخر، من خلال نهج تقني يسمى توليد الاسترجاع المعزز، أو RAG.

إليك كيفية عرض أحد البائعين، وهو Squirro، للفكرة:

في جوهر العرض يوجد مفهوم الاسترجاع المعزز LLMs أو الاسترجاع المعزز الجيل (RAG) المضمن في الحل … [our generative AI] فريد من نوعه في وعده بعدم وجود هلوسة. ويمكن تتبع كل جزء من المعلومات التي تنتجها إلى مصدر ما، مما يضمن المصداقية.

إليك عرضًا مشابهًا من SiftHub:

باستخدام تقنية RAG ونماذج اللغات الكبيرة المضبوطة بدقة مع التدريب المعرفي الخاص بالصناعة، يتيح SiftHub للشركات إنشاء استجابات مخصصة بدون أي هلوسة. وهذا يضمن زيادة الشفافية وتقليل المخاطر ويلهم الثقة المطلقة في استخدام الذكاء الاصطناعي لتلبية جميع احتياجاتهم.

كان RAG رائدًا من قبل عالم البيانات باتريك لويس، الباحث في Meta and University College London، والمؤلف الرئيسي لورقة 2020 التي صاغت هذا المصطلح. عند تطبيقه على نموذج، يقوم RAG باسترداد المستندات التي قد تكون ذات صلة بسؤال ما – على سبيل المثال، صفحة ويكيبيديا حول Super Bowl – باستخدام ما هو في الأساس بحث عن الكلمات الرئيسية ثم يطلب من النموذج إنشاء إجابات في ضوء هذا السياق الإضافي.

“عندما تتفاعل مع نموذج ذكاء اصطناعي توليدي مثل ChatGPT أو Llama وتطرح سؤالاً، فإن الوضع الافتراضي هو أن يجيب النموذج من “الذاكرة البارامترية” الخاصة به – أي من المعرفة المخزنة في معلماته نتيجة لـ وأوضح ديفيد وادن، عالم الأبحاث في AI2، قسم الأبحاث الذي يركز على الذكاء الاصطناعي في معهد ألين غير الربحي، أن “التدريب على البيانات الضخمة من الويب”. “ولكن، مثلما من المحتمل أن تعطي إجابات أكثر دقة إذا كان لديك مرجع [like a book or a file] أمامك، الأمر نفسه ينطبق على بعض العارضات”.

إن RAG مفيد بلا شك – فهو يسمح للمرء بإسناد الأشياء التي ينشئها النموذج إلى المستندات المستردة للتحقق من صحتها (وكميزة إضافية، تجنب القلس المحتمل الذي ينتهك حقوق الطبع والنشر). تسمح RAG أيضًا للمؤسسات التي لا تريد استخدام وثائقها لتدريب نموذج – على سبيل المثال، الشركات في الصناعات شديدة التنظيم مثل الرعاية الصحية والقانون – بالسماح للنماذج بالاعتماد على تلك المستندات بطريقة أكثر أمانًا ومؤقتة.

لكن RAG بالتأكيد لا أستطيع وقف نموذج من الهلوسة. ولها قيود يتغاضى عنها العديد من البائعين.

يقول وادن إن RAG أكثر فعالية في السيناريوهات “المكثفة المعرفة” حيث يريد المستخدم استخدام نموذج لتلبية “حاجة إلى المعلومات” – على سبيل المثال، لمعرفة من فاز بلقب Super Bowl العام الماضي. في هذه السيناريوهات، من المحتمل أن يحتوي المستند الذي يجيب على السؤال على العديد من الكلمات الرئيسية نفسها التي يحتوي عليها السؤال (على سبيل المثال، “Super Bowl”، “العام الماضي”)، مما يسهل نسبيًا العثور عليه عبر البحث عن الكلمات الرئيسية.

تصبح الأمور أكثر تعقيدًا مع المهام “التي تتطلب تفكيرًا مكثفًا” مثل البرمجة والرياضيات، حيث يصعب تحديد المفاهيم المطلوبة للإجابة على الطلب في استعلام بحث قائم على الكلمات الرئيسية – ناهيك عن تحديد المستندات التي قد تكون ذات صلة.

حتى مع الأسئلة الأساسية، يمكن أن “تشتت انتباه” النماذج بسبب محتوى غير ذي صلة في المستندات، خاصة في المستندات الطويلة حيث تكون الإجابة غير واضحة. أو يمكنهم ببساطة – لأسباب غير معروفة حتى الآن – تجاهل محتويات المستندات المستردة، واختيار بدلا من ذلك الاعتماد على ذاكرتهم البارامترية.

يعد RAG أيضًا مكلفًا من حيث الأجهزة اللازمة لتطبيقه على نطاق واسع.

وذلك لأن المستندات المستردة، سواء من الويب أو قاعدة بيانات داخلية أو من مكان آخر، يجب تخزينها في الذاكرة – على الأقل مؤقتًا – حتى يتمكن النموذج من الرجوع إليها مرة أخرى. يتم حساب الإنفاق الآخر للسياق المتزايد الذي يجب على النموذج معالجته قبل إنشاء استجابته. بالنسبة لتكنولوجيا سيئة السمعة بالفعل بسبب كمية الحوسبة والكهرباء التي تتطلبها حتى للعمليات الأساسية، فإن هذا يعد بمثابة اعتبار جدي.

هذا لا يعني أنه لا يمكن تحسين RAG. وأشار Wadden إلى العديد من الجهود المستمرة لتدريب النماذج على الاستفادة بشكل أفضل من المستندات المستردة من RAG.

تتضمن بعض هذه الجهود نماذج يمكنها “أن تقرر” متى يجب استخدام المستندات، أو نماذج يمكنها اختيار عدم إجراء الاسترجاع في المقام الأول إذا رأت أن ذلك غير ضروري. ويركز آخرون على طرق فهرسة مجموعات البيانات الضخمة من المستندات بشكل أكثر كفاءة، وعلى تحسين البحث من خلال تمثيلات أفضل للمستندات – تمثيلات تتجاوز الكلمات الرئيسية.

قال وادن: “نحن جيدون جدًا في استرجاع المستندات بناءً على الكلمات الرئيسية، ولكننا لسنا جيدين جدًا في استرجاع المستندات بناءً على مفاهيم أكثر تجريدًا، مثل تقنية الإثبات اللازمة لحل مشكلة رياضية”. “هناك حاجة إلى البحث لبناء تمثيلات للمستندات وتقنيات بحث يمكنها تحديد المستندات ذات الصلة لمهام إنشاء أكثر تجريدًا. أعتقد أن هذا سؤال مفتوح في الغالب في هذه المرحلة.

لذا فإن RAG يمكن أن يساعد في تقليل هلوسة النموذج – لكنه ليس الحل لجميع مشاكل الهلوسة التي يواجهها الذكاء الاصطناعي. احذر من أي بائع يحاول الادعاء بخلاف ذلك.