تريد شركة Guardrails AI الاستعانة بمصادر خارجية لإصلاح مشكلات نموذج GenAI

لا يتطلب الأمر الكثير لجعل GenAI ينشر الأكاذيب والأكاذيب.

قدم الأسبوع الماضي مثالاً على ذلك، حيث أعلنت روبوتات الدردشة التابعة لـ Microsoft وGoogle عن الفائز بلقب Super Bowl قبل بدء اللعبة. ومع ذلك، تبدأ المشاكل الحقيقية عندما تصبح هلوسة GenAI ضارة، فتؤيد التعذيب، وتعزز الصور النمطية العرقية والعنصرية، وتكتب بشكل مقنع عن نظريات المؤامرة.

يقدم عدد متزايد من البائعين، بدءًا من الشركات القائمة مثل Nvidia وSalesforce إلى الشركات الناشئة مثل CalypsoAI، منتجات يزعمون أنها يمكن أن تخفف المحتوى السام غير المرغوب فيه من GenAI. لكنها صناديق سوداء. وبدون اختبار كل منها على حدة، فمن المستحيل معرفة كيفية المقارنة بين منتجات مكافحة الهلوسة هذه، وما إذا كانت تفي بالفعل بهذه المطالبات.

رأت شريا راجبال أن هذه مشكلة كبيرة، وأسست شركة اسمها Guardrails AI لمحاولة حلها.

قال راجبال لـ TechCrunch في مقابلة عبر البريد الإلكتروني: “معظم المؤسسات… تعاني من نفس مجموعة المشاكل المتعلقة بالنشر المسؤول لتطبيقات الذكاء الاصطناعي وتكافح من أجل معرفة الحل الأفضل والأكثر كفاءة”. “غالبًا ما ينتهي بهم الأمر إلى إعادة اختراع العجلة فيما يتعلق بإدارة مجموعة المخاطر التي تهمهم.”

من وجهة نظر راجبال، تشير الدراسات الاستقصائية إلى أن التعقيد – وبالتالي المخاطر – يمثل عائقًا كبيرًا يقف في طريق المنظمات التي تتبنى GenAI.

أظهر استطلاع حديث أجرته شركة Cnvrg.io التابعة لشركة Intel أن الامتثال والخصوصية والموثوقية والتكلفة العالية للتنفيذ ونقص المهارات التقنية كانت مخاوف مشتركة بين حوالي ربع الشركات التي تطبق تطبيقات GenAI. وفي استطلاع منفصل أجرته شركة Riskonnect، وهي شركة تقدم برامج إدارة المخاطر، قال أكثر من نصف المديرين التنفيذيين إنهم قلقون بشأن اتخاذ الموظفين قرارات بناءً على معلومات غير دقيقة من أدوات GenAI.

راجبال، الذي عمل سابقًا في شركة Drive.ai الناشئة للقيادة الذاتية، وبعد استحواذ Apple على Drive.ai، عمل في مجموعة المشاريع الخاصة التابعة لشركة Apple، وشارك في تأسيس Guardrails مع دييغو أوبنهايمر، وسفير محي الدين، وزيد سيمجي. كان أوبنهايمر يقود سابقًا Algorithmia، وهي منصة لعمليات التعلم الآلي، بينما كان محيي الدين وسيمجي يشغلان مناصب قيادية في مجال التكنولوجيا والهندسة في AWS.

في بعض النواحي، لا يختلف ما تقدمه Guardrails كثيرًا عما هو موجود بالفعل في السوق. تعمل منصة الشركة الناشئة بمثابة غلاف حول نماذج GenAI، وتحديدًا نماذج إنشاء النصوص مفتوحة المصدر والملكية (مثل OpenAI’s GPT-4)، لجعل هذه النماذج أكثر جدارة بالثقة وموثوقية وأمانًا ظاهريًا.

ولكن ما يختلف عنه Guardrails هو نموذج الأعمال مفتوح المصدر – قاعدة التعليمات البرمجية الخاصة بالمنصة متاحة على GitHub، للاستخدام المجاني – ونهج التعهيد الجماعي.

من خلال سوق يسمى Guardrails Hub، يتيح Guardrails للمطورين إرسال مكونات معيارية تسمى “المدققين” التي تستكشف نماذج GenAI لمقاييس سلوكية وامتثال وأداء معينة. يمكن نشر أدوات التحقق وإعادة توظيفها وإعادة استخدامها من قبل عملاء التطوير وعملاء Guardrails الآخرين، لتكون بمثابة اللبنات الأساسية لحلول إدارة نماذج GenAI المخصصة.

“من خلال المركز، هدفنا هو إنشاء منتدى مفتوح لمشاركة المعرفة وإيجاد الطريقة الأكثر فعالية للقيام بذلك [further] قال راجبال: “اعتماد الذكاء الاصطناعي – ولكن أيضًا لبناء مجموعة من حواجز الحماية القابلة لإعادة الاستخدام والتي يمكن لأي منظمة أن تعتمدها”.

تتراوح أدوات التحقق من الصحة في Guardrails Hub من عمليات التحقق البسيطة المستندة إلى القواعد إلى الخوارزميات لاكتشاف المشكلات في النماذج والتخفيف منها. يوجد حوالي 50 برنامجًا في الوقت الحالي، بدءًا من كاشف الهلوسة وانتهاكات السياسة إلى مرشحات المعلومات الخاصة والرموز غير الآمنة.

قال راجبال: “ستقوم معظم الشركات بإجراء عمليات فحص واسعة النطاق ومقاس واحد يناسب الجميع بحثًا عن الألفاظ النابية ومعلومات التعريف الشخصية وما إلى ذلك”. “ومع ذلك، لا يوجد تعريف عالمي واحد لما يشكل استخدامًا مقبولاً لمنظمة وفريق معين. هناك مخاطر خاصة بالمؤسسة تحتاج إلى التتبع – على سبيل المثال، تختلف سياسات الاتصالات عبر المؤسسات. ومن خلال Hub، نقوم بتمكين الأشخاص من استخدام الحلول التي نقدمها خارج الصندوق، أو استخدامها للحصول على حل نقطة انطلاق قوي يمكنهم تخصيصه بشكل أكبر ليناسب احتياجاتهم الخاصة.

يعد إنشاء مركز لحواجز الحماية النموذجية فكرة مثيرة للاهتمام. لكن المتشكك بداخلي يتساءل عما إذا كان المطورون سيهتمون بالمساهمة في منصة – ومنصة ناشئة – دون الوعد بأي شكل من أشكال التعويض.

يرى راجبال متفائلًا أنهم سيفعلون ذلك، إن لم يكن هناك سبب آخر سوى التقدير – ومساعدة الصناعة بإيثار على التحول نحو GenAI “الأكثر أمانًا”.

وأضافت: “يسمح المركز للمطورين بمعرفة أنواع المخاطر التي تواجهها المؤسسات الأخرى والحواجز التي يضعونها لحل هذه المخاطر والتخفيف من حدتها”. “إن أدوات التحقق من الصحة عبارة عن تطبيق مفتوح المصدر لحواجز الحماية التي يمكن للمؤسسات تطبيقها على حالات الاستخدام الخاصة بها.”

قامت شركة Guardrails AI، التي لم تفرض بعد أي رسوم مقابل أي خدمات أو برامج، مؤخرًا بجمع 7.5 مليون دولار في جولة أولية بقيادة Zetta Venture Partners بمشاركة Factory وPear VC وBloomberg Beta وGithub Fund وزوايا بما في ذلك خبير الذكاء الاصطناعي الشهير إيان جودفيلو. يقول راجبال إن العائدات سيتم تخصيصها لتوسيع فريق Guardrails المكون من ستة أشخاص ومشاريع إضافية مفتوحة المصدر.

وتابعت: “نحن نتحدث إلى الكثير من الأشخاص – المؤسسات والشركات الصغيرة الناشئة والمطورين الأفراد – الذين عالقون في القدرة على شحن تطبيقات GenAI بسبب الافتقار إلى الضمان وتخفيف المخاطر اللازمة”. “هذه مشكلة جديدة لم تكن موجودة على هذا النطاق، بسبب ظهور ChatGPT ونماذج الأساس في كل مكان. نريد أن نكون من يحل هذه المشكلة.”