क्या बड़े भाषा मॉडल सुरक्षा के लिए स्व-मूल्यांकन कर सकते हैं? रेन से मिलें: फाइनट्यूनिंग के बिना एआई संरेखण और रक्षा को बदलने वाली एक नवीन अनुमान विधि

जीपीटी-3 जैसे पूर्व-प्रशिक्षित बड़े भाषा मॉडल (एलएलएम) ने इंसानों के सवालों को समझने और उनका जवाब देने, कोडिंग कार्यों में मदद करने आदि के लिए असाधारण योग्यता साबित की है। हालाँकि, वे अक्सर ऐसे परिणाम उत्पन्न करते हैं जो लोगों की पसंद से भिन्न होते हैं। अतीत में, शोधकर्ताओं ने मानवीय प्राथमिकताओं के बारे में जानकारी इकट्ठा करके और फिर सुदृढीकरण सीखने या अनुदेश ट्यूनिंग के उपयोग के माध्यम से पहले से प्रशिक्षित मॉडलों को संरेखित करके इस समस्या को हल करने का प्रयास किया है, जिसमें एक फाइन-ट्यूनिंग चरण शामिल है। जमे हुए एलएलएम को संरेखित करना अधिक आकर्षक है, जिन्हें अतिरिक्त डेटा की आवश्यकता के बिना, अभी भी अतिरिक्त प्रशिक्षण से गुजरना है। 

हाल ही में, शोधकर्ताओं की एक टीम ने पता लगाया है कि असंरेखित एलएलएम सीधे तौर पर आत्म-मूल्यांकन और रिवाइंड तंत्र को शामिल करके आत्म-सुधार प्रक्रिया के माध्यम से मानव प्राथमिकताओं से मेल खाने वाले उत्तर उत्पन्न कर सकते हैं। एआई सुरक्षा के हित में, उन्होंने रिवाइंडेबल ऑटो-रिग्रेसिव इनफेरेंस (आरएआईएन) पेश किया है, जो एक अनूठी अनुमान तकनीक है जो पूर्व-प्रशिक्षित एलएलएम को अपने स्वयं के उत्पन्न पाठ का आकलन करने और मूल्यांकन परिणामों का उपयोग बैकवर्ड रिवाइंडिंग और फॉरवर्ड जेनरेशन को निर्देशित करने में सक्षम बनाती है।

मॉडल संरेखण के लिए किसी अतिरिक्त डेटा की आवश्यकता के बिना चलने की क्षमता के लिए RAIN उल्लेखनीय है। यह पैरामीटर अपडेट, ग्रेडिएंट गणना या प्रशिक्षण की आवश्यकता को दूर करता है। मॉडल एक निश्चित-टेम्पलेट प्रॉम्प्ट के माध्यम से स्व-मूल्यांकन चरण के दौरान मानवीय प्राथमिकताओं को संरेखित करने की दिशा प्राप्त करता है, जिससे प्रारंभिक क्वेरी को बार-बार समायोजित करने की आवश्यकता समाप्त हो जाती है।

GPT-4 मॉडल और मानव मूल्यांकनकर्ताओं द्वारा मूल्यांकन किए गए प्रयोगात्मक परिणामों से पता चला कि RAIN कितना सफल है। उदाहरण के लिए, HH डेटासेट का उपयोग करते हुए, RAIN सहायकता दर को स्थिर रखता है जबकि वेनिला अनुमान की तुलना में LLaMA 30B की हानिरहितता दर को 82% से बढ़ाकर 97% तक नाटकीय रूप से बढ़ाता है। टीम ने साझा किया है कि RAIN ने हमले की सफलता दर को 94% से घटाकर 19% तक करके रक्षा के लिए एक नई आधार रेखा भी स्थापित की है, जब विकुना 33B एक उल्लेखनीय शत्रुतापूर्ण हमले (एलएलएम-हमलों) का लक्ष्य है।

बड़े भाषा मॉडल (एलएलएम) को संरेखित करने के लिए वर्तमान में उपयोग की जाने वाली विधियों की तुलना में RAIN कई लाभ प्रदान करता है - 

1. सार्वभौमिकता: RAIN दृष्टिकोण अनुकूलनीय है और इसका उपयोग विभिन्न भाषा-निर्माण कार्यों के लिए किया जा सकता है। यह ऑटो-रिग्रेसिव अनुमान प्रतिमान के साथ पूरी तरह से फिट बैठता है, जो कई एलएलएम के लिए आदर्श है। इसका मतलब यह है कि RAIN अत्यधिक अनुकूलन योग्य और उपयोगकर्ता के अनुकूल है और इसे अधिकांश मौजूदा एलएलएम में तुरंत एकीकृत किया जा सकता है।

2. जमे हुए भार के साथ संरेखण: आरएलएचएफ जैसी कुछ अन्य संरेखण रणनीतियों के विपरीत, RAIN को अतिरिक्त मॉडलों के रखरखाव या ग्रेडिएंट डेटा और कम्प्यूटेशनल नेटवर्क के भंडारण की आवश्यकता नहीं होती है। इसके द्वारा उत्पादित न्यूनतम मेमोरी ओवरहेड सरल ऑटो-रिग्रेसिव अनुमान के बराबर है। RAIN अपने सरल कार्यान्वयन और मेमोरी-कुशल डिजाइन के कारण जमे हुए वजन के साथ एलएलएम को संरेखित करने के लिए एक यथार्थवादी विकल्प है, जो संसाधन-गहन फाइन-ट्यूनिंग प्रक्रियाओं को समाप्त करता है।

3. सीखना-मुक्त: RAIN किसी भी प्रकार के लेबल किए गए या बिना लेबल वाले डेटा या मानव एनोटेशन पर निर्भर नहीं करता है। इसके लिए बहुत अधिक जानकारी या प्रशिक्षण की आवश्यकता नहीं है क्योंकि यह सीखने-मुक्त तरीके से संचालित होता है। RAIN कई प्रकार के कार्यों में संरेखण प्रदर्शन को काफी हद तक बढ़ाता है और एलएलएम को शत्रुतापूर्ण, त्वरित हमलों के प्रति अधिक प्रतिरोधी बनाता है। जब एक प्रसिद्ध प्रतिकूल हमले की विधि के खिलाफ इसका मूल्यांकन किया जाता है, तो यह हमले की सफलता दर को काफी कम कर देता है, जिससे ऐसे हमलों के खिलाफ बचाव के रूप में इसकी क्षमता का प्रदर्शन होता है।

निष्कर्ष में, इस अध्ययन ने RAIN को अतिरिक्त जानकारी या श्रमसाध्य फाइन-ट्यूनिंग की आवश्यकता के बिना एलएलएम को मानवीय प्राथमिकताओं में समायोजित करने की एक तकनीक के रूप में पेश किया है। यह एलएलएम को अपने स्वयं के आउटपुट का आकलन करने और बढ़ाने की अनुमति देकर पूरा किया जाता है, जिसके परिणामस्वरूप अंततः अधिक समन्वित और सुरक्षित एआई-उत्पन्न प्रतिक्रियाएं प्राप्त होती हैं।

इसकी जाँच पड़ताल करो कागज़. इस शोध का सारा श्रेय इस परियोजना के शोधकर्ताओं को जाता है। साथ ही जुड़ना न भूलें हमारा 30k+ एमएल सबरेडिट, 40k+ फेसबुक समुदाय, कलह चैनल, और ईमेल न्यूज़लेटर, जहां हम नवीनतम एआई अनुसंधान समाचार, बेहतरीन एआई प्रोजेक्ट और बहुत कुछ साझा करते हैं।

यदि आपको हमारा काम पसंद है, तो आपको हमारा न्यूज़लेटर भी पसंद आएगा..