स्वायत्त होती AI प्रणालियाँ, सुरक्षा बढ़ाने पर ज़ोर

संयुक्त राष्ट्र समर्थित AI पर स्वतंत्र अन्तरराष्ट्रीय वैज्ञानिक पैनल की यह चेतावनी OpenAI द्वारा शुरू किए गए एक परीक्षण के बाद आई है. इस परीक्षण के दौरान मई से जुलाई के बीच “AI एजेंटों” ने ऑनलाइन मंच HuggingFace को हैक किया था.

AI एजेंट ऐसे सॉफ़्टवेयर होते हैं, जो उपयोगकर्ता की ओर से स्वतंत्र रूप से काम कर सकते हैं. इसके विपरीत, चैटबॉट सवालों या निर्देशों के आधार पर काम करते हैं.

पैनल ने अपनी पहली विषयगत संक्षिप्त रिपोर्ट में कहा कि यह सुरक्षा चूक कई अहम जोखिम कारकों के एक साथ सामने आने का नतीजा थी. इससे आशंका बढ़ी है कि भविष्य में AI को नियंत्रित करना मुश्किल हो सकता है.

रिपोर्ट का स्वागत 

संयुक्त राष्ट्र महासचिव एंतोनियो गुटेरेश ने सोमवार देर शाम पैनल की रिपोर्ट के समर्थन में एक वक्तव्य जारी किया. उन्होंने “अग्रणी AI प्रयोगशालाओं और AI सुरक्षा संस्थानों” समेत बाहरी विशेषज्ञों से इस मुद्दे पर और सक्रिय रूप से जुड़ने का आग्रह किया.

उन्होंने फ़िनलैंड के राष्ट्रपति और नॉर्वे के प्रधानमंत्री के नेतृत्व का भी स्वागत किया. उनके प्रयासों से सोमवार को महासभा से इतर 22 देशों ने एक घोषणा अपनाई. इसमें कहा गया कि AI “मानवीय दिशा, समझ और नियंत्रण के अधीन रहना चाहिए” और इसकी निगरानी के लिए एक स्वतंत्र निकाय स्थापित किया जाना चाहिए.

महासचिव ने सदस्य देशों से मौजूदा अन्तरराष्ट्रीय व्यवस्थाओं को मज़बूत करने और ऐसी अन्तरराष्ट्रीय संस्था बनाने की सम्भावना तलाशने का भी आग्रह किया, जो मानक तय कर सके, सत्यापन सुनिश्चित करे और AI की क्षमताएँ तय सीमा से आगे बढ़ने पर देशों को एक साथ ला सके.

AI प्रशिक्षण पर सवाल

वैज्ञानिक पैनल के सह-अध्यक्ष योशुआ बेंगियो ने कहा, “शोधकर्ता लम्बे समय से चेतावनी देते रहे हैं कि नियंत्रण खोने की तीन स्थितियाँ हो सकती हैं: गलत दिशा वाला लक्ष्य, उसे हासिल करने की क्षमता और ऐसा माहौल जो इसकी अनुमति दे. इस गर्मी में ये तीनों एक वास्तविक प्रणाली में एक साथ सामने आईं.”

उन्होंने कहा, “यह कोई अकेला मामला नहीं है. इससे AI एजेंटों के मौजूदा प्रशिक्षण तरीक़ों पर गम्भीर सवाल उठते हैं.”

पैनल के विशेषज्ञों का कहना है कि यह घटना इस बात की गारंटी नहीं देती कि मनुष्य AI एजेंटों को हमेशा नियंत्रण में रख सकेंगे, विशेषकर जब वे अधिक सक्षम और निगरानी में कठिन होते जाएँ.

नियंत्रण से बाहर

संक्षिप्त रिपोर्ट के अनुसार, AI एजेंटों ने सुरक्षा उपायों को दरकिनार किया, अलग-अलग परीक्षणों के बीच एक ऐसे आन्तरिक सॉफ़्टवेयर टूल से आपस में समन्वय किया जो उनके बीच संचार के लिए बनाया ही नहीं गया था, और बिना अनुमति इंटरनेट व प्रशासकीय पहुँच हासिल कर ली.

कुछ एजेंटों ने साइबर सुरक्षा परीक्षणों में धोखाधड़ी की कोशिशें छिपाईं, जबकि कुछ ने समूह के हित में ख़ुद को “बलिदान” करने का विकल्प चुना.

जाँच के दौरान लगभग 1,200 एजेंटों ने 70 हज़ार से अधिक सन्देश और फ़ाइलें साझा कीं. उनकी गतिविधियाँ HuggingFace से आगे OpenAI के एक शोध क्लस्टर तक भी पहुँचीं.

मौजूदा सुरक्षा उपाय ‘कमज़ोर पड़ रहे हैं’

पैनल के अनुसार, इस घटना ने दिखाया कि बुनियादी साइबर सुरक्षा उपायों की अनदेखी हुई और मौजूदा व्यवस्थाएँ AI की बढ़ती क्षमताओं के साथ क़दम नहीं मिला पा रही हैं.

विशेषज्ञों ने चेतावनी दी कि मौजूदा प्रशिक्षण तरीक़े AI एजेंटों को अपने लक्ष्य तय करने, सुरक्षा निर्देशों का उल्लंघन करने और अपनी गतिविधियाँ छिपाने की ओर ले जा सकते हैं.

पैनल ने कहा, “सवाल केवल रफ़्तार का नहीं, बल्कि यह भी है कि आज के सुरक्षा उपाय तब कितने कारगर होंगे, जब AI एजेंट उन्हें समझकर उनसे बचने की योजना बना सकें. सरल शब्दों में, पारम्परिक सुरक्षा ढाँचा कमज़ोर पड़ रहा है.”

व्यापक सन्दर्भ, भविष्य के जोखिम और नियमन

AI पैनल की रिपोर्ट में HuggingFace घटना को दो बड़े मुद्दों से जोड़ा गया है: agentic misalignment, यानि जब AI एजेंट अपेक्षित दिशा से हटकर ख़तरा पैदा करने लगें, और AI नियंत्रण.

रिपोर्ट में यह भी कहा गया है कि AI के लिए नियम अब केवल डेटा का विश्लेषण करने वाले मॉडलों तक सीमित नहीं रह सकते. स्वतंत्र रूप से काम करने वाले AI एजेंटों के लिए भी अलग सुरक्षा और निगरानी व्यवस्था ज़रूरी है.

सीखना और बदलाव के अनुरूप ढलना

रिपोर्ट में विमानन, चिकित्सा और साइबर सुरक्षा जैसे उच्च जोखिम वाले क्षेत्रों में पहले से अपनाई जा रही व्यवस्थाओं की भी समीक्षा की गई है, जिनमें घटनाओं की रिपोर्टिंग, स्वतंत्र जाँच और बहुस्तरीय सुरक्षा उपाय शामिल हैं.

पैनल सदस्य छिंगहुआ लू ने कहा, “लेकिन AI एजेंटों की क्षमता और स्वायत्तता बढ़ने के साथ उनकी निगरानी भी कठिन होगी, और ऐसे में ये उपाय नाकाफ़ी पड़ सकते हैं.”

पैनल के बारे में

संयुक्त राष्ट्र महासभा ने अगस्त 2025 में कृत्रिम बुद्धिमत्ता पर स्वतंत्र अन्तरराष्ट्रीय वैज्ञानिक पैनल की स्थापना की थी.

यह गैर-सैन्य क्षेत्रों में AI से जुड़े अवसरों, जोखिमों और प्रभावों पर वार्षिक रिपोर्ट तैयार करता है. उभरते मुद्दों पर इसकी संक्षिप्त रिपोर्टें मई 2027 में न्यूयॉर्क स्थित संयुक्त राष्ट्र मुख्यालय में होने वाले कृत्रिम बुद्धिमत्ता शासन व्यवस्था पर वैश्विक संवाद में चर्चा का आधार बनेंगी.