उन्नत AI मानवता के लिए बन सकता है ‘अस्तित्वगत खतरा’ : Anthropic

Anthropic ने कहा कि मॉडल यह पहचान सकते हैं कि उनकी सुरक्षा जांच की जा रही है, जिससे उनके व्यवहार का सही आकलन कठिन हो सकता है।
उन्नत AI मानवता के लिए बन सकता है ‘अस्तित्वगत खतरा’ : Anthropic
Published on: 

नई दिल्ली : AI कंपनी Anthropic ने अपने IPO प्रॉस्पेक्टस में अत्यधिक उन्नत आर्टिफिशियल इंटेलिजेंस (AI) को मानवता के लिए “विनाशकारी या अस्तित्वगत खतरा” बताया है। कंपनी ने संभावित निवेशकों को चेताया है कि उसके कुछ AI मॉडल ऐसी क्षमताएं विकसित कर सकते हैं, जिनसे उन्हें नियंत्रित करना मुश्किल हो जाए। इनमें बंद किए जाने का विरोध, जानकारी छिपाना या उसमें हेरफेर करना और “ब्लैकमेल” जैसे व्यवहार शामिल हो सकते हैं।

261 पेज के मुख्य प्रॉस्पेक्टस में करीब 80 पेज जोखिमों से जुड़े खुलासों के हैं, जबकि कंपनी के कारोबार से संबंधित जानकारी करीब 48 पेज में है। Anthropic ने कहा कि मॉडल यह पहचान सकते हैं कि उनकी सुरक्षा जांच की जा रही है, जिससे उनके व्यवहार का सही आकलन कठिन हो सकता है। प्रशिक्षण के दौरान सामने न आने वाली कुछ क्षमताएं बाद में वास्तविक इस्तेमाल के दौरान उभरकर गंभीर सुरक्षा घटनाओं का कारण बन सकती हैं।

कंपनी के अनुसार, अधिक सक्षम मॉडल, प्लेटफॉर्म और एप्लिकेशन विकसित करने तथा उनके इस्तेमाल का दायरा बढ़ाने से संभावित नुकसान का जोखिम भी बढ़ेगा। उसने AI की क्षमता की तुलना औद्योगिकीकरण और बिजली जैसी ऐतिहासिक तकनीकी प्रगति से की, लेकिन इसके गलत इस्तेमाल से होने वाले नुकसान को गंभीर और अपरिवर्तनीय बताया।

Anthropic ने कहा कि AI सुरक्षा पर निवेश का आर्थिक लाभ अभी स्पष्ट नहीं है। कंपनी ने सुरक्षा अनुसंधान पर कुल खर्च नहीं बताया, लेकिन जुलाई के एक सप्ताह में AI रिसर्च के लिए इस्तेमाल हुई कंप्यूटिंग क्षमता का करीब 6% सुरक्षा कार्यों में लगाया गया था। कंपनी ने सुरक्षा अनुसंधान को संसाधन-गहन बताते हुए कहा कि उसे कंप्यूटिंग क्षमता, विशेषज्ञों और मॉडल विकास के बीच सीमित संसाधनों का संतुलन बनाना पड़ता है।

कंपनी ने भरोसेमंद और सुरक्षित AI विकसित करना सामूहिक जिम्मेदारी बताया है। उसने कहा कि बाजार भी ऐसे AI सिस्टम को महत्व देगा। हाल में कंपनी ने Opus मॉडल का नया संस्करण जारी किया है। इसके कुछ दिन पहले CEO डारियो अमोडेई ने उन्नत AI मॉडल विकसित करने की गति को नियंत्रित करने की जरूरत पर लेख लिखा था।

सन्मार्ग को Google पर पसंदीदा सोर्स बनाएं →
logo
Sanmarg Hindi daily
sanmarg.in