CJK Symbols and Punctuation

CJK युनिफाइड आयडिओग्राफ्स युनिकोडच्या सर्वात महत्त्वाकांक्षी उपक्रमांपैकी एकाचे प्रतिनिधित्व करतात: चीनी, जपानी आणि कोरियन भाषांचे आच्छादित वर्णसंच एकाच, एकीकृत एन्कोडिंगमध्ये विलीन करणे. मूळ ब्लॉक आणि त्याच्या विस्तारांमध्ये ९७,००० पेक्षा जास्त आयडिओग्राफ्ससह, हा युनिकोडमधील आतापर्यंतचा सर्वात मोठा संग्रह आहे. प्रत्येक वर्ण हा एक अर्थविषयक एकक आहे — एक संकल्पना जी स्ट्रोकमध्ये संकुचित केली जाते — ज्यामुळे १.५ अब्जांहून अधिक लोक बोलत असलेल्या भाषांचे लेखी संवाद शक्य होते. मूलद्रव्ये, स्ट्रोक आणि सुसंगतता फॉर्मसाठी समर्थन ब्लॉक्स इनपुट पद्धती, शब्दकोश आणि मजकूर प्रक्रियेसाठी पायाभूत सुविधा प्रदान करतात.

चीनी वर्णांची उत्पत्ती ३,००० वर्षांपूर्वी शांग राजवंशात कासवाच्या कवचांवर आणि प्राण्यांच्या हाडांवर कोरलेल्या भविष्यवाणीविषयक अस्थी शिलालेखांपासून झाली. सहस्राब्दींमध्ये, लिपी कांस्य शिलालेख, सील लिपी, कारकुनी लिपी आणि आज वापरल्या जाणाऱ्या नियमित लिपीतून विकसित झाली. जेव्हा जपान आणि कोरियाने चीनी वर्ण (अनुक्रमे कांजी आणि हंजा) स्वीकारले, तेव्हा प्रादेशिक फरक जमा झाले. १९८० च्या उत्तरार्धात तिन्ही देशांच्या विद्वानांनी सुरू केलेला CJK एकीकरण प्रकल्प, कोणते प्रादेशिक रूप खरोखर समान वर्ण आहेत हे ओळखण्याचा प्रयत्न करत होता. हान एकीकरण म्हणून ओळखली जाणारी ही वादग्रस्त प्रक्रिया, युनिकोड १.० मध्ये CJK युनिफाइड आयडिओग्राफ्स ब्लॉक तयार करते. त्यानंतरच्या विस्तारांनी सर्वसमावेशक कव्हरेज सुनिश्चित करण्यासाठी हजारो दुर्मिळ, ऐतिहासिक आणि प्रादेशिक भिन्न वर्ण जोडले आहेत.

सामान्य वापर

• चीनी, जपानी आणि कोरियन भाषांसाठी मजकूर प्रदर्शन
• शब्दकोश आणि संदर्भ अनुप्रयोगांचे बॅकएंड
• यंत्र भाषांतर आणि नैसर्गिक भाषा प्रक्रिया
• सुलेखन अनुप्रयोग आणि फॉन्ट डिझाइन साधने
• ऐतिहासिक दस्तऐवज डिजिटायझेशन आणि संग्रहण प्रणाली

तांत्रिक नोंदी: CJK मजकूर प्रक्रियेसमोर अद्वितीय आव्हाने आहेत. चीनी आणि जपानी भाषांमध्ये शब्दांमध्ये रिक्त स्थाने नाहीत, ज्यासाठी अत्याधुनिक विभाजन अल्गोरिदम आवश्यक आहेत. आयडिओग्राफिक डिस्क्रिप्शन कॅरेक्टर्स ब्लॉक (U+2FF0–U+2FFF) वर्ण रचनेचे अल्गोरिदमिक वर्णन करण्यास अनुमती देते, जेव्हा आवश्यक आयडिओग्राफ अद्याप एन्कोड केलेला नसतो तेव्हा उपयुक्त. संपूर्ण CJK कव्हरेजसाठी फॉन्ट फाइल्स दहापट मेगाबाइट्समध्ये मोजल्या जातात. कांगशी मूलद्रव्ये ब्लॉक (U+2F00–U+2FDF) शब्दकोश क्रमवारीसाठी वापरले जाणारे २१४ पारंपारिक मूलद्रव्य रूप एन्कोड करते, जे आयडिओग्राफ्समध्ये घटक म्हणून दिसणाऱ्या मूलद्रव्यांपेक्षा वेगळे आहेत.

सांस्कृतिक संदर्भ: हान एकीकरण हा युनिकोडच्या इतिहासातील सर्वात वादग्रस्त निर्णयांपैकी एक आहे. समीक्षकांचा असा युक्तिवाद आहे की वेगळ्या प्रादेशिक परंपरा विलीन केल्याने महत्त्वाच्या सांस्कृतिक फरकांचा नाश होतो — चीन, जपान आणि कोरियामध्ये वेगळ्या प्रकारे विकसित झालेले एक वर्ण प्रत्येक संस्कृतीत भिन्न अर्थ धारण करू शकते. समर्थकांचा असा प्रतिवाद आहे की एकीकरण ही परस्पर कार्यक्षम संगणनासाठी एक व्यावहारिक गरज आहे आणि फॉन्ट-आधारित भिन्नता (लोकेल-विशिष्ट टाइपफेसेसद्वारे) दृश्य भेद जतन करते. IVD (आयडिओग्राफिक व्हेरिएशन डेटाबेस) सांस्कृतिक अचूकता आवश्यक असताना विशिष्ट ग्लिफ प्रकार निवडण्यासाठी एक यंत्रणा प्रदान करतो.