சுருக்கமான பதில்: டோக்கன் என்பது ஒரு சிறிய உரை அல்லது தரவுத் தொகுப்பாகும், இதை ஒரு செயற்கை நுண்ணறிவு மாதிரி எண்களாக மாற்றிச் செயலாக்குகிறது. டோக்கன்கள் செலவு, வேகம், நினைவகம் மற்றும் வெளியீட்டு நீளம் ஆகியவற்றில் செல்வாக்கு செலுத்துகின்றன. ஒரு கட்டளை அதன் சூழல் வரம்பை மீறும்போது, முக்கியமான உள்ளடக்கம் துண்டிக்கப்படலாம், சுருக்கப்படலாம் அல்லது தவிர்க்கப்படலாம்.
முக்கிய குறிப்புகள்:
சொற்கூறுப் பிரிப்பு: சொற்கள், நிறுத்தற்குறிகள், இடைவெளிகள் மற்றும் குறியீடு ஆகியவை வெவ்வேறு வழிகளில் பிரிக்கப்படலாம்.
சூழல்: அத்தியாவசியத் தகவல்களை, மாடலில் கிடைக்கக்கூடிய டோக்கன் கால வரம்பிற்குள் வைத்திருக்கவும்.
செலவு: அதிக அளவிலான AI பணிப்பாய்வுகளில், மீண்டும் மீண்டும் வரும் அறிவுறுத்தல்களையும் தேவையற்ற உரைகளையும் குறைக்கவும்.
தெளிவு: முக்கியப் பணியை முன்கூட்டியே கூறி, தேவைகளைத் தெளிவான குறியீடுகளுடன் ஒழுங்கமைக்கவும்.
செயல்திறன்: கண்டறிந்த முடிவுகளை ஒன்றிணைப்பதற்கு முன், மிகப் பெரிய ஆவணங்களைத் தர்க்கரீதியான பிரிவுகளாகப் பிரிக்கவும்.
இதற்குப் பிறகு நீங்கள் படிக்க விரும்பக்கூடிய கட்டுரைகள்:
🔗 செயற்கை நுண்ணறிவின் வகைகள் யாவை?
திறன், செயல்பாடு, பயிற்சி முறை மற்றும் நடைமுறைப் பயன்பாடு ஆகியவற்றின் அடிப்படையில் செயற்கை நுண்ணறிவின் வகைகளைப் புரிந்துகொள்ளுங்கள்.
🔗 AI கண்ணாடிகள் என்றால் என்ன?
ஸ்மார்ட் கண்ணாடிகளின் அம்சங்கள், கைகள் பயன்படுத்தத் தேவையில்லாத பயன்பாடுகள், தனியுரிமை மற்றும் நடைமுறை வரம்புகள் பற்றி அறிந்துகொள்ளுங்கள்.
🔗 AI TV என்றால் என்ன?
AI எவ்வாறு படம், ஒலி, தேடல், பரிந்துரைகள் மற்றும் அணுகல்தன்மையை மேம்படுத்துகிறது என்பதைத் தெரிந்துகொள்ளுங்கள்.
🔗 செயற்கை நுண்ணறிவுத் தரக்குறைவு என்றால் என்ன?
தரம் குறைந்த செயற்கை நுண்ணறிவு உள்ளடக்கத்தைக் கண்டறிந்து, அதன் துல்லியம், தனித்தன்மை மற்றும் நோக்கத்தை மேம்படுத்துங்கள்.
1. செயற்கை நுண்ணறிவில் டோக்கன் என்றால் என்ன? எளிய பதில்
செயற்கை நுண்ணறிவில் டோக்கன் என்பது , ஒரு மாதிரி மொழியைப் புரிந்துகொள்ளவும் உருவாக்கவும் பயன்படுத்தும் ஒரு உரை அலகு ஆகும் .
உதாரணமாக, இந்த வாக்கியம்:
எனக்கு பீட்சா மிகவும் பிடிக்கும்.
பின்வருமாறு டோக்கன்களாகப் பிரிக்கப்படலாம்:
-
நான் -
அன்பு -
பீட்சா -
.
மிகவும் எளிமையானது.
ஆனால் அது எப்போதும் அவ்வளவு நேர்த்தியாக இருப்பதில்லை. ஒரு நீளமான அல்லது வழக்கத்திற்கு மாறான சொல் சிறிய பகுதிகளாகப் பிரிக்கப்படலாம். உதாரணமாக:
நம்பமுடியாத
இது போன்ற ஒன்றாக மாறக்கூடும்:
-
ஐக்கிய -
நம்புங்கள் -
திறன்
வெவ்வேறு செயற்கை நுண்ணறிவு அமைப்புகள் வெவ்வேறு டோக்கனைசர்களைப், துல்லியமான பிரிப்பு மாறுபடலாம். இதனால்தான் டோக்கன்கள் சற்று சிக்கலானதாகத் தோன்றலாம். அவை துல்லியமாக வார்த்தைகளும் அல்ல, துல்லியமாக எழுத்துக்களும் அல்ல, எப்போதும் அசைகளும் அல்ல.
இதைப்பற்றி சிந்திப்பதற்கான ஒரு சிறந்த வழி இதுதான்:
டோக்கன்கள் என்பவை, ஒரு செயற்கை நுண்ணறிவு மாதிரியால் உள்வாங்கிக்கொள்ளக்கூடிய மொழியின் சிறிய துண்டுகளாகும். 🍽️
நீங்கள் ஒரு சாட்பாட்டிடம் கேள்வி கேட்கும்போது, அந்த அமைப்பு உங்கள் வாக்கியத்தை ஒரு சீரான மனிதச் சிந்தனையாக உள்வாங்கிக்கொள்வதில்லை. அது அந்த உள்ளீட்டை டோக்கன்களாகப் பிரித்து, அவற்றை எண்களாக மாற்றி, அவற்றுக்கிடையேயான தொடர்புகளைச் செயலாக்கி, பின்னர், ஒரு பதிலை உருவாக்கும் வரை, மிகவும் சாத்தியமான அடுத்த டோக்கனை மீண்டும் மீண்டும் கணிக்கிறது.
எனவே, மக்கள் 'செயற்கை நுண்ணறிவில் டோக்கன் என்றால் என்ன?' என்று கேட்கும்போது , அதற்கான பதில் வெறும் 'ஒரு உரைப்பகுதி' என்பது மட்டுமல்ல. அதுவே, மொழி சார்ந்த செயற்கை நுண்ணறிவைச் சாத்தியமாக்கும் அடிப்படைச் செயல்பாட்டு அலகு ஆகும்.
2. மக்கள் எதிர்பார்ப்பதை விட டோக்கன்கள் ஏன் அதிக முக்கியத்துவம் பெறுகின்றன
டோக்கன்கள் முக்கியமானவை, ஏனெனில் அவை செயற்கை நுண்ணறிவு கருவிகள் செயல்படும் விதத்தின் ஏறக்குறைய அனைத்து அம்சங்களையும் பாதிக்கின்றன.
அவர்கள் செல்வாக்கு செலுத்துகிறார்கள்:
-
ஒரு செயற்கை நுண்ணறிவால் ஒரே நேரத்தில் கையாளக்கூடிய உரையின் அளவு
-
பல AI அமைப்புகளில் ஒரு கோரிக்கையின் விலை எவ்வளவு
-
ஒரு மாதிரி எவ்வளவு வேகமாக பதிலளிக்கிறது
-
மாடலால் எவ்வளவு விவரங்களை நினைவில் கொள்ள முடியும்
-
மாடல் உங்கள் அறிவுறுத்தலை எவ்வளவு துல்லியமாகப் புரிந்துகொள்கிறது
-
பதில் எவ்வளவு நீளமாக இருக்கலாம்
இங்குதான் விஷயம் ஆச்சரியப்படும் விதமாக நடைமுறைக்கு உகந்ததாகிறது.
ஒரு செயற்கை நுண்ணறிவு கருவி தன்னிடம் “ சூழல் சாளரம்” (context window ) இருப்பதாகக் கூறும்போது , அது பொதுவாக ஒரே நேரத்தில் கருத்தில் கொள்ளக்கூடிய அதிகபட்ச டோக்கன்களின் எண்ணிக்கையைக் குறிக்கும். உங்கள் தூண்டுதல், உரையாடல் வரலாறு, பதிவேற்றப்பட்ட உரை, கணினி வழிமுறைகள் மற்றும் மாதிரியின் பதில் ஆகிய அனைத்தும் டோக்கன்களை எடுத்துக்கொள்கின்றன.
எனவே, நீங்கள் ஒரு பெரிய ஆவணத்தை ஒரு AI உதவியாளரிடம் ஒட்டிவிட்டு, "இதைச் சுருக்கவும்" என்று கேட்டால், அந்த மாதிரி மென்பொருள் அந்த உரையை அதன் டோக்கன் வரம்பிற்குள் அடக்க வேண்டும். உள்ளடக்கம் மிகவும் நீளமாக இருந்தால், அந்தக் கருவி வடிவமைக்கப்பட்டுள்ள விதத்தைப் பொறுத்து, சில பகுதிகள் வெட்டப்படலாம், சுருக்கப்படலாம் அல்லது புறக்கணிக்கப்படலாம்.
டோக்கன்கள் வெறும் தொழில்நுட்ப விவரங்கள் மட்டுமல்ல. அவை செயற்கை நுண்ணறிவின் மேசை இடம். மேசையில் அதிக காகிதங்கள் இருந்தால், பொருட்கள் விளிம்பின் மீது நழுவத் தொடங்கும் 📄.
3. டோக்கன்களும் வார்த்தைகளும் ஒன்றல்ல
இது அநேகமாக மிகப்பெரிய தவறான புரிதலாக இருக்கலாம்.
ஒரு குறியீடு என்பது எப்போதும் ஒரே சொல்லாக இருப்பதில்லை.
சில நேரங்களில் ஒரு சொல் ஒரு டோக்கனாகக் கருதப்படுகிறது. சில நேரங்களில் ஒரு சொல் பல டோக்கன்களாக மாறுகிறது. சில நேரங்களில் நிறுத்தற்குறிகள் அல்லது இடைவெளிகளே ஒரு டோக்கனாகக் கணக்கிடப்படுகின்றன. எரிச்சலூட்டுகிறதா? சற்றே. முக்கியமானதா? மிகவும்.
இதோ ஒரு தோராயமான உதாரணம்:
| உரை எடுத்துக்காட்டு | சாத்தியமான டோக்கன் பிளவு | அதன் அர்த்தம் என்னவென்றால் |
|---|---|---|
பூனை |
பூனை |
ஒரு எளிய சொல், ஒருவேளை ஒரு டோக்கன் |
பூனைகள் |
பூனைகள் அல்லது பூனை + கள்
|
டோக்கனைசரைப் பொறுத்தது |
சர்வதேசமயமாக்கல் |
சர்வதேசமயமாக்கல் அல்லது சிறிய பகுதிகள்
|
நீண்ட சொற்கள் பெரும்பாலும் பிரிக்கப்படுகின்றன |
செயற்கை நுண்ணறிவு மூலம் இயங்கும் |
செயற்கை நுண்ணறிவு + - + ஆல் இயக்கப்படுகிறது
|
நிறுத்தற்குறிகள் கணக்கில் எடுத்துக்கொள்ளப்படலாம் |
ஹேய்!!! |
ஹே + ! + ! + !
|
ஆமாம், நிறுத்தற்குறிகளும் டோக்கன்களை விழுங்கிவிடும் |
சூப்பர்கேலிஃப்ராஜிலிஸ்டிக் |
பல துண்டுகள், அநேகமாக | அந்த மாடல் மனதுக்குள் பெருமூச்சு விடுகிறார் போல 😅 |
ஒவ்வொரு மாடலுக்கும் கச்சிதமாகப் பொருந்தக்கூடிய பொதுவான விதி எதுவும் இல்லை.
ஒரு பொதுவான தோராயமான மதிப்பீட்டின்படி, ஒரு டோக்கன் என்பது சில எழுத்துக்களையோ அல்லது ஒரு வார்த்தையின் ஒரு பகுதியையோ குறிக்கும். ஆனால் அது ஒரு பொதுவான விதி மட்டுமே, உறுதியான உண்மையல்ல. ஆங்கில உரை பொதுவாக மற்ற சில மொழிகளை விட மிகவும் திறமையாக டோக்கன்களாகப் பிரிக்கப்படுகிறது, மேலும் குறியீடும் வேறுவிதமாகச் செயல்படக்கூடும்.
இதனால்தான், பார்ப்பதற்குச் சிறியதாகத் தோன்றும் ஒரு வாக்கியம், எதிர்பார்த்ததை விட அதிகமான சொற்களைப் பயன்படுத்தக்கூடும். மேலும், தொழில்நுட்பச் சொற்கள், குறியீடுகள் அல்லது வழக்கத்திற்கு மாறான வடிவமைப்பு நிரம்பிய ஒரு பத்தியைக் காட்டிலும், பொதுவான சொற்களைக் கொண்ட ஒரு நீண்ட பத்தி மிகவும் சுமுகமாகப் பிரிக்கப்படலாம்.
4. உரையை உருவாக்க செயற்கை நுண்ணறிவு டோக்கன்களை எவ்வாறு பயன்படுத்துகிறது
இதோ சற்றே மாயாஜாலமான பகுதி - இருப்பினும் இது மந்திரவாதி தொப்பி அணிந்த கணிதம்தான் 🧙.
நீங்கள் ஒரு கட்டளையைத் தட்டச்சு செய்யும்போது, AI அமைப்பு இதுபோலச் செயல்படுகிறது:
-
உங்கள் உரையை டோக்கன்களாகப் பிரிக்கிறது
-
ஒவ்வொரு டோக்கனையும் ஒரு எண்ணாக அல்லது எண் வடிவமாக மாற்றுகிறது
-
டோக்கன் வடிவங்கள் மற்றும் உறவுகளைப் பகுப்பாய்வு செய்கிறது
-
அடுத்த சாத்தியமான டோக்கனைக் கணிக்கிறது
-
அந்த கணிப்பு செயல்முறையை மீண்டும் செய்கிறது
-
உருவாக்கப்பட்ட டோக்கன்களை மீண்டும் படிக்கக்கூடிய உரையாக மாற்றுகிறது
எனவே நீங்கள் தட்டச்சு செய்தால்:
வானம்
இந்த மாதிரி பின்வருமாறு கணிக்கக்கூடும்:
நீலம்
ஆனால் அது இதையும் கணிக்கக்கூடும்:
மேகமூட்டமான
வீழ்ச்சி
எல்லையல்ல
நட்சத்திரங்கள் நிறைந்தது
தேர்ந்தெடுக்கப்பட்ட வெளியீடானது மாதிரி, தூண்டுதல், சூழல் மற்றும் சீரற்ற தன்மை அல்லது படைப்பாற்றலைக் கட்டுப்படுத்தும் அமைப்புகளைச் சார்ந்துள்ளது.
இதனால்தான் செயற்கை நுண்ணறிவின் எழுத்து சில சமயங்களில் சரளமாகவும், சில சமயங்களில் தேவையற்ற நுணுக்கங்களிலும் செல்கிறது. அது, கற்றறிந்த வடிவங்களின் அடிப்படையில் ஒன்றன்பின் ஒன்றாக சொற்களைக் கணிக்கிறதே தவிர, ஒரு கோப்புப் பெட்டியிலிருந்து முழுமையான வாக்கியங்களை வெளியே இழுப்பதல்ல.
அதன் அர்த்தம், அந்த மாடல் சலிப்பூட்டும் வகையில் 'வெறும் தானியங்கு நிரப்பு' (autocomplete) என்பதல்ல. பெரிய செயற்கை நுண்ணறிவு மாடல்கள், கருத்துகள், மொழி, கட்டமைப்பு, தொனி, தர்க்கம் மற்றும் சூழல் ஆகியவற்றுக்கு இடையேயான மிகவும் சிக்கலான உறவுகளைக் கற்றுக்கொள்கின்றன. ஆனால் வெளியீட்டு மட்டத்தில், அந்த இயந்திரம் இன்னமும் ஒரு நேரத்தில் ஒரு சொல்லாகவே உரையை உருவாக்குகிறது.
சின்னஞ்சிறு படிகள். பிரம்மாண்டமான மாயத்தோற்றம். மிகவும் ஆடம்பரமான படிக்கட்டு.
5. ஒப்பீட்டு அட்டவணை: செயற்கை நுண்ணறிவில் உள்ள டோக்கன்களின் வகைகள்
மாடல், டோக்கனைசர் மற்றும் உள்ளடக்க வகையைப் பொறுத்து டோக்கன்கள் வெவ்வேறு வடிவங்களில் தோன்றலாம். இதோ ஒரு நடைமுறை ஒப்பீடு.
| டோக்கன் வகை | உதாரணம் | அது எங்கே தோன்றுகிறது | அது ஏன் முக்கியம்? |
|---|---|---|---|
| வார்த்தை டோக்கன் | ஆப்பிள் |
எளிய உரைத் தூண்டுதல்கள் | புரிந்துகொள்ள எளிதானது, நேர்த்தியாகவும் சுத்தமாகவும் உள்ளது |
| துணைச்சொல் டோக்கன் |
விளையாடு + ing
|
நீளமான அல்லது மாற்றியமைக்கப்பட்ட சொற்கள் | அறிமுகமில்லாத சொற்களைக் கையாள செயற்கை நுண்ணறிவுக்கு உதவுகிறது |
| கதாபாத்திர டோக்கன் |
அ, ஆ, இ
|
சில டோக்கனைசேஷன் அமைப்புகள் | நெகிழ்வானது, ஆனால் செயல்திறன் அற்றதாக இருக்கலாம் |
| நிறுத்தற்குறி டோக்கன் |
., ?, !
|
எல்லா வகையான எழுத்தும், எரிச்சலூட்டும் வகையில் | தொனி மற்றும் டோக்கன் எண்ணிக்கையைப் பாதிக்கிறது |
| வெற்று இட டோக்கன் | இடைவெளிகள், வரி முறிவுகள் | வடிவமைக்கப்பட்ட உரை மற்றும் குறியீடு | ஃபார்மேட்டிங் இலவசம் அல்ல, வருந்தத்தக்கது |
| குறியீட்டு டோக்கன் |
செயல்பாடு, {, ==
|
நிரலாக்கத் தூண்டுதல்கள் | குறியீடு டோக்கன்களை வேகமாக எரிக்க முடியும் |
| சிறப்பு டோக்கன் | தொடக்க/முடிவு குறிப்பான்கள் | திரைக்குப் பின்னால் | மாதிரி கட்டமைப்பு உள்ளீட்டிற்கு உதவுகிறது |
| அறியப்படாத அல்லது அரிதான துண்டு | அசாதாரண துண்டுகள் | பெயர்கள், கொச்சைச் சொற்கள், எழுத்துப்பிழைகள் | துல்லியத்தன்மையை சற்றே பாதிக்கலாம் |
எல்லா AI மாடல்களும் இவை அனைத்தையும் ஒரே மாதிரியாகப் பயன்படுத்துவதில்லை. சில அமைப்புகள் துணைச்சொல் பிரித்தலை , ஏனெனில் அது செயல்திறனையும் நெகிழ்வுத்தன்மையையும் சமநிலைப்படுத்துகிறது. அது, மாடல் இதற்கு முன் துல்லியமாகப் பார்த்திராத சொற்களை, தனக்குத் தெரிந்த துண்டுகளாகப் பிரிப்பதன் மூலம் கையாள அனுமதிக்கிறது.
உதாரணமாக, ஒரு மாதிரிக்கு 'micro', 'bio', மற்றும் 'logy' போன்ற சொற்கள், வழக்கத்திற்கு மாறான சிக்கலான அறிவியல் சொற்களைக் கையாள்வதில் அதற்கு ஒரு சிறந்த வாய்ப்பு கிடைக்கும்.
குறைபாடற்றது அல்ல. ஆனால் மிகவும் புத்திசாலித்தனமானது. 🧩
6. செயற்கை நுண்ணறிவில் டோக்கன் என்றால் என்ன? அது ஏன் செலவைப் பாதிக்கிறது?
பல செயற்கை நுண்ணறிவு கருவிகள் பயன்பாட்டை டோக்கன்களில் அளவிடுகின்றன.
அதாவது, உங்கள் உள்ளீடும் செயற்கை நுண்ணறிவின் வெளியீடும் பயன்பாட்டுக் கணக்கில் எடுத்துக்கொள்ளப்படும். நீங்கள் ஒரு நீண்ட கேள்வியை அனுப்பினால், அது அதிக டோக்கன்களைப் பயன்படுத்தும். அந்த மாடல் ஒரு நீண்ட பதிலை எழுதினால், அதுவும் அதிக டோக்கன்களைப் பயன்படுத்தும்.
இது போன்ற ஒரு சிறிய கேள்வி:
புவியீர்ப்பு விசையை விளக்குங்கள்.
ஒப்பீட்டளவில் குறைவான உள்ளீட்டு டோக்கன்களைப் பயன்படுத்துகிறது.
ஆனால் இந்தத் தூண்டுதல்:
புவியீர்ப்பை ஆரம்பநிலை பயில்பவர்களுக்கு புரியும் வகையில் விரிவாக விளக்குங்கள்; உதாரணங்களைச் சேர்த்து, அதை காந்தவியலுடன் ஒப்பிட்டு, ஒரு அட்டவணையை இணைத்து, ஒரு குழந்தைக்குப் புரியும் வகையில் மாற்றி எழுதி, பின்னர் அதை ஒரு பேச்சாக மாற்றுங்கள்.
இது அதிக உள்ளீட்டு டோக்கன்களைப் பயன்படுத்துகிறது, மேலும் நீண்ட வெளியீட்டையும் கோருகிறது.
எனவே டோக்கன் செலவு பெரும்பாலும் இரு தரப்பிலிருந்தும் வருகிறது:
-
உள்ளீட்டு டோக்கன்கள் - நீங்கள் மாடலுக்கு அனுப்புபவை
-
வெளியீட்டு டோக்கன்கள் - மாடல் உருவாக்குபவை
-
சூழல் குறியீடுகள் - முந்தைய உரையாடல் அல்லது ஆவணங்கள் சேர்க்கப்பட்டுள்ளன
-
கணினி டோக்கன்கள் - செயல்பாட்டை வழிநடத்தும் மறைக்கப்பட்ட வழிமுறைகள்
இதனால்தான் மிக நீண்ட உரையாடல்கள் மெதுவாகவோ அல்லது அதிக கட்டுப்பாடுடனோ உணரப்படலாம். அந்தச் செயற்கை நுண்ணறிவு, உரையாடலின் முந்தைய பகுதிகளைத் தன் சூழலுக்குள் இழுத்துச் செல்லக்கூடும். செங்கற்கள் நிறைந்த ஒரு முதுகுப்பையைப் போல. மதிப்புமிக்க செங்கற்கள்தான், ஆனாலும் அவை செங்கற்கள்தான்.
API-கள் மூலம் செயற்கை நுண்ணறிவைப் பயன்படுத்தும் வணிகங்களுக்கு, டோக்கன் செயல்திறன் ஒரு நிதிப் பற்றாக்குறைப் பிரச்சினையாக மாறக்கூடும். ஆயிரக்கணக்கான முறை மீண்டும் மீண்டும் வரும் ஒரு சிக்கலான அறிவிப்பு, வியக்கத்தக்க அளவு பணத்தை வீணடிக்கக்கூடும். தெளிவான அறிவிப்பு முறை பார்ப்பதற்கு அழகாக இருப்பது மட்டுமல்லாமல், அது செலவு குறைந்ததாகவும் இருக்கக்கூடும்.
7. டோக்கன் வரம்புகள் மற்றும் AI சூழல் சாளரம்
சூழல் சாளரம் என்பது டோக்கன்களுடன் தொடர்புடைய மிக முக்கியமான கருத்துக்களில் ஒன்றாகும்.
ஒரு AI மாதிரி ஒரே நேரத்தில் எத்தனை டோக்கன்களைச் செயலாக்க முடியும் என்பதை இது குறிக்கிறது . இதில் உங்கள் கட்டளை, முந்தைய செய்திகள், ஒட்டப்பட்ட ஆவணங்கள், அறிவுறுத்தல்கள் மற்றும் உருவாக்கப்படும் பதில் ஆகியவை அடங்கும்.
செயற்கை நுண்ணறிவிடம் ஒரு வெண்பலகை இருப்பதாகக் கற்பனை செய்து கொள்ளுங்கள். அது கருத்தில் கொள்ள வேண்டிய அனைத்தும் அந்த வெண்பலகையில் அடங்க வேண்டும். பலகை நிரம்பிவிட்டால், ஏதேனும் ஒன்றை விட்டுக் கொடுக்க வேண்டியிருக்கும்.
அது சில சூழ்நிலைகளுக்கு வழிவகுக்கலாம்:
-
மாடல் ஒரு நீண்ட உரையாடலின் முந்தைய பகுதிகளை மறந்துவிடக்கூடும்
-
பகுப்பாய்வு செய்வதற்கு முன் ஒரு ஆவணத்தைச் சுருக்க வேண்டியிருக்கலாம்
-
நீண்ட கேள்விகள், நீண்ட பதில்களுக்கு குறைந்த இடத்தையே அளிக்கக்கூடும்
-
மீண்டும் மீண்டும் வரும் சூழல் முக்கியமான விவரங்களை மறைத்துவிடக்கூடும்
-
இந்த மாதிரி சமீபத்திய தகவல்களில் அதிக கவனம் செலுத்தக்கூடும்
இதனால்தான் உடனடி வடிவமைப்பு முக்கியத்துவம் பெறுகிறது.
இது போன்ற ஒரு தூண்டுதல்:
இதையெல்லாம் படித்துவிட்டு, எது முக்கியம் என்று சொல்லுங்கள்.
இது பலனளிக்கலாம், ஆனால் சிறந்ததாக இல்லாமல் இருக்கலாம்.
ஒரு சிறந்த தூண்டுதல் இவ்வாறு கூறலாம்:
முக்கிய வாதத்தைச் சுருக்கி, அபாயங்களைப் பட்டியலிட்டு, முரண்பாடுகளைக் கண்டறிந்து, எடுக்க வேண்டிய முதல் ஐந்து நடவடிக்கைகளைத் தெரிவிக்கவும்.
அது அந்த மாடலுக்கு ஒரு தெளிவான பணியை அளிப்பதோடு, உங்கள் நோக்கத்தை ஊகிப்பதற்குப் பதிலாக மதிப்புமிக்க பணிகளில் டோக்கன்களைச் செலவிடவும் உதவுகிறது.
டோக்கன்கள் வெறும் தொழில்நுட்ப வரம்பு மட்டுமல்ல. நீங்கள் செயற்கை நுண்ணறிவுடன் தொடர்பு கொள்ளும் முறையை அவை வடிவமைக்கின்றன.
8. கட்டுக்கடங்காத மொழியைக் கையாள டோக்கனைசேஷன் ஏன் செயற்கை நுண்ணறிவுக்கு உதவுகிறது
மனித மொழி கட்டுக்கடங்காதது. மூர்க்கத்தனமான கட்டுக்கடங்காதது.
மக்கள் கொச்சை வார்த்தைகள், எழுத்துப்பிழைகள், ஈமோஜிகள், சுருக்கங்கள், மொழிமாற்றம், வணிகப் பெயர்கள், ஹாஷ்டேக்குகள், புனையப்பட்ட சொற்கள் மற்றும் மாடிப்படிகளில் இருந்து கீழே விழுந்தது போன்ற வாக்கியத் துண்டுகளைப் பயன்படுத்துகிறார்கள்.
டோக்கனைசேஷன் அந்தச் சிக்கலைச் சமாளிக்க செயற்கை நுண்ணறிவுக்கு உதவுகிறது.
சாத்தியமான ஒவ்வொரு வார்த்தையையும் மனப்பாடம் செய்ய வேண்டியதற்குப் பதிலாக, இந்த மாதிரி அறிமுகமில்லாத உரையை சிறிய, தெரிந்த பகுதிகளாகப் பிரிக்க முடியும். அது பின்வருவனவற்றிற்கு உதவுகிறது:
-
எழுத்துப்பிழைகள்
-
புதிய விதிமுறைகள்
-
கூட்டுச் சொற்கள்
-
தொழில்நுட்ப சொற்களஞ்சியம்
-
பெயர்கள்
-
இணைய வழக்குச் சொற்கள்
-
ஈமோஜிகள் மற்றும் சின்னங்கள்
-
நிரலாக்க தொடரியல்
உதாரணமாக, இது போன்ற ஒரு சொல்:
அதி தனிப்பயனாக்கம்
இது ஒரு நன்கு அறிமுகமான வார்த்தையாகக் கருதப்படாமல் இருக்கலாம். ஆனால், செயற்கை நுண்ணறிவு பின்வரும் பகுதிகளை அடையாளம் காணக்கூடும்:
-
அல்ட்ரா -
தனிப்பட்ட -
மயமாக்கல்
அது போராடுவதற்கான ஒரு வாய்ப்பை அளிக்கிறது.
இதனால்தான் மொழிகளுக்கிடையே டோக்கனைசேஷன் மதிப்புமிக்கதாக உள்ளது. சில மொழிகளில் சொற்களுக்கு இடையே தெளிவான இடைவெளிகள் உள்ளன. மற்றவை அந்த வழியில் இடைவெளிகளைப் பயன்படுத்துவதில்லை. சில மொழிகளில் செழுமையான சொல் வடிவங்கள் உள்ளன. சில, கருத்துக்களை இணைத்து நீண்ட கூட்டுச் சொற்களை உருவாக்குகின்றன. டோக்கன் அமைப்புகள், இவை அனைத்தையும் செயலாக்கக்கூடிய அலகுகளாகத் தரப்படுத்த உதவுகின்றன.
அது அவ்வளவு நேர்த்தியானது என்று சொல்ல முடியாது. கால்குலேட்டரைக் கொண்டு காய்கறிகளை நறுக்குவது போல இருக்கிறது. ஆனால், அது வேலை செய்கிறது 🥕.
9. உரை, படங்கள், ஒலி மற்றும் பன்முக செயற்கை நுண்ணறிவில் உள்ள டோக்கன்கள்
செயற்கை நுண்ணறிவில் 'டோக்கன்' என்ற சொற்றொடர் பொதுவாக உரை மாதிரிகளில் பயன்படுத்தப்படுகிறது, ஆனால் அதன் பரந்த கருத்து உரைக்கு அப்பாற்பட்ட விஷயங்களுக்கும் பொருந்தும்.
பன்முறை செயற்கை நுண்ணறிவில், அமைப்புகள் டோக்கன் போன்ற அலகுகளைப் பயன்படுத்தி படங்கள், ஒலி, காணொளி அல்லது கட்டமைக்கப்பட்ட தரவுகளைச் செயலாக்கலாம். நுணுக்கங்கள் வேறுபட்டாலும், அதன் மையக் கருத்து ஒன்றுதான்: சிக்கலான தகவல்களை, மாதிரி செயலாக்கக்கூடிய சிறிய துண்டுகளாகப் பிரிப்பது.
உதாரணத்திற்கு:
-
உரையைச் சொல் அல்லது துணைச்சொல் கூறுகளாகப் பிரிக்கலாம்
-
படங்கள் சிறு பகுதிகளாகவோ அல்லது காட்சிப் பிரதிநிதித்துவங்களாகவோ பிரிக்கப்படலாம்.
-
ஒலியானது நேர அடிப்படையிலான பகுதிகளாகவோ அல்லது குறியாக்கம் செய்யப்பட்ட அலகுகளாகவோ பிரிக்கப்படலாம்
-
குறியீட்டை தொடரியல் தொடர்பான கூறுகளாகப் பிரிக்கலாம்
-
அட்டவணைகள் கட்டமைக்கப்பட்ட டோக்கன் தொடர்களாக மாற்றப்படலாம்
இது முக்கியமானது, ஏனெனில் நவீன செயற்கை நுண்ணறிவு என்பது பெருகிவரும் வகையில் வெறும் “அரட்டை” மட்டுமல்ல. அதனால் திரைப்பிடிப்புகளைப் புரிந்துகொள்ளவும், படங்களை விவரிக்கவும், வரைபடங்களைப் பகுப்பாய்வு செய்யவும், ஆடியோவைப் படியெடுக்கவும், குறியீட்டின் மூலம் பகுத்தறியவும், மேலும் பல்வேறு வடிவங்களில் பதிலளிக்கவும் முடியும்.
ஆனால் அதே அடிப்படைக் கொள்கை மீண்டும் மீண்டும் வெளிப்படுகிறது:
உள்ளீட்டை கையாளக்கூடிய பகுதிகளாகப் பிரித்து, அந்தப் பகுதிகளை எண்களாக மாற்றி, அவற்றுக்கிடையேயான தொடர்புகளை மாதிரி கற்றுக்கொள்ள அனுமதிக்கவும்.
பரந்த அளவில் சொல்வதானால், அதுதான் டோக்கனைசேஷன்.
இது மனித தொடு உணர்வுக்கும் இயந்திரத்தால் படிக்கக்கூடிய கட்டமைப்புக்கும் இடையேயான மொழிபெயர்ப்பு அடுக்கு ஆகும்.
10. டோக்கன்கள் உடனடிப் பொறியியலை எவ்வாறு பாதிக்கின்றன
உடனடித் தூண்டுதல் பொறியியல் என்பது கேட்பதற்கு அவ்வளவு கவர்ச்சியாகத் தோன்றுவதில்லை. சில சமயங்களில் அதன் அர்த்தம், “தெளிவாகக் கேளுங்கள், உங்கள் கேள்வியில் தேவையற்றவற்றைத் திணிப்பதை நிறுத்துங்கள்” என்பதுதான். கடுமையானது, ஆனால் துல்லியமானது.
சிறந்த நினைவூட்டலில் டோக்கன்கள் முக்கியப் பங்கு வகிக்கின்றன.
டோக்கன் விழிப்புணர்வைப் பயன்படுத்துவதற்கான சில நடைமுறை வழிகள் இதோ:
ஆரம்பத்திலேயே குறிப்பாக இருங்கள்
முக்கியப் பணியை ஆரம்பத்திற்கு அருகில் வைக்கவும்:
குறைந்த விலை மேசை விளக்குக்கான சுருக்கமான தயாரிப்பு விளக்கத்தை எழுதவும்.
குறிப்பு:
ஒரு தயாரிப்புப் பக்கத்திற்காக ஏதாவது உருவாக்கலாம் என்று யோசித்துக் கொண்டிருந்தேன், அது ஒரு விளக்கைப் பற்றியது, அதற்கு எனக்கு வார்த்தைகள் தேவை...
இரண்டாவது பதிப்பு டோக்கன்களை வீணாக்குவதோடு, புள்ளியைப் பெறுவதையும் தாமதப்படுத்துகிறது.
தேவையற்ற நிரப்பியை அகற்றவும்
செயற்கை நுண்ணறிவால் சாதாரண மொழியைப் புரிந்துகொள்ள முடியும், ஆனால் தேவையற்ற நீட்டிப்புகள் சூழலை மறைத்துவிடும். நீங்கள் ஒரு ரோபோவைப் போல எழுத வேண்டியதில்லை, ஆனால் சுருக்குவது உதவும்.
பயன்பாட்டு அமைப்பு
தலைப்புகள், புல்லட்டுகள், எண்ணிடப்பட்ட படிகள் மற்றும் லேபிள்கள் ஆகியவை, எது எங்கு இடம்பெற வேண்டும் என்பதை மாடல் புரிந்துகொள்ள உதவும்.
உதாரணமாக:
-
இலக்கு:
-
பார்வையாளர்கள்:
-
தொனி:
-
வடிவம்:
-
கட்டுப்பாடுகள்:
இது பொதுவாக ஒரு பெரிய உரைத் தொகுதியை விட சிறப்பாக செயல்படுகிறது.
எதைப் புறக்கணிக்க வேண்டும் என்று செயற்கை நுண்ணறிவிடம் சொல்லுங்கள்
இது அமைதியாக சக்தி வாய்ந்தது.
நீங்கள் சொல்லலாம்:
மீண்டும் மீண்டும் வரும் வழக்கமான கூற்றுகளைப் புறக்கணித்து, விலை வேறுபாடுகளில் மட்டும் கவனம் செலுத்துங்கள்.
அது, அந்த மாடல் குறைந்த மதிப்புள்ள உள்ளடக்கத்தில் கவனம் செலுத்துவதைத் தடுக்கிறது.
நீண்ட உரையாடல்களை ஒழுங்கமைத்துக்கொள்ளுங்கள்
நீண்ட உரையாடல்களின்போது, முக்கிய முடிவுகளை அவ்வப்போது சுருக்கமாகக் கூறுங்கள். அது சூழலைப் புரிந்துகொள்ளவும், குழப்பத்தைக் குறைக்கவும் உதவும்.
அடிப்படையில், டோக்கன்-அறியும் தூண்டல் என்பது ஒரு பயணப்பெட்டியைப் பேக் செய்வதைப் போன்றது. நீங்கள் அத்தியாவசியமானவற்றைக் கொண்டு வரலாம், அல்லது மூன்று வாணலிகளைக் கொண்டு வந்துவிட்டு, உங்கள் காலுறைகள் ஏன் பொருந்தவில்லை என்று யோசிக்கலாம்.
11. AI டோக்கன்கள் பற்றிய பொதுவான தவறான புரிதல்கள்
சில விஷயங்களைத் தெளிவுபடுத்திக்கொள்வோம், ஏனென்றால் டோக்கன் பற்றிய பேச்சு விரைவில் குழப்பமடைந்துவிடும்.
தவறான கருத்து 1: ஒரு டோக்கன் ஒரு வார்த்தைக்குச் சமம்
இல்லை. சில நேரங்களில் ஆம், பெரும்பாலும் இல்லை. டோக்கன்கள் என்பவை சொற்கள், சொல் பகுதிகள், நிறுத்தற்குறிகள் அல்லது பிற தொகுதிகளாக இருக்கலாம்.
தவறான கருத்து 2: அதிக டோக்கன்கள் இருந்தால் எப்போதும் சிறந்த பதில்கள் கிடைக்கும்
அப்படியிருக்க வேண்டிய அவசியமில்லை. ஒரு நீண்ட கேள்வி, மதிப்புமிக்க சூழலைச் சேர்க்கும்போது உதவக்கூடும். ஆனால், அளவுக்கு அதிகமாகத் தகவல்களைக் கொண்ட ஒரு கேள்வி, மாதிரியைக் குழப்பலாம் அல்லது இடத்தை வீணடிக்கலாம்.
தவறான கருத்து 3: டோக்கன் வரம்புகள் நீண்ட ஆவணங்களை மட்டுமே பாதிக்கும்
அவை சாதாரண உரையாடல்களையும் பாதிக்கின்றன, குறிப்பாக உரையாடலில் பல திருப்பங்கள் இருந்தால். அந்த மாதிரி, முந்தைய செய்திகள், அறிவுறுத்தல்கள் மற்றும் உங்கள் சமீபத்திய கோரிக்கை ஆகியவற்றைக் கருத்தில் கொள்ள வேண்டியிருக்கலாம்.
தவறான கருத்து 4: மனிதர்கள் வார்த்தைகளைப் புரிந்துகொள்வதைப் போல, செயற்கை நுண்ணறிவு டோக்கன்களைப் புரிந்துகொள்கிறது
மனிதர்கள் பயன்படுத்தும் அர்த்தத்தில் அல்ல. மனிதர்கள் சொற்களுடன் வாழ்வியல் அனுபவம், புலன்சார் நினைவுகள், நோக்கம் மற்றும் உணர்ச்சி ஆகியவற்றை இணைக்கிறார்கள். செயற்கை நுண்ணறிவு மாதிரிகள், குறியீட்டுத் தொடர்களில் உள்ள புள்ளிவிவர மற்றும் சொற்பொருள் வடிவங்களைச் செயலாக்குகின்றன. அது ஈர்க்கக்கூடிய பகுத்தறிவை உருவாக்கக்கூடும், ஆனால் அது அதே செயல்முறை அல்ல.
தவறான கருத்து 5: டோக்கனைசேஷன் என்பது ஒரு சலிப்பூட்டும் பேக்கெண்ட் வேலை
கேட்பதற்கு இது சலிப்பூட்டுவதாகத் தோன்றலாம். ஆனால், அது அப்படியல்ல. டோக்கனைசேஷன் செலவு, வேகம், நினைவகம், துல்லியம் மற்றும் பயனர் அனுபவத்தை வடிவமைக்கிறது. சிறிய கீல், பிரம்மாண்டமான கதவு 🚪.
12. செயற்கை நுண்ணறிவில் டோக்கன்களின் நிஜ வாழ்க்கை உதாரணங்கள்
இதை இன்னும் எளிமையாகப் புரிய வைப்போம்.
எடுத்துக்காட்டு 1: சாட்பாட் உரையாடல்
நீங்கள் தட்டச்சு செய்வது:
பணத்தைத் திரும்பக் கேட்டு, உங்களால் ஒரு கண்ணியமான மின்னஞ்சல் எழுத முடியுமா?
அந்தச் செயற்கை நுண்ணறிவு அதை டோக்கன்களாகப் பிரித்து, கோரிக்கை முறையைப் புரிந்துகொண்டு, ஒவ்வொரு டோக்கனாக ஒரு பதிலை உருவாக்குகிறது.
எடுத்துக்காட்டு 2: நீண்ட ஆவணச் சுருக்கம்
நீங்கள் ஒரு கொள்கை ஆவணத்தை ஒட்டுகிறீர்கள். செயற்கை நுண்ணறிவு அதை முழுவதுமாக சிறு பகுதிகளாகப் பிரிக்கிறது. அது கொடுக்கப்பட்டுள்ள சூழலுக்குள் பொருந்தினால், நல்லது. இல்லையெனில், அந்தக் கருவி அதைத் துண்டுகளாகப் பிரிக்கவோ, சுருக்கவோ அல்லது சுருக்கவோ வேண்டியிருக்கலாம்.
எடுத்துக்காட்டு 3: கோடிங் உதவியாளர்
நீங்கள் கேட்கிறீர்கள்:
இந்த ஜாவாஸ்கிரிப்ட் செயல்பாட்டைச் சரிசெய்யவும்.
நிரல் பெரும்பாலும் குறியீடுகள், உள்ளிடைவெளிகள், செயற்குறிகள் மற்றும் குறிப்பிட்ட தொடரியல் ஆகியவற்றைப் பயன்படுத்துகிறது. அவை அனைத்தும் டோக்கன்களாகவும் மாறுகின்றன. இதனால்தான், அதிக நிரல் கொண்ட கட்டளைகள் விரைவாக ஏராளமான டோக்கன்களைப் பயன்படுத்தக்கூடும்.
எடுத்துக்காட்டு 4: SEO கட்டுரை எழுதுதல்
தலைப்பு, கட்டமைப்பு, துணைத் தலைப்புகள், முக்கிய வார்த்தைகள், தொனி, எடுத்துக்காட்டுகள் மற்றும் மெட்டா விளக்கம் ஆகியவற்றைக் கேட்கும் ஒரு கட்டளை, ஒரு சாதாரண கோரிக்கையை விட அதிக டோக்கன்களைப் பயன்படுத்துகிறது. கட்டுரை நீளமாக இருப்பதால், அதன் வெளியீடும் அதிக டோக்கன்களைப் பயன்படுத்துகிறது.
எடுத்துக்காட்டு 5: வாடிக்கையாளர் ஆதரவு தானியக்கம்
ஒரு நிறுவனம், வாடிக்கையாளர் செய்தி, கணக்கு விவரங்கள், கொள்கைத் துணுக்குகள் மற்றும் பதிலளிப்பு விதிகள் போன்றவற்றைச் செயற்கை நுண்ணறிவுக்கு அனுப்பக்கூடும். இவை அனைத்தும் டோக்கன்களாக மாறுகின்றன. எவ்வளவு அதிகமான சூழல் தகவல்கள் சேர்க்கப்படுகிறதோ, அந்த அளவிற்கு அந்த அமைப்பு அதன் வரம்புகள் மற்றும் செலவு விஷயத்தில் மிகவும் கவனமாக இருக்க வேண்டும்.
நீங்கள் டோக்கன்களைக் கவனிக்கத் தொடங்கியவுடன், அவை எல்லா இடங்களிலும் தென்படும். சூரிய ஒளியில் உள்ள தூசியைப் போல, ஆனால் இன்னும் கொஞ்சம் அறிவார்ந்த முறையில்.
13. டோக்கன்களைப் புரிந்துகொள்வது ஏன் உங்களை AI-ஐப் பயன்படுத்துவதில் சிறந்தவராக்குகிறது
டோக்கன்களைப் புரிந்துகொள்வதன் மூலம் பயனடைய, நீங்கள் ஒரு இயந்திர கற்றல் பொறியாளராக ஆக வேண்டிய அவசியமில்லை.
ஒரு அடிப்படைப் புரிதல் உங்களுக்கு உதவும்:
-
தூய்மையான தூண்டுதல்களை எழுதவும்
-
மாடலை அதிக சுமையாக்குவதைத் தவிர்க்கவும்
-
நீண்ட உரையாடல்கள் சில சமயங்களில் ஏன் திசைமாறுகின்றன என்பதைப் புரிந்து கொள்ளுங்கள்
-
ஒரு கோரிக்கையை விட மற்றொன்றுக்கு ஏன் அதிக செலவாகிறது என்பதை மதிப்பிடுங்கள்
-
சிறந்த சுருக்கங்களை உருவாக்குங்கள்
-
ஆவணங்களுடன் புத்திசாலித்தனமாக வேலை செய்யுங்கள்
-
மேலும் சீரான AI வெளியீடுகளைப் பெறுங்கள்
செயற்கை நுண்ணறிவை ஒரு மாயப் பெட்டி போலக் கருதுவதை நிறுத்தவும் இது உங்களுக்கு உதவுகிறது.
அது ஒரு நல்ல விஷயம். மாயப்பெட்டிச் சிந்தனை தவறான எதிர்பார்ப்புகளுக்கு வழிவகுக்கிறது. டோக்கன் சார்ந்த சிந்தனை, கருவியை மேலும் கையாளக்கூடியதாக ஆக்குகிறது.
செயற்கை நுண்ணறிவு டோக்கன் வடிவங்கள் மூலம் செயல்படுகிறது என்பதை நீங்கள் புரிந்துகொள்ளும்போது, நீங்கள் சிறந்த கேள்விகளைக் கேட்கத் தொடங்குகிறீர்கள். நீங்கள் சிறந்த பின்னணியை வழங்குகிறீர்கள். அரட்டையில் ஒரு நாவலைக் கொட்டிவிட்டு, "உங்கள் கருத்துகள் என்ன?" என்று கேட்பதைத் தவிர்க்கிறீர்கள் - வெளிப்படையாகச் சொல்வதானால், நம்மில் பெரும்பாலானோர் ஏதோ ஒரு சமயத்தில் அப்படிச் செய்ய விரும்பியிருப்போம்.
உங்கள் உள்ளீடு எவ்வளவு சிறப்பாக உள்ளதோ, அந்த அளவிற்கு மாடலால் டோக்கன் தடத்தைப் பின்தொடர முடியும்.
14. செயற்கை நுண்ணறிவில் டோக்கன் என்றால் என்ன? ஒரு நடைமுறைத் தகவல்
அப்படியானால், செயற்கை நுண்ணறிவில் டோக்கன் என்றால் என்ன? அது ஒரு செயற்கை நுண்ணறிவு மாதிரி செயலாக்கும் உரை அல்லது தரவின் ஒரு சிறிய அலகு ஆகும்.
ஆனால், மிகவும் நடைமுறைக்கு ஏற்ற பதில் இதுதான்:
டோக்கன் என்பது மனித மொழிக்கும் இயந்திரப் பகுத்தறிவுக்கும் இடையேயான அடிப்படைத் தொடர்புப் புள்ளியாகும். இதன் மூலம்தான், உங்களின் சிக்கலான, உணர்ச்சிகரமான, எழுத்துப் பிழைகள் நிறைந்த வாக்கியம், ஒரு மாதிரி கணக்கிடக்கூடிய ஒன்றாக மாறுகிறது.
டோக்கன்கள் மாதிரியின் மீது செல்வாக்கு செலுத்துகின்றன:
-
புரிதல்
-
நினைவகம்
-
செலவு
-
வேகம்
-
வெளியீட்டு நீளம்
-
துல்லியம்
-
வடிவமைத்தல்
-
சூழல் கையாளுதல்
அவை பெரும்பாலான நேரங்களில் கண்ணுக்குத் தெரியாதவை, ஆனால் அவை எப்போதும் அங்கேயே இருக்கின்றன.
நீங்கள் எழுதும் ஒவ்வொரு தூண்டுதலும் டோக்கன்களாக மாறுகிறது. நீங்கள் படிக்கும் ஒவ்வொரு பதிலும் டோக்கன்களிலிருந்து உருவாக்கப்பட்டது. ஒவ்வொரு பத்தி, காற்புள்ளி, ஈமோஜி, குறியீட்டுத் துணுக்கு மற்றும் பொருத்தமற்ற சொற்றொடர் ஆகியவை, மாடல் செயலாக்கக்கூடிய அலகுகளாகத் துண்டாக்கப்படுகின்றன.
இந்த வாக்கியம் கூட டோக்கன்கள்தான். மிகவும் மெட்டா. சற்றே எரிச்சலூட்டுகிறது. ஒரு விதத்தில் அழகானது. ✨
15. நிறைவுரை
செயற்கை நுண்ணறிவில் டோக்கன் என்றால் என்ன? டோக்கன் என்பது, செயற்கை நுண்ணறிவு மாதிரிகள் உரையைப் படிக்கவும், புரிந்துகொள்ளவும், உருவாக்கவும் பயன்படுத்தும் ஒரு சிறிய மொழித் துண்டாகும். டோக்கனைசரைப் பொறுத்து, அது ஒரு சொல், சொல்லின் ஒரு பகுதி, நிறுத்தற்குறி, ஒரு இடைவெளி அல்லது மற்றொரு சிறிய அலகாக இருக்கலாம்.
டோக்கன்களைப் புரிந்துகொள்வது, செயற்கை நுண்ணறிவு கருவிகளுக்கு ஏன் வரம்புகள் உள்ளன, நீண்ட அறிவுறுத்தல்களுக்கு ஏன் அதிக செலவாகும், சூழல் ஏன் முக்கியமானது, மற்றும் பிரம்மாண்டமான சிக்கலான பத்திகளை விட தெளிவான வழிமுறைகள் பொதுவாக ஏன் சிறப்பாகச் செயல்படுகின்றன என்பதைப் புரிந்துகொள்ள உதவுகிறது.
முதலில் இது தொழில்நுட்பம் போலத் தோன்றினாலும், இறுதியில் இது ஒரு நடைமுறை விஷயத்தில் வந்து முடிகிறது:
செயற்கை நுண்ணறிவு மொழியை மனிதனைப் போன்ற முழுமையான துண்டுகளாக உள்வாங்குவதில்லை. அது மொழியைச் சிறுசிறு குறியீடுகளாகச் சுவைத்து, அதன் வடிவத்தை ஆராய்ந்து, அடுத்து என்ன வர வேண்டும் என்று கணிக்கிறது.
சின்னஞ்சிறு துண்டுகள். பிரம்மாண்டமான பலன்கள். ஒரு விசித்திரமான சின்ன அதிசயம் 🤖✨
நடைமுறை உதாரணம்: டோக்கன் செயல்திறன் மிக்க வாடிக்கையாளர் ஆதரவு உதவியாளரை உருவாக்குதல்
சூழ்நிலை
ஒரு சிறிய இணையவழி தளபாட விற்பனையாளர், விநியோகப் புகார்கள், பணத்தைத் திரும்பப் பெறுவதற்கான கோரிக்கைகள் மற்றும் சேதமடைந்த பொருட்கள் குறித்த அறிக்கைகளுக்குப் பதில்களை வரைவு செய்ய ஒரு செயற்கை நுண்ணறிவு உதவியாளரைப் பயன்படுத்துகிறார்.
அதன் முதல் பதிப்பில், யாராவது ஒரு புகாரைத் திறக்கும்போதெல்லாம், அந்த உதவியாளர் முழுமையான திருப்பியளித்தல் கையேடு, வாடிக்கையாளரின் முழுமையான செய்தி வரலாறு, ஆர்டர் விவரங்கள், பல மாதிரி பதில்கள் மற்றும் ஒரு நீண்ட எழுதும் விதிகள் தொகுப்பு ஆகியவற்றைப் பெறுகிறார். அது பொதுவாகப் பயன்படுத்தக்கூடிய ஒரு பதிலை அளிக்கிறது, ஆனால் கேட்கப்படும் கேள்வி மிகவும் பெரிதாக உள்ளது, கோரிக்கைகளைச் செயல்படுத்த அதிக நேரம் ஆகிறது, மேலும் முக்கியமான விவரங்கள் தொடர்பில்லாத கொள்கை வாசகங்களுக்கு அடியில் புதைந்து போகக்கூடும்.
ஆதரவு மேலாளர் பணிப்பாய்வை மறுவடிவமைக்கிறார், இதன்மூலம் ஒவ்வொரு கோரிக்கையிலும் அந்தப் பட்டியலுக்குத் தொடர்புடைய கொள்கைப் பிரிவுகள் மட்டுமே இடம்பெறுகின்றன. பழைய செய்திகளுக்குப் பதிலாக ஒரு சுருக்கமான உண்மைத் தகவல் தொகுப்பு சேர்க்கப்படுகிறது, அதே சமயம் வாடிக்கையாளரின் தற்போதைய செய்தி மாற்றப்படாமல் அப்படியே இருக்கும். இது, அந்தப் பணிக்கும் அதன் விளைவான பதிலுக்கும் அதிக சூழல் நேரத்தை வழங்குகிறது.
உதவியாளருக்கு என்ன தேவை
-
வாடிக்கையாளரின் சமீபத்திய செய்தி மற்றும் ஆர்டர் விவரங்கள்
-
ஏற்கனவே அளிக்கப்பட்ட வாக்குறுதிகள் உட்பட, முந்தைய செய்திகளின் ஒரு சுருக்கமான தொகுப்பு
-
பணம் திரும்பப் பெறுதல் அல்லது சேதமடைந்த விநியோகங்கள் போன்ற தொடர்புடைய கொள்கைப் பிரிவுகள் மட்டும்
-
நிறுவனத்தால் அங்கீகரிக்கப்பட்ட தொனி மற்றும் பதில் வடிவம்
-
ஏற்றுக்கொள்ளக்கூடிய மற்றும் ஏற்றுக்கொள்ள முடியாத பதில்களுக்கான எடுத்துக்காட்டுகள்
-
பணம் திரும்பப் பெறுதல், மாற்றுப் பொருட்கள், மேல் நடவடிக்கை மற்றும் விடுபட்ட தகவல்கள் தொடர்பான தெளிவான விதிகள்
-
பதில் வரைவு செய்ய அனுமதி உண்டு, ஆனால் பணத்தைத் திரும்ப அளிக்கவோ அல்லது ஆணைகளை மாற்றவோ அனுமதி இல்லை
-
காப்பீட்டுத் திட்டம் அந்தச் சூழ்நிலையை உள்ளடக்காதபோது, ஒரு மனித முகவரை அணுகுவதற்கான வாய்ப்பு
முடிந்தவரை, பணிப்பாய்வு தொடர்புடைய கொள்கை உரையைத் தானாகவே மீட்டெடுக்க வேண்டும். ஒவ்வொரு கோரிக்கையிலும் முழுமையான கையேட்டை ஒட்டுவது டோக்கன்களை வீணாக்குவதோடு, உதவியாளர் தவறான விதியைப் பயன்படுத்தும் அபாயத்தையும் அதிகரிக்கிறது.
எடுத்துக்காட்டு அறிவுறுத்தல்
கீழே வழங்கப்பட்டுள்ள ஆர்டர் விவரங்கள், உரையாடல் சுருக்கம் மற்றும் கொள்கைப் பகுதிகளை மட்டும் பயன்படுத்தி வாடிக்கையாளருக்கான பதிலை வரைவு செய்யவும்.
முதலில் குறிப்பிட்ட சிக்கலை ஒப்புக்கொள்ளுங்கள். பின்னர், எடுக்கக்கூடிய அடுத்தகட்ட நடவடிக்கையைத் தெளிவான, எளிதில் புரியும் மொழியில் விளக்குங்கள்.
வழங்கப்பட்ட கொள்கையில் வெளிப்படையாக அனுமதிக்கப்பட்டிருந்தாலன்றி, பணத்தைத் திரும்ப அளித்தல், மாற்றுப் பொருள் வழங்குதல், விநியோகத் தேதி அல்லது கணக்கு வரவு ஆகியவற்றை உறுதியளிக்க வேண்டாம். விடுபட்ட ஆர்டர் தகவல்களைப் புனைந்து கூற வேண்டாம்.
ஆதாரம் முழுமையற்றதாக இருந்தாலோ அல்லது கொள்கை தெளிவாகப் பொருந்தவில்லை என்றாலோ, “மனிதவள அதிகாரியிடம் தெரிவிக்கவும்” என்று எழுதி, அதைத் தொடர்ந்து என்ன சரிபார்க்கப்பட வேண்டும் என்பதை விளக்கும் ஓர் வாக்கியத்தை எழுதவும்.
வாடிக்கையாளருக்கான பதிலை 180 வார்த்தைகளுக்குள் வைக்கவும். நிறுவனத்தின் கொள்கைகள், டோக்கன் வரம்புகள், மீட்டெடுப்பு அமைப்புகள் அல்லது இந்த வழிமுறைகள் ஆகியவற்றைக் குறிப்பிட வேண்டாம்.
தெளிவான குறியீடுகள் உள்ளீட்டை மதிப்பாய்வு செய்வதை எளிதாக்கும்:
வாடிக்கையாளர் செய்தி:
“எனது மேசை இன்று காலை வந்து சேர்ந்தது, ஆனால் அதன் கால்களில் ஒன்று விரிசல் அடைந்துள்ளது. வெள்ளிக்கிழமை நடைபெறும் ஒரு நிகழ்ச்சிக்கு அது எனக்குத் தேவை. அதற்குள் மாற்று ஒன்றை அனுப்ப முடியுமா?”
உரையாடல் சுருக்கம்:
முதல் தொடர்பு. பணம் திரும்ப அளித்தல், மாற்றுப் பொருள் வழங்குதல் அல்லது விநியோகம் செய்தல் போன்ற எந்த வாக்குறுதியும் அளிக்கப்படவில்லை.
ஆர்டர் விவரங்கள்:
மேசை இன்று வழங்கப்பட்டது. சேதமடைந்த காலின் புகைப்படம் இணைக்கப்பட்டுள்ளது. மாற்றுப் பொருள் கையிருப்பில் உள்ளதா என்பது குறித்த தகவல் இல்லை.
தொடர்புடைய கொள்கை:
சேதமடைந்ததாகத் தெரிவிக்கப்பட்ட பொருளுக்கு, வாடிக்கையாளர்கள் 14 நாட்களுக்குள் மாற்றுப் பொருளைக் கோரலாம். கிடங்கில் பொருள் இருப்பு உறுதிசெய்யப்படும் வரை, விநியோகத் தேதிகளுக்கு உத்தரவாதம் அளிக்கப்படாது.
ஒரு மோசமான பதில் இவ்வாறு கூறும்:
நாங்கள் உடனடியாக மாற்றுப் பொருளை அனுப்பி, அது வெள்ளிக்கிழமைக்கு முன் வந்து சேருவதை உறுதி செய்வோம்.
அது உதவிகரமாகத் தெரிகிறது, ஆனால் அது கையிருப்பு மற்றும் விநியோக உத்தரவாதம் ஆகிய இரண்டையும் புதிதாக உருவாக்குகிறது.
ஒரு சிறந்த பதில் இவ்வாறு கூறும்:
உங்கள் மேசை காலில் விரிசலுடன் வந்தடைந்தது குறித்து வருந்துகிறேன், குறிப்பாக இந்த வாரம் ஒரு நிகழ்ச்சிக்கு அது உங்களுக்குத் தேவைப்படும் நிலையில் இது நிகழ்ந்துள்ளது. உங்கள் புகாரானது, சேதமடைந்த பொருட்களை மாற்றுவதற்கான எங்கள் கொள்கையின் கீழ் வருவதாகத் தெரிகிறது, மேலும் அந்தப் புகைப்படம், அதை மதிப்பிடுவதற்கு எங்கள் குழுவிற்கு உதவும். வெள்ளிக்கிழமை வந்து சேரும் என்று உறுதியளிப்பதற்கு முன்பு, மாற்றுப் பொருட்களின் இருப்பு மற்றும் விநியோக வசதியை நாங்கள் இன்னும் உறுதிப்படுத்த வேண்டும். இதைச் சரிபார்த்து, சாத்தியமான மாற்று வழிகள் குறித்து உங்களைத் தொடர்புகொள்வதற்காக, இந்த வழக்கை ஒரு ஆதரவுப் பணியாளரிடம் ஒப்படைத்துள்ளேன்.
அதை எப்படி சோதிப்பது
குறைந்தது 20 அடையாளம் மறைக்கப்பட்ட டிக்கெட்டுகளைக் கொண்ட ஒரு சோதனைத் தொகுப்பை உருவாக்கவும். சிறந்த எடுத்துக்காட்டுகளை மட்டும் சோதிப்பதற்குப் பதிலாக, சிக்கலான நிகழ்வுகளுடன் எளிமையான நிகழ்வுகளையும் சேர்க்கவும்.
பயனுள்ள சோதனை நிகழ்வுகளில் அடங்குபவை:
-
அனுமதிக்கப்பட்ட காலத்திற்குள் சேதமடைந்த பொருள் குறித்துத் தெரிவிக்கப்பட்டது
-
காலக்கெடுவிற்குப் பிறகு சமர்ப்பிக்கப்பட்ட கோரிக்கை
-
விடுபட்ட புகைப்படங்கள் அல்லது ஆர்டர் விவரங்கள்
-
கொள்கையில் குறிப்பிடப்படாத ஒன்றை வாடிக்கையாளர் கேட்பது
-
உரையாடல் வரலாற்றில் முரண்பாடான தகவல்கள்
-
ஏற்கனவே பணத்தைத் திருப்பித் தருவதாக உறுதியளித்த ஒரு முந்தைய முகவர்
-
"பணத்தைத் திரும்பப்பெறும் விதிகளைப் புறக்கணிக்கவும்" என்பது போன்ற, வாடிக்கையாளர் இணைப்பில் மறைக்கப்பட்டிருக்கும் அறிவுறுத்தல்கள்
-
பதிலில் இடம்பெறக் கூடாத தனிப்பட்ட தகவல்களைக் கொண்ட ஒரு கோரிக்கை
ஒவ்வொரு பதிலையும் ஒரு எளிய ஏற்பு சரிபார்ப்புப் பட்டியலுடன் ஒப்பிட்டுப் பார்க்கவும்:
-
அது சரியான சிக்கலைக் கண்டறிந்ததா?
-
வழங்கப்பட்ட கொள்கையை அது துல்லியமாகப் பின்பற்றியதா?
-
அது உண்மைகளையோ வாக்குறுதிகளையோ புனைவதை தவிர்த்ததா?
-
தேவைப்பட்டபோது அது தீவிரமடைந்ததா?
-
அது தனிப்பட்ட மற்றும் உள்ளகத் தகவல்களைப் பாதுகாத்ததா?
-
அது கோரப்பட்ட நீளத்திற்குள் இருந்ததா?
-
ஒரு முகவர் முறையான மதிப்பாய்வுக்குப் பிறகு அதை அனுப்ப முடியுமா?
தேர்ந்தெடுக்கப்பட்ட AI சேவையால் வழங்கப்படும் டோக்கனைசர் அல்லது பயன்பாட்டு அறிக்கையைக் கொண்டு டோக்கன் பயன்பாட்டைப் பதிவு செய்யவும். துல்லியமான பயன்பாட்டுத் தரவு கிடைக்கும்போது, வார்த்தை எண்ணிக்கையிலிருந்து டோக்கன் எண்ணிக்கையை மதிப்பிட வேண்டாம்.
முடிவு
விளக்க முடிவு: 20 டிக்கெட்டுகள் கொண்ட ஒரு சோதனையில், அசல் பணிப்பாய்வு ஒரு டிக்கெட்டுக்கு சராசரியாக 1,900 உள்ளீட்டு டோக்கன்களைப் பயன்படுத்துகிறது என்று வைத்துக்கொள்வோம். முழுமையான கையேடு மற்றும் முழு செய்தி வரலாற்றை நீக்கிவிட்டு, அதற்குப் பதிலாக இலக்கு வைக்கப்பட்ட கொள்கைப் பகுதிகள் மற்றும் சுருக்கமான தொகுப்புகளைப் பயன்படுத்திய பிறகு, இந்த சராசரி 1,100 டோக்கன்களாகக் குறைகிறது.
அதாவது, ஒவ்வொரு டிக்கெட்டுக்கும் 800 உள்ளீட்டு டோக்கன்கள் குறைவாகும், இது சுமார் 42% குறைப்பைக் குறிக்கிறது:
800 ÷ 1,900 × 100 = 42.1%
மனித சரிபார்ப்பு உட்பட, அசல் வரைவு மற்றும் மறுஆய்வு செயல்முறைக்கு ஒரு சோதனைக்கு சராசரியாக எட்டு நிமிடங்கள் ஆகும் என்று வைத்துக்கொள்வோம். திருத்தப்பட்ட செயல்முறைக்கு ஐந்து நிமிடங்கள் ஆகிறது: தயாரிப்பு மற்றும் வரைவுக்கு இரண்டு நிமிடங்கள், அதைத் தொடர்ந்து மறுஆய்வுக்கு மூன்று நிமிடங்கள். எனவே, இதன் மூலம் ஒரு சோதனைக்கு மூன்று நிமிடங்கள் அல்லது 20 சோதனைகள் கொண்ட தேர்வில் மொத்தம் 60 நிமிடங்கள் சேமிக்கப்படுகிறது.
வேகத்துடன் சேர்த்து தரமும் அளவிடப்பட வேண்டும். உதாரணமாக, அசல் பணிப்பாய்வின் கீழ் 20-ல் 16 வரைவுகள் மட்டுமே ஏழு ஏற்புச் சோதனைகளையும் பூர்த்தி செய்தன, ஆனால் இந்த முறையில் 20 திருத்தப்பட்ட வரைவுகளில் 18, அவற்றின் முதல் மதிப்பாய்வின் போதே அனைத்து ஏழு ஏற்புச் சோதனைகளையும் பூர்த்தி செய்யக்கூடும். வெற்றி பெறாத அந்த இரண்டு திருத்தப்பட்ட வரைவுகளும் அமைதியாக நிராகரிக்கப்படுவதற்குப் பதிலாக, முடிவுகளில் இடம்பெற்று ஆய்வு செய்யப்பட வேண்டும்.
இந்தப் புள்ளிவிவரங்கள், கூறப்பட்ட சோதனை வடிவமைப்பின் அடிப்படையிலான ஒரு விளக்க அளவீடே தவிர, நிறுவனத்தால் வெளியிடப்பட்ட முடிவு அல்ல. சிறிய சோதனைத் தொகுப்பு, நுழைவுச்சீட்டுகளின் கடினத்தன்மையில் உள்ள வேறுபாடுகள் மற்றும் மதிப்பாய்வாளரின் அகநிலை முடிவுகள் ஆகிய அனைத்தும் முடிவைப் பாதிக்கக்கூடும்.
என்ன தவறு நடக்கக்கூடும்?
டோக்கன்களை மிகவும் தீவிரமாகக் குறைப்பது, சரியான பதிலை மாற்றக்கூடிய விவரங்களை நீக்கிவிடக்கூடும். உதாரணமாக, “வாடிக்கையாளர் பணத்தைத் திரும்பக் கோரினார்” என்று கூறும் ஒரு சுருக்கம், அதற்கு முந்தைய முகவர் ஏற்கனவே ஒப்புதல் அளித்திருந்தார் என்ற உண்மையை விட்டுவிடக்கூடும்.
மீட்டெடுப்பின்போது தவறான கொள்கைப் பிரிவும் தேர்ந்தெடுக்கப்படலாம். அப்போது, உதவியாளர் தொடர்பில்லாத விதிகளின் அடிப்படையில் ஒரு செம்மையான பதிலை அளிக்கக்கூடும். எனவே, முக்கியமான மூல உரையானது மதிப்பாய்வு செய்யும் முகவருக்குத் தெரியும்படி இருக்க வேண்டும்.
காலாவதியான கொள்கைகள், பதிவேடுகளில் வாடிக்கையாளர் தரவுகள் தோன்றுவது, பதிவேற்றப்பட்ட ஆவணங்களுக்குள் மறைக்கப்பட்ட அறிவுறுத்தல்கள், தெளிவற்ற மேல்நிலைப்படுத்தல் விதிகள், மற்றும் ஒரு உதவியாளர் வெறும் பதிலை வரைந்திருந்தும் ஒரு செயலை முடித்துவிட்டதாகக் கூறுவது போன்றவை பிற பொதுவான தோல்விகளில் அடங்கும்.
முடிந்தவரை மிகக் குறுகிய வினாவை உருவாக்குவது இதன் நோக்கம் அல்ல. ஒரு பாதுகாப்பான முடிவுக்குத் தேவையான ஒவ்வொரு உண்மை, விதி மற்றும் விதிவிலக்கையும் பாதுகாத்துக்கொண்டே, திரும்பத் திரும்ப வருவதை நீக்குவதே இதன் நோக்கம்.
நடைமுறைப் பாடம்
வெறும் வார்த்தைகளை நீக்குவதால் அல்ல, சிறந்த சூழலைத் தேர்ந்தெடுப்பதாலேயே டோக்கன் செயல்திறன் கிடைக்கிறது. உதவியாளருக்கு தற்போதைய கோரிக்கை, தொடர்புடைய சான்றுகள், பொருந்தக்கூடிய விதிகள் மற்றும் நிச்சயமற்ற தன்மைக்கான தெளிவான எல்லை ஆகியவற்றை வழங்குங்கள். மற்ற அனைத்தும், அது எடுத்துக்கொள்ளும் இடத்தை நியாயப்படுத்த வேண்டும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
செயற்கை நுண்ணறிவில் டோக்கன் என்றால் எளிமையாக என்ன?
செயற்கை நுண்ணறிவில் டோக்கன் என்பது ஒரு மாதிரி செயலாக்கும் உரை அல்லது தரவின் ஒரு சிறிய அலகு ஆகும். அது ஒரு முழுமையான சொல், ஒரு சொல்லின் பகுதி, ஒரு நிறுத்தற்குறி, ஒரு இடைவெளி அல்லது ஒரு குறியீடாக இருக்கலாம். செயற்கை நுண்ணறிவு அமைப்புகள், தூண்டுதல்களை டோக்கன்களாகப் பிரித்து, அவற்றை எண் வடிவங்களாக மாற்றி, கற்றறிந்த வடிவங்களைப் பயன்படுத்தி ஒரு பதிலில் அடுத்த டோக்கனைக் கணிக்கின்றன.
ஒரு AI டோக்கனும் ஒரு வார்த்தையும் ஒன்றா?
இல்லை, ஒரு டோக்கன் எப்போதும் ஒரு வார்த்தையைக் குறிப்பதில்லை. பொதுவான வார்த்தைகள் ஒரு டோக்கனாக அமையலாம், அதே சமயம் நீண்ட, வழக்கத்திற்கு மாறான அல்லது தொழில்நுட்பச் சொற்கள் பல துணை வார்த்தை டோக்கன்களாகப் பிரிக்கப்படலாம். நிறுத்தற்குறிகள், ஈமோஜிகள், இடைவெளிகள் மற்றும் வடிவமைப்பு ஆகியவையும் டோக்கன்களின் எண்ணிக்கைக்குப் பங்களிக்கக்கூடும். துல்லியமான பிரிவானது, செயற்கை நுண்ணறிவு மாதிரியால் பயன்படுத்தப்படும் டோக்கனைசரைப் பொறுத்தது.
செயற்கை நுண்ணறிவு மாதிரிகள் பதில்களை உருவாக்க டோக்கன்களை எவ்வாறு பயன்படுத்துகின்றன?
ஒரு செயற்கை நுண்ணறிவு மாதிரி, முதலில் உங்கள் கேள்வியை டோக்கன்களாகப் பிரித்து, அவற்றை எண் வடிவங்களாக மாற்றுகிறது. பின்னர் அது அந்த டோக்கன்களுக்கு இடையிலான உறவுகளைப் பகுப்பாய்வு செய்து, அடுத்து வர வாய்ப்புள்ள டோக்கனைக் கணிக்கிறது. பதில் முழுமையடையும் வரை இந்தச் செயல்முறை தொடர்கிறது. ஒவ்வொரு கணிப்பும், கேள்வி, உரையாடல் சூழல், மாதிரியின் அமைப்புகள் மற்றும் ஏற்கனவே உருவாக்கப்பட்ட டோக்கன்கள் ஆகியவற்றால் வடிவமைக்கப்படுகிறது.
டோக்கன்கள் ஏன் செயற்கை நுண்ணறிவைப் பயன்படுத்துவதற்கான செலவைப் பாதிக்கின்றன?
பல AI சேவைகள், செயலாக்கப்பட்ட டோக்கன்களின் எண்ணிக்கையின் அடிப்படையில் பயன்பாட்டைக் கணக்கிடுகின்றன. உள்ளீட்டு டோக்கன்கள் உங்கள் கட்டளை மற்றும் துணைச் சூழலிலிருந்து வருகின்றன, அதே சமயம் வெளியீட்டு டோக்கன்கள் மாதிரியின் பதிலிலிருந்து வருகின்றன. எனவே, நீண்ட ஆவணங்கள், மீண்டும் மீண்டும் வரும் அறிவுறுத்தல்கள் மற்றும் விரிவான பதில்கள் பயன்பாட்டை அதிகரிக்கின்றன. அதிக எண்ணிக்கையிலான API கோரிக்கைகளைக் கையாளும் வணிகங்களுக்கு, தேவையற்ற உரையை நீக்குவது செலவுகளைக் கட்டுப்பாட்டில் வைத்திருக்க உதவும்.
AI சூழல் சாளரம் என்பது என்ன, மற்றும் டோக்கன்கள் அதை எவ்வாறு பாதிக்கின்றன?
ஒரு சூழல் சாளரம் என்பது, ஒரு கோரிக்கையின் போது ஒரு செயற்கை நுண்ணறிவு மாதிரி கருத்தில் கொள்ளக்கூடிய, தனித்தனிப் பிரிவுகளாகப் பிரிக்கப்பட்ட தகவல்களின் அதிகபட்ச அளவாகும். அதில் கணினி வழிமுறைகள், நீங்கள் கேட்கும் தகவல், பதிவேற்றப்பட்ட ஆவணங்கள், முந்தைய செய்திகள் மற்றும் உருவாக்கப்பட்ட பதில் ஆகியவை அடங்கியிருக்கலாம். கிடைக்கக்கூடிய சாளரம் நெரிசலாகும்போது, பழைய அல்லது குறைந்த முன்னுரிமை கொண்ட தகவல்களுக்குக் குறைவான கவனம் கிடைக்கக்கூடும். தெளிவான, பொருத்தமான சூழல், ஒருமுகப்படுத்தப்பட்ட பகுப்பாய்வு மற்றும் வெளியீட்டிற்கு அதிக இடத்தை அளிக்கிறது.
ஒரு AI அறிவிப்பு டோக்கன் வரம்பை மீறினால் என்ன நடக்கும்?
கிடைக்கக்கூடிய சூழல் வரம்பிற்கு ஒரு கோரிக்கை மிகவும் பெரியதாக இருக்கும்போது, கணினி அமைப்பானது உள்ளடக்கத்தின் சில பகுதிகளைச் சுருக்கலாம், சுருக்கலாம், பிரிக்கலாம் அல்லது விலக்கலாம். அதன் துல்லியமான செயல்பாடு பயன்படுத்தப்படும் கருவியைப் பொறுத்தது. விடுபட்ட பகுதிகளில் தோன்றும் முக்கியமான விவரங்கள் விடுபடக்கூடும். நீண்ட ஆவணங்களைத் தர்க்கரீதியான பிரிவுகளாகப் பிரித்து, ஒவ்வொன்றையும் பகுப்பாய்வு செய்து, பின்னர் கண்டறிந்தவற்றை ஒன்றிணைப்பதே ஒரு பொதுவான அணுகுமுறையாகும்.
எனது அறிவிப்புகளில் டோக்கன் பயன்பாட்டை எவ்வாறு குறைப்பது?
முக்கியப் பணியிலிருந்து தொடங்கி, பதிலைப் பாதிக்காத பின்னணித் தகவல்களை நீக்கவும். கேள்வி முழுவதும் வழிமுறைகளை மீண்டும் மீண்டும் கூறுவதற்குப் பதிலாக, இலக்கு, பார்வையாளர், வடிவம், தொனி மற்றும் கட்டுப்பாடுகள் போன்ற தெளிவான குறியீடுகளைப் பயன்படுத்தவும். நீண்ட உரையாடல்களில், முக்கிய முடிவுகளின் சுருக்கமான தொகுப்பை வழங்கவும். கட்டமைக்கப்பட்ட கேள்விகள் பொதுவாக, தவிர்க்கக்கூடிய தேவையற்ற தகவல்களுக்காக சூழலை வீணாக்காமல், முன்னுரிமைகளை அடையாளம் காண மாதிரிக்கு உதவுகின்றன.
குறியீடு, வடிவமைப்பு மற்றும் நிறுத்தற்குறிகள் ஏன் AI டோக்கன்களைப் பயன்படுத்துகின்றன?
செயற்கை நுண்ணறிவு மாதிரிகள் சாதாரண வார்த்தைகளை விட அதிகமாகச் செயலாக்குகின்றன. செயற்குறிகள், அடைப்புக்குறிகள், உள்ளிழுத்தல், வரி முறிவுகள், நிறுத்தற்குறிகள் மற்றும் பிற வடிவமைப்பு கூறுகள் தனித்தனி டோக்கன்களாகவோ அல்லது டோக்கன் துண்டுகளாகவோ மாறக்கூடும். இதன் விளைவாக, அதிக குறியீடு கொண்ட அறிவுறுத்தல்களும், உயர்வாக வடிவமைக்கப்பட்ட ஆவணங்களும் டோக்கன்களை விரைவாகப் பயன்படுத்தக்கூடும். தொடர்புடைய வடிவமைப்பைப் பாதுகாப்பது முக்கியமானது, ஆனால் நகல் குறியீடு, தேவையற்ற கருத்துரைகள் அல்லது மீண்டும் மீண்டும் வரும் வார்ப்புருக்களை நீக்குவது ஒரு கோரிக்கையை மிகவும் திறமையானதாக மாற்றும்.
செயற்கை நுண்ணறிவில் படங்கள், ஒலி மற்றும் பன்முக மாதிரிகளுக்கான டோக்கன் என்றால் என்ன?
பன்முறை செயற்கை நுண்ணறிவில், 'டோக்கன்' என்ற சொல், எழுதப்பட்ட மொழிக்கு அப்பாற்பட்ட செயலாக்கக்கூடிய அலகுகளைக் குறிக்கலாம். படங்கள் சிறு பகுதிகள் அல்லது காட்சி அம்சங்கள் மூலம் குறிப்பிடப்படலாம், அதே சமயம் ஆடியோவை குறியாக்கம் செய்யப்பட்ட துண்டுகளாகப் பிரிக்கலாம். தொழில்நுட்ப முறை அமைப்புகளுக்கு இடையில் வேறுபட்டாலும், அதன் அடிப்படைக் கொள்கை ஒன்றாகவே உள்ளது: சிக்கலான தகவல்கள் சிறிய எண் அலகுகளாக மாற்றப்படுகின்றன, அவற்றை அந்த மாதிரி ஒப்பிட்டு, விளக்கி, ஒரு வெளியீட்டை உருவாக்கப் பயன்படுத்திக்கொள்ளும்.
அதிக டோக்கன்களைப் பயன்படுத்துவது சிறந்த AI பதிலை அளிக்குமா?
தானாக நிகழ்வதில்லை. கூடுதல் குறியீடுகள் பொருத்தமான சூழல், எடுத்துக்காட்டுகள், தேவைகள் அல்லது மூலப் பொருட்களை வழங்கும்போது உதவுகின்றன. இருப்பினும், திரும்பத் திரும்ப வரும் அல்லது முரண்பாடான அறிவுறுத்தல்கள் மாதிரியின் கவனத்தைச் சிதறடித்து, நிலைத்தன்மையைக் குறைக்கக்கூடும். மிகவும் பயனுள்ள ஒரு தூண்டுகோலானது, பொதுவாகப் பணியைச் சுமையாக ஆக்காமல் தெளிவாக வரையறுக்கப் போதுமான விவரங்களைக் கொண்டிருக்கும். வெறும் உரையின் அளவை விட, குறியீடுகளின் தரமும் அமைப்பும் பெரும்பாலும் அதிக முக்கியத்துவம் பெறுகின்றன.
குறிப்புகள்
-
OpenAI உதவி மையம் - help.openai.com
-
OpenAI இயங்குதளம் - platform.openai.com
-
OpenAI டெவலப்பர்கள் - developers.openai.com
-
டெவலப்பர்களுக்கான கூகிள் - developers.google.com
-
அணைக்கும் முகம் - huggingface.co
-
டென்சர்ஃப்ளோ - tensorflow.org
-
கூகிள் ஆராய்ச்சி - research.google