சுருக்கமான பதில்: உங்கள் பயன்பாட்டு நிலைக்கு "நல்லது" எப்படி இருக்கும் என்பதை வரையறுத்து, பின்னர் பிரதிநிதித்துவ, பதிப்பு செய்யப்பட்ட அறிவுறுத்தல்கள் மற்றும் விளிம்பு நிகழ்வுகளுடன் சோதிக்கவும். எதிரி பாதுகாப்பு மற்றும் உடனடி-ஊசி சோதனைகளுடன், மனித ரூப்ரிக் மதிப்பெண்ணுடன் தானியங்கி அளவீடுகளை இணைக்கவும். செலவு அல்லது தாமதக் கட்டுப்பாடுகள் பிணைக்கப்படும்போது, செலவழித்த பவுண்டுக்கு பணி வெற்றி மற்றும் p95/p99 மறுமொழி நேரங்களின் அடிப்படையில் மாதிரிகளை ஒப்பிடுக.
முக்கிய குறிப்புகள்:
பொறுப்புடைமை : தெளிவான உரிமையாளர்களை நியமிக்கவும், பதிப்பு பதிவுகளை வைத்திருக்கவும், எந்தவொரு தூண்டுதல் அல்லது மாதிரி மாற்றத்திற்குப் பிறகும் மதிப்பீடுகளை மீண்டும் இயக்கவும்.
வெளிப்படைத்தன்மை : மதிப்பெண்களைச் சேகரிக்கத் தொடங்குவதற்கு முன் வெற்றி அளவுகோல்கள், தடைகள் மற்றும் தோல்விச் செலவுகளை எழுதுங்கள்.
தணிக்கைத்திறன் : மீண்டும் மீண்டும் செய்யக்கூடிய சோதனை தொகுப்புகள், பெயரிடப்பட்ட தரவுத்தொகுப்புகள் மற்றும் கண்காணிக்கப்பட்ட p95/p99 தாமத அளவீடுகளைப் பராமரிக்கவும்.
போட்டித்தன்மை : சர்ச்சைக்குரிய வெளியீடுகளுக்கு மனித மதிப்பாய்வு ரூப்ரிக்ஸ் மற்றும் வரையறுக்கப்பட்ட மேல்முறையீட்டு பாதையைப் பயன்படுத்தவும்.
தவறான பயன்பாட்டு எதிர்ப்பு : ரெட்-டீம் உடனடி ஊசி, உணர்திறன் வாய்ந்த தலைப்புகள் மற்றும் பயனர்களைப் பாதுகாக்க அதிகப்படியான மறுப்பு.
நீங்கள் ஒரு தயாரிப்பு, ஆராய்ச்சி திட்டம் அல்லது ஒரு உள் கருவிக்கு ஒரு மாதிரியைத் தேர்வுசெய்தால், "அது புத்திசாலித்தனமாகத் தெரிகிறது" என்று சொல்லி அதை அனுப்ப முடியாது ( OpenAI evals வழிகாட்டி மற்றும் NIST AI RMF 1.0 ). இப்படித்தான் ஒரு ஃபோர்க்கை மைக்ரோவேவ் செய்வது எப்படி என்பதை நம்பிக்கையுடன் விளக்கும் ஒரு சாட்போட்டைப் பெறுவீர்கள். 😬
இதற்குப் பிறகு நீங்கள் படிக்க விரும்பக்கூடிய கட்டுரைகள்:
🔗 AI இன் எதிர்காலம்: அடுத்த தசாப்தத்தை வடிவமைக்கும் போக்குகள்
முக்கிய கண்டுபிடிப்புகள், வேலைவாய்ப்புகளின் தாக்கம் மற்றும் எதிர்காலத்தில் கவனிக்க வேண்டிய நெறிமுறைகள்.
🔗 தொடக்கநிலையாளர்களுக்காக விளக்கப்பட்ட ஜெனரேட்டிவ் AI இல் உள்ள அடித்தள மாதிரிகள்
அவர்கள் என்ன, எவ்வளவு பயிற்சி பெற்றவர்கள், ஏன் அவர்கள் முக்கியம் என்பதை அறிக.
🔗 AI சுற்றுச்சூழல் மற்றும் ஆற்றல் பயன்பாட்டை எவ்வாறு பாதிக்கிறது
உமிழ்வு, மின்சார தேவை மற்றும் தடயத்தைக் குறைப்பதற்கான வழிகளை ஆராயுங்கள்.
🔗 இன்று கூர்மையான படங்களுக்கு AI மேம்பாடுகள் எவ்வாறு செயல்படுகின்றன
மாதிரிகள் எவ்வாறு விவரங்களைச் சேர்க்கின்றன, சத்தத்தை நீக்குகின்றன மற்றும் சுத்தமாக பெரிதாக்குகின்றன என்பதைப் பாருங்கள்.
1) "நல்லது" என்பதை வரையறுத்தல் (அது சார்ந்துள்ளது, அது பரவாயில்லை) 🎯
எந்த மதிப்பீட்டையும் நடத்துவதற்கு முன், வெற்றி எப்படி இருக்கும் என்பதை முடிவு செய்யுங்கள். இல்லையெனில் நீங்கள் எல்லாவற்றையும் அளந்து எதையும் கற்றுக்கொள்ள மாட்டீர்கள். இது ஒரு கேக் போட்டியை மதிப்பிடுவதற்கு ஒரு டேப் அளவைக் கொண்டுவருவது போன்றது. நிச்சயமாக, உங்களுக்கு எண்கள் கிடைக்கும், ஆனால் அவை உங்களுக்கு அதிகம் சொல்லாது 😅
தெளிவுபடுத்தவும்:
-
பயனர் குறிக்கோள் : சுருக்கம், தேடல், எழுதுதல், பகுத்தறிவு, உண்மை பிரித்தெடுத்தல்.
-
தோல்விக்கான செலவு : தவறான திரைப்பட பரிந்துரை வேடிக்கையானது; தவறான மருத்துவ அறிவுறுத்தல்... வேடிக்கையானது அல்ல (ஆபத்து உருவாக்கம்: NIST AI RMF 1.0 ).
-
இயக்க நேர சூழல் : சாதனத்தில், மேகத்தில், ஃபயர்வாலுக்குப் பின்னால், ஒழுங்குபடுத்தப்பட்ட சூழலில்.
-
முதன்மை கட்டுப்பாடுகள் : தாமதம், கோரிக்கைக்கான செலவு, தனியுரிமை, விளக்கக்கூடிய தன்மை, பன்மொழி ஆதரவு, தொனி கட்டுப்பாடு.
ஒரு வேலையில் "சிறந்த" மாதிரியாக இருக்கும் ஒருவர், இன்னொரு வேலையில் பேரழிவை ஏற்படுத்தலாம். அது முரண்பாடு அல்ல, அதுதான் உண்மை. 🙂
2) எவ்வளவு உறுதியான AI மாதிரி மதிப்பீட்டு கட்டமைப்பு போல் இருக்கிறது 🧰
ஆமாம், இது மக்கள் தவிர்க்கும் பகுதி. அவர்கள் ஒரு அளவுகோலைப் பிடித்து, அதை ஒரு முறை இயக்கி, அதை ஒரு நாள் என்று அழைக்கிறார்கள். ஒரு உறுதியான மதிப்பீட்டு கட்டமைப்பில் சில நிலையான பண்புகள் உள்ளன (நடைமுறை கருவி எடுத்துக்காட்டுகள்: OpenAI Evals / OpenAI evals வழிகாட்டி ):
-
மீண்டும் மீண்டும் செய்யலாம் - அடுத்த வாரம் நீங்கள் அதை மீண்டும் இயக்கலாம் மற்றும் ஒப்பீடுகளை நம்பலாம்.
-
பிரதிநிதித்துவம் - இது உங்கள் உண்மையான பயனர்களையும் பணிகளையும் பிரதிபலிக்கிறது (அற்ப விஷயங்கள் மட்டுமல்ல)
-
பல அடுக்கு - தானியங்கி அளவீடுகள் + மனித மதிப்பாய்வு + எதிர்மறை சோதனைகளை ஒருங்கிணைக்கிறது.
-
செயல்படக்கூடியது - முடிவுகள் "மதிப்பெண் குறைந்துவிட்டது" என்பதை மட்டும் சொல்லாமல், என்ன சரிசெய்ய வேண்டும் என்பதைக் கூறும்.
-
சேதப்படுத்தாதது - "சோதனைக்குக் கற்றுக்கொடுப்பது" அல்லது தற்செயலான கசிவைத் தவிர்க்கிறது.
-
செலவு விழிப்புணர்வு - மதிப்பீடு உங்களை திவாலாக்கிவிடக் கூடாது (நீங்கள் வலியை விரும்பாவிட்டால்)
"சரி, இதை தயாரிப்புக்கு ஒப்பிட்டுப் பாருங்கள்" என்று சந்தேகப்படும் ஒரு சக ஊழியர் சொல்வதை உங்கள் மதிப்பீடு தாங்கவில்லை என்றால், அது இன்னும் முடிவடையவில்லை. அதுதான் வைப் செக்.
3) யூஸ்-கேஸ் ஸ்லைஸ்களுடன் தொடங்கி AI மாடல்களை எவ்வாறு மதிப்பிடுவது 🍰
நிறைய நேரத்தை மிச்சப்படுத்தும் ஒரு தந்திரம் இங்கே: பயன்பாட்டு வழக்கை துண்டுகளாக உடைக்கவும் .
"மாதிரியை மதிப்பிடு" என்பதற்கு பதிலாக, இதைச் செய்யுங்கள்:
-
நோக்கத்தைப் புரிந்துகொள்வது (பயனர் விரும்புவதைப் பெறுகிறதா)
-
மீட்டெடுப்பு அல்லது சூழல் பயன்பாடு (வழங்கப்பட்ட தகவலை அது சரியாகப் பயன்படுத்துகிறதா)
-
பகுத்தறிதல் / பல-படி பணிகள் (இது படிகளில் ஒத்திசைவாக இருக்கிறதா)
-
வடிவமைத்தல் மற்றும் அமைப்பு (இது வழிமுறைகளைப் பின்பற்றுகிறதா)
-
பாதுகாப்பு மற்றும் கொள்கை சீரமைப்பு (பாதுகாப்பற்ற உள்ளடக்கத்தைத் தவிர்க்குமா; NIST AI RMF 1.0 ஐப் )
-
தொனி மற்றும் பிராண்ட் குரல் (நீங்கள் ஒலிக்க விரும்புவது போல் ஒலிக்கிறதா)
இதனால் “AI மாதிரிகளை எவ்வாறு மதிப்பிடுவது” என்பது ஒரு பெரிய தேர்வாக இல்லாமல், இலக்கு வைக்கப்பட்ட வினாடி வினாக்களின் தொகுப்பாக உணரப்படுகிறது. வினாடி வினாக்கள் எரிச்சலூட்டும், ஆனால் சமாளிக்கக்கூடியவை. 😄
4) ஆஃப்லைன் மதிப்பீட்டு அடிப்படைகள் - சோதனைத் தொகுப்புகள், லேபிள்கள் மற்றும் முக்கியமான கவர்ச்சியற்ற விவரங்கள் 📦
பயனர்கள் எதையும் தொடுவதற்கு முன்பு கட்டுப்படுத்தப்பட்ட சோதனைகளைச் செய்வது ஆஃப்லைன் eval ஆகும் (பணிப்பாய்வு வடிவங்கள்: OpenAI Evals ).
உண்மையிலேயே உங்களுடைய ஒரு சோதனைத் தொகுப்பை உருவாக்குங்கள் அல்லது சேகரிக்கவும்
ஒரு நல்ல சோதனைத் தொகுப்பில் பொதுவாக பின்வருவன அடங்கும்:
-
பொன்னான உதாரணங்கள் : நீங்கள் பெருமையுடன் அனுப்பும் சிறந்த வெளியீடுகள்
-
விளிம்பு வழக்குகள் : தெளிவற்ற தூண்டுதல்கள், ஒழுங்கற்ற உள்ளீடுகள், எதிர்பாராத வடிவமைப்பு
-
தோல்வி-முறை ஆய்வுகள் : மாயத்தோற்றங்கள் அல்லது பாதுகாப்பற்ற பதில்களைத் தூண்டும் தூண்டுதல்கள் (ஆபத்து சோதனை ஃப்ரேமிங்: NIST AI RMF 1.0 )
-
பன்முகத்தன்மை கவரேஜ் : வெவ்வேறு பயனர் திறன் நிலைகள், கிளைமொழிகள், மொழிகள், களங்கள்.
நீங்கள் "சுத்தமான" தூண்டுதல்களில் மட்டுமே சோதித்தால், மாதிரி அற்புதமாகத் தோன்றும். பின்னர் உங்கள் பயனர்கள் எழுத்துப் பிழைகள், அரை வாக்கியங்கள் மற்றும் கோப-கிளிக் ஆற்றலுடன் தோன்றுவார்கள். யதார்த்தத்திற்கு வருக.
லேபிளிங் தேர்வுகள் (aka: கண்டிப்பு நிலைகள்)
நீங்கள் வெளியீடுகளை இவ்வாறு லேபிளிடலாம்:
-
பைனரி : தேர்ச்சி/தோல்வி (வேகமானது, கடுமையானது)
-
சாதாரண : 1-5 தர மதிப்பெண் (நுணுக்கமானது, அகநிலை)
-
பல பண்புக்கூறுகள் : துல்லியம், முழுமை, தொனி, மேற்கோள் பயன்பாடு போன்றவை (சிறந்தது, மெதுவானது)
பல அணிகளுக்கு பல பண்புக்கூறுகள் தான் இனிப்பான இடம். இது உணவை ருசித்து, உப்புத்தன்மையை அமைப்பிலிருந்து தனித்தனியாக மதிப்பிடுவது போன்றது. இல்லையெனில் நீங்கள் "நல்லது" என்று சொல்லிவிட்டு தோள்களைக் குலுக்கிக் கொள்வீர்கள்.
5) பொய் சொல்லாத அளவீடுகள் - மற்றும் அப்படிச் செய்யும் அளவீடுகள் 📊😅
அளவீடுகள் மதிப்புமிக்கவை... ஆனால் அவை ஒரு மினுமினுப்பான வெடிகுண்டாகவும் இருக்கலாம். பளபளப்பானது, எல்லா இடங்களிலும், சுத்தம் செய்வது கடினம்.
பொதுவான மெட்ரிக் குடும்பங்கள்
-
துல்லியம் / துல்லியமான பொருத்தம் : பிரித்தெடுத்தல், வகைப்பாடு, கட்டமைக்கப்பட்ட பணிகளுக்கு சிறந்தது.
-
F1 / துல்லியம் / நினைவுகூரு : ஏதாவது ஒன்றைத் தவறவிடும்போது பயனுள்ளதாக இருப்பது கூடுதல் சத்தத்தை விட மோசமானது (வரையறைகள்: scikit-learn precision/recall/F-score )
-
BLEU / ROUGE பாணி மேலெழுதல் : சுருக்கமான பணிகளுக்கு சரி, பெரும்பாலும் தவறாக வழிநடத்தும் (அசல் அளவீடுகள்: BLEU மற்றும் ROUGE )
-
உட்பொதித்தல் ஒற்றுமை : சொற்பொருள் பொருத்தத்திற்கு உதவியாக இருக்கும், தவறான ஆனால் ஒத்த பதில்களுக்கு வெகுமதி அளிக்கலாம்.
-
பணி வெற்றி விகிதம் : "பயனர் அவர்களுக்குத் தேவையானதைப் பெற்றாரா" என்பது நன்கு வரையறுக்கப்பட்டபோது தங்கத் தரநிலை.
-
கட்டுப்பாட்டு இணக்கம் : வடிவம், நீளம், JSON செல்லுபடியாகும் தன்மை, திட்டப் பின்பற்றல் ஆகியவற்றைப் பின்பற்றுகிறது.
முக்கிய குறிப்பு
உங்கள் பணி திறந்தநிலையில் இருந்தால் (எழுதுதல், பகுத்தறிவு, ஆதரவு அரட்டை), ஒற்றை எண் அளவீடுகள்... தள்ளாடும். அர்த்தமற்றது அல்ல, தள்ளாடும். ஒரு ஆட்சியாளரைக் கொண்டு படைப்பாற்றலை அளவிடுவது சாத்தியம், ஆனால் அதைச் செய்வதில் நீங்கள் முட்டாள்தனமாக உணருவீர்கள். (நீங்கள் உங்கள் கண்களை உற்றுப் பார்ப்பீர்கள், அநேகமாக.)
எனவே: அளவீடுகளைப் பயன்படுத்துங்கள், ஆனால் அவற்றை மனித மதிப்பாய்வு மற்றும் உண்மையான பணி முடிவுகளுடன் இணைக்கவும் (LLM-அடிப்படையிலான மதிப்பீட்டு விவாதத்தின் ஒரு எடுத்துக்காட்டு + எச்சரிக்கைகள்: G-Eval ).
6) ஒப்பீட்டு அட்டவணை - சிறந்த மதிப்பீட்டு விருப்பங்கள் (சிக்கனங்களுடன், ஏனெனில் வாழ்க்கையில் சிக்கனங்கள் உள்ளன) 🧾✨
மதிப்பீட்டு அணுகுமுறைகளின் நடைமுறை மெனு இங்கே. கலந்து பொருத்தவும். பெரும்பாலான அணிகள் செய்கின்றன.
| கருவி / முறை | பார்வையாளர்கள் | விலை | இது ஏன் வேலை செய்கிறது |
|---|---|---|---|
| கையால் கட்டப்பட்ட உடனடி சோதனை தொகுப்பு | தயாரிப்பு + பொறியியல் | $ | மிகவும் இலக்காகக் கொண்டது, பின்னடைவுகளை விரைவாகப் பிடிக்கிறது - ஆனால் நீங்கள் அதை எப்போதும் பராமரிக்க வேண்டும் 🙃 (தொடக்க கருவி: OpenAI Evals ) |
| மனித ரூப்ரிக் மதிப்பெண் குழு | மதிப்பாய்வாளர்களை விட்டுவிடக்கூடிய அணிகள் | $$ | தொனி, நுணுக்கம், "ஒரு மனிதன் இதை ஏற்றுக்கொள்வானா", விமர்சகர்களைப் பொறுத்து லேசான குழப்பம் ஆகியவற்றிற்கு சிறந்தது |
| LLM-as-judge (rubrics உடன்) | வேகமான மறு செய்கை சுழல்கள் | $-$$ | விரைவானது மற்றும் அளவிடக்கூடியது, ஆனால் சார்புகளைப் பெறலாம் மற்றும் சில சமயங்களில் உண்மைகளை அல்லாமல் அதிர்வுகளை தரப்படுத்தலாம் (ஆராய்ச்சி + அறியப்பட்ட சார்பு சிக்கல்கள்: G-Eval ) |
| எதிராளியின் ரெட்-டீமிங் ஸ்பிரிண்ட் | பாதுகாப்பு + இணக்கம் | $$ | காரமான தோல்வி முறைகளைக் கண்டறிகிறது, குறிப்பாக உடனடி ஊசி - ஜிம்மில் ஒரு மன அழுத்த சோதனை போல உணர்கிறது (அச்சுறுத்தல் கண்ணோட்டம்: OWASP LLM01 உடனடி ஊசி / LLM பயன்பாடுகளுக்கான OWASP டாப் 10 ) |
| செயற்கை சோதனை உருவாக்கம் | டேட்டா-லைட் குழுக்கள் | $ | சிறந்த கவரேஜ், ஆனால் செயற்கை அறிவுறுத்தல்கள் மிகவும் நேர்த்தியாகவும், மிகவும் கண்ணியமாகவும் இருக்கலாம்... பயனர்கள் கண்ணியமாக இல்லை |
| உண்மையான பயனர்களுடன் A/B சோதனை | முதிர்ந்த தயாரிப்புகள் | $$$ | தெளிவான சமிக்ஞை - அளவீடுகள் மாறும்போது மிகவும் உணர்ச்சி ரீதியாக அழுத்தமாகவும் இருக்கும் (கிளாசிக் நடைமுறை வழிகாட்டி: கோஹவி மற்றும் பலர், “இணையத்தில் கட்டுப்படுத்தப்பட்ட பரிசோதனைகள்” ) |
| மீட்டெடுப்பு அடிப்படையிலான மதிப்பீடு (RAG சரிபார்ப்புகள்) | தேடல் + QA பயன்பாடுகள் | $$ | அளவீடுகள் “சூழலைச் சரியாகப் பயன்படுத்துகின்றன,” மாயத்தோற்ற மதிப்பெண் பணவீக்கத்தைக் குறைக்கின்றன (RAG மதிப்பீட்டு கண்ணோட்டம்: RAG மதிப்பீடு: ஒரு கணக்கெடுப்பு ) |
| கண்காணிப்பு + சறுக்கல் கண்டறிதல் | உற்பத்தி அமைப்புகள் | $$-$$$ | காலப்போக்கில் ஏற்படும் சீரழிவை உணர வைக்கும் - அது உங்களை காப்பாற்றும் நாள் வரை பிரகாசிக்காது 😬 (சறுக்கல் கண்ணோட்டம்: கருத்து சறுக்கல் கணக்கெடுப்பு (PMC) ) |
விலைகள் வேண்டுமென்றே குறைவாக இருப்பதைக் கவனியுங்கள். அவை அளவு, கருவிகள் மற்றும் நீங்கள் தற்செயலாக எத்தனை கூட்டங்களை உருவாக்குகிறீர்கள் என்பதைப் பொறுத்தது.
7) மனித மதிப்பீடு - மக்கள் நிதி குறைவாக வழங்கும் ரகசிய ஆயுதம் 👀🧑⚖️
நீங்கள் தானியங்கி மதிப்பீட்டை மட்டும் செய்தால், நீங்கள் தவறவிடுவீர்கள்:
-
தொனி பொருந்தாமை (“ஏன் இவ்வளவு கூச்ச சுபாவமாக இருக்கிறது”)
-
சரளமாகத் தோன்றும் நுட்பமான உண்மைப் பிழைகள்
-
தீங்கு விளைவிக்கும் தாக்கங்கள், ஸ்டீரியோடைப்கள் அல்லது மோசமான சொற்றொடர் (ஆபத்து + சார்பு ஃப்ரேமிங்: NIST AI RMF 1.0 )
-
"புத்திசாலித்தனமாக" ஒலிக்கும் வழிமுறைகளைப் பின்பற்றும் தோல்விகள்
ரூப்ரிக்ஸை கான்கிரீட் செய்யுங்கள் (அல்லது மதிப்பாய்வாளர்கள் ஃப்ரீஸ்டைல் செய்வார்கள்)
தவறான ரூப்ரிக்: “உதவி”
சிறந்த ரூப்ரிக்:
-
சரியான தன்மை : குறிப்பிட்ட செய்தி + சூழல் கொடுக்கப்பட்டால், உண்மைக்கு மிகவும் துல்லியமானது.
-
முழுமை : தேவையான புள்ளிகளை குழப்பமின்றி உள்ளடக்கியது.
-
தெளிவு : படிக்கக்கூடியது, கட்டமைக்கப்பட்ட, குறைந்தபட்ச குழப்பம்.
-
கொள்கை / பாதுகாப்பு : கட்டுப்படுத்தப்பட்ட உள்ளடக்கத்தைத் தவிர்க்கிறது, மறுப்பை சிறப்பாகக் கையாளுகிறது (பாதுகாப்பு கட்டமைப்பு: NIST AI RMF 1.0 )
-
நடை : குரல், தொனி, வாசிப்பு நிலைக்குப் பொருந்தும்.
-
நம்பகத்தன்மை : ஆதாரங்களையோ அல்லது ஆதரிக்கப்படாத கூற்றுக்களையோ கண்டுபிடிக்காது.
மேலும், சில நேரங்களில் மதிப்பீட்டாளர்களிடையே சரிபார்ப்புகளைச் செய்யுங்கள். இரண்டு மதிப்பாய்வாளர்கள் தொடர்ந்து கருத்து வேறுபாடு கொண்டால், அது "மக்கள் பிரச்சினை" அல்ல, அது ஒரு ரூப்ரிக் பிரச்சினை. பொதுவாக (மதிப்பாளர்களிடையே நம்பகத்தன்மை அடிப்படைகள்: கோஹனின் கப்பாவில் மெக்ஹக் ).
8) பாதுகாப்பு, வலிமை மற்றும் "அச்சச்சோ, பயனர்கள்" ஆகியவற்றிற்காக AI மாதிரிகளை எவ்வாறு மதிப்பிடுவது 🧯🧪
இணையம் ஒருபோதும் தூங்காததால், தொடங்குவதற்கு முன்பு நீங்கள் செய்யும் பகுதி இதுதான் - பின்னர் தொடர்ந்து செய்யுங்கள்.
வலிமை சோதனைகள் இதில் அடங்கும்
-
எழுத்துப் பிழைகள், பேச்சுப் பிழைகள், இலக்கணப் பிழைகள்
-
மிக நீண்ட குறிப்புகள் மற்றும் மிகக் குறுகிய குறிப்புகள்
-
முரண்பாடான வழிமுறைகள் (“சுருக்கமாக இருங்கள் ஆனால் ஒவ்வொரு விவரத்தையும் சேர்க்கவும்”)
-
பயனர்கள் இலக்குகளை மாற்றும் பல திருப்ப உரையாடல்கள்
-
உடனடி ஊசி முயற்சிகள் ("முந்தைய விதிகளைப் புறக்கணிக்கவும்...") (அச்சுறுத்தல் விவரங்கள்: OWASP LLM01 உடனடி ஊசி )
-
கவனமாக மறுக்க வேண்டிய உணர்திறன் வாய்ந்த தலைப்புகள் (ஆபத்து/பாதுகாப்பு கட்டமைப்பு: NIST AI RMF 1.0 )
பாதுகாப்பு மதிப்பீடு என்பது "அது மறுக்கிறதா" என்பது மட்டுமல்ல
ஒரு நல்ல மாதிரி இருக்க வேண்டும்:
-
பாதுகாப்பற்ற கோரிக்கைகளை தெளிவாகவும் அமைதியாகவும் மறுக்கவும் (வழிகாட்டுதல் கட்டமைப்பு: NIST AI RMF 1.0 )
-
பொருத்தமான போது பாதுகாப்பான மாற்றுகளை வழங்கவும்
-
தீங்கற்ற கேள்விகளை அதிகமாக மறுப்பதைத் தவிர்க்கவும் (தவறான நேர்மறைகள்)
-
தெளிவற்ற கோரிக்கைகளை தெளிவுபடுத்தும் கேள்விகளுடன் கையாளவும் (அனுமதிக்கப்படும்போது)
அதிகப்படியான மறுப்பு என்பது ஒரு உண்மையான தயாரிப்பு பிரச்சனை. பயனர்கள் சந்தேகத்திற்கிடமான பூதங்களைப் போல நடத்தப்படுவதை விரும்புவதில்லை. 🧌 (அவர்கள் சந்தேகத்திற்கிடமான பூதங்களாக இருந்தாலும் கூட.)
9) செலவு, தாமதம் மற்றும் செயல்பாட்டு யதார்த்தம் - அனைவரும் மறந்துவிடும் மதிப்பீடு 💸⏱️
ஒரு மாதிரி "அற்புதமாக" இருக்கலாம், ஆனால் அது மெதுவாக, விலை உயர்ந்ததாக அல்லது செயல்பாட்டு ரீதியாக உடையக்கூடியதாக இருந்தால் அது உங்களுக்கு தவறாக இருக்கலாம்.
மதிப்பிடு:
-
தாமத பரவல் (சராசரி மட்டுமல்ல - p95 மற்றும் p99 முக்கியம்) (சதவீதங்கள் ஏன் முக்கியம்: கண்காணிப்பு குறித்த Google SRE பணிப்புத்தகம் )
-
வெற்றிகரமான பணிக்கான செலவு (தனிமையில் ஒரு டோக்கனுக்கான செலவு அல்ல)
-
சுமையின் கீழ் நிலைத்தன்மை (நேரமுடிவுகள், விகித வரம்புகள், அசாதாரண கூர்முனைகள்)
-
கருவி அழைப்பு நம்பகத்தன்மை (அது செயல்பாடுகளைப் பயன்படுத்தினால், அது செயல்படுகிறதா)
-
வெளியீட்டு நீளப் போக்குகள் (சில மாதிரிகள் அலைபாய்கின்றன, அலைபாய்வதற்கு பணம் செலவாகும்)
இரண்டு மடங்கு வேகத்தில் இயங்கும் சற்று மோசமான மாடல் நடைமுறையில் வெற்றி பெறும். அது வெளிப்படையாகத் தெரிந்தாலும், மக்கள் அதைப் புறக்கணிக்கிறார்கள். மளிகைக் கடைக்குச் செல்ல ஸ்போர்ட்ஸ் கார் வாங்குவது போல, பின்னர் டிரங்க் இடத்தைப் பற்றி புகார் செய்வது போல.
10) நீங்கள் நகலெடுக்க (மற்றும் மாற்றியமைக்க) கூடிய ஒரு எளிய முழுமையான பணிப்பாய்வு 🔁✅
முடிவில்லா சோதனைகளில் சிக்கிக் கொள்ளாமல் AI மாதிரிகளை எவ்வாறு மதிப்பிடுவது என்பதற்கான நடைமுறை ஓட்டம் இங்கே
-
வெற்றியை வரையறுக்கவும் : பணி, கட்டுப்பாடுகள், தோல்வி செலவுகள்.
-
ஒரு சிறிய "மைய" சோதனை தொகுப்பை உருவாக்கவும் : உண்மையான பயன்பாட்டை பிரதிபலிக்கும் 50-200 எடுத்துக்காட்டுகள்.
-
விளிம்பு மற்றும் எதிராளி தொகுப்புகளைச் சேர்க்கவும் : ஊசி முயற்சிகள், தெளிவற்ற தூண்டுதல்கள், பாதுகாப்பு ஆய்வுகள் (உடனடி ஊசி வகுப்பு: OWASP LLM01 )
-
தானியங்கி சரிபார்ப்புகளை இயக்கவும் : வடிவமைத்தல், JSON செல்லுபடியாகும் தன்மை, சாத்தியமான இடங்களில் அடிப்படை சரியான தன்மை.
-
மனித மதிப்பாய்வை இயக்கு : வகைகளில் மாதிரி வெளியீடுகள், ரூப்ரிக் மூலம் மதிப்பெண்
-
தரத்தை ஒப்பிடுக : செலவு vs தாமதம் vs பாதுகாப்பு
-
வரையறுக்கப்பட்ட வெளியீட்டில் முன்னோடி : A/B சோதனைகள் அல்லது நிலைப்படுத்தப்பட்ட வெளியீடு (A/B சோதனை வழிகாட்டி: கோஹவி மற்றும் பலர். )
-
உற்பத்தியில் கண்காணிப்பு : சறுக்கல், பின்னடைவுகள், பயனர் கருத்து சுழல்கள் (சறுக்கல் கண்ணோட்டம்: கருத்து சறுக்கல் கணக்கெடுப்பு (PMC) )
-
மீண்டும் செய்யவும் : புதுப்பிப்பு அறிவிப்புகள், மீட்டெடுப்பு, நன்றாகச் சரிசெய்தல், பாதுகாப்புத் தண்டவாளங்கள், பின்னர் eval ஐ மீண்டும் இயக்கவும் (மதிப்பீட்டு மறு செய்கை வடிவங்கள்: OpenAI evals வழிகாட்டி )
பதிப்பு பதிவுகளை வைத்திருங்கள். அது வேடிக்கையாக இருப்பதால் அல்ல, ஆனால் எதிர்காலத்தில் - ஒரு காபியை கையில் பிடித்துக்கொண்டு "என்ன மாறிவிட்டது..." என்று முணுமுணுக்கும்போது நீங்கள் உங்களுக்கு நன்றி கூறுவீர்கள் என்பதற்காக ☕🙂
11) பொதுவான தவறுகள் (aka: மக்கள் தற்செயலாக தங்களைத் தாங்களே ஏமாற்றிக் கொள்ளும் வழிகள்) 🪤
-
சோதனைக்கான பயிற்சி : பெஞ்ச்மார்க் சிறப்பாகத் தோன்றும் வரை நீங்கள் ப்ராம்ட்களை மேம்படுத்துகிறீர்கள், ஆனால் பயனர்கள் பாதிக்கப்படுகிறார்கள்.
-
கசிந்த மதிப்பீட்டுத் தரவு : பயிற்சி அல்லது ஃபைன்-ட்யூனிங் தரவில் சோதனைத் தூண்டுதல்கள் காண்பிக்கப்படும் (அச்சச்சோ)
-
ஒற்றை மெட்ரிக் வழிபாடு : பயனர் மதிப்பைப் பிரதிபலிக்காத ஒரு மதிப்பெண்ணைத் துரத்துதல்.
-
விநியோக மாற்றத்தைப் புறக்கணித்தல் : பயனர் நடத்தை மாறுகிறது மற்றும் உங்கள் மாதிரி அமைதியாகச் சீரழிகிறது (உற்பத்தி ஆபத்து கட்டமைப்பு: கருத்து சறுக்கல் கணக்கெடுப்பு (PMC) )
-
"புத்திசாலித்தனம்" பற்றிய அதிகப்படியான குறியீட்டு முறை : புத்திசாலித்தனமான பகுத்தறிவு வடிவமைப்பை உடைக்கிறதா அல்லது உண்மைகளை கண்டுபிடித்ததா என்பது முக்கியமல்ல.
-
மறுப்பு தரத்தை சோதிக்கவில்லை : "இல்லை" என்பது சரியாக இருக்கலாம், ஆனால் இன்னும் மோசமான UX
மேலும், டெமோக்களைப் பற்றி எச்சரிக்கையாக இருங்கள். டெமோக்கள் திரைப்பட டிரெய்லர்களைப் போன்றவை. அவை சிறப்பம்சங்களைக் காட்டுகின்றன, மெதுவான பகுதிகளை மறைக்கின்றன, எப்போதாவது நாடக இசையுடன் இருக்கும். 🎬
12) AI மாதிரிகளை எவ்வாறு மதிப்பிடுவது என்பது குறித்த இறுதிச் சுருக்கம் 🧠✨
AI மாதிரிகளை மதிப்பிடுவது என்பது ஒரு மதிப்பெண் அல்ல, அது ஒரு சீரான உணவு. உங்களுக்கு புரதம் (சரியானது), காய்கறிகள் (பாதுகாப்பு), கார்போஹைட்ரேட்டுகள் (வேகம் மற்றும் செலவு), ஆம், சில நேரங்களில் இனிப்பு (தொனி மற்றும் மகிழ்ச்சி) தேவை 🍲🍰 (ஆபத்து ஃப்ரேமிங்: NIST AI RMF 1.0 )
வேறு எதுவும் நினைவில் இல்லை என்றால்:
-
உங்கள் பயன்பாட்டு சூழலுக்கு "நல்லது" என்றால் என்ன என்பதை வரையறுக்கவும்
-
பிரபலமான வரையறைகளை மட்டுமல்லாமல், பிரதிநிதித்துவ சோதனைத் தொகுப்புகளைப் பயன்படுத்தவும்
-
தானியங்கு அளவீடுகளை மனித ரூப்ரிக் மதிப்பாய்வுடன் இணைக்கவும்
-
பயனர்கள் எதிரிகளாக இருப்பது போல வலிமை மற்றும் பாதுகாப்பை சோதிக்கவும் (ஏனென்றால் சில நேரங்களில்... அவர்கள் அப்படித்தான்) (உடனடி ஊசி வகுப்பு: OWASP LLM01 )
-
மதிப்பீட்டில் செலவு மற்றும் தாமதத்தை பின் சிந்தனையாக அல்லாமல் சேர்க்கவும் (சதவீதங்கள் ஏன் முக்கியம்: கூகிள் SRE பணிப்புத்தகம் )
-
அறிமுகப்படுத்தப்பட்ட பிறகு கண்காணிப்பு - மாதிரிகள் நகர்கின்றன, பயன்பாடுகள் உருவாகின்றன, மனிதர்கள் படைப்பாற்றல் பெறுகிறார்கள் (சறுக்கல் கண்ணோட்டம்: கருத்து சறுக்கல் கணக்கெடுப்பு (PMC) )
உங்கள் தயாரிப்பு வெளியிடப்படும்போதும், மக்கள் எதிர்பாராத விஷயங்களைச் செய்யத் தொடங்கும் போதும், AI மாதிரிகளை எவ்வாறு மதிப்பிடுவது என்பது இதுதான்
அடிக்கடி கேட்கப்படும் கேள்விகள்
ஒரு உண்மையான தயாரிப்புக்கான AI மாதிரிகளை மதிப்பிடுவதற்கான முதல் படி என்ன?
உங்கள் குறிப்பிட்ட பயன்பாட்டு சூழ்நிலைக்கு "நல்லது" என்றால் என்ன என்பதை வரையறுப்பதன் மூலம் தொடங்கவும். பயனர் இலக்கை, தோல்விகள் உங்களுக்கு என்ன விலையை (குறைந்த-பங்குகள் vs அதிக-பங்குகள்) மற்றும் மாதிரி எங்கு இயங்கும் (கிளவுட், சாதனத்தில், ஒழுங்குபடுத்தப்பட்ட சூழல்) ஆகியவற்றைக் குறிப்பிடவும். பின்னர் தாமதம், செலவு, தனியுரிமை மற்றும் தொனி கட்டுப்பாடு போன்ற கடுமையான கட்டுப்பாடுகளை பட்டியலிடுங்கள். இந்த அடித்தளம் இல்லாமல், நீங்கள் நிறைய அளவிடுவீர்கள், ஆனால் இன்னும் மோசமான முடிவை எடுப்பீர்கள்.
எனது பயனர்களை உண்மையிலேயே பிரதிபலிக்கும் ஒரு சோதனைத் தொகுப்பை எவ்வாறு உருவாக்குவது?
வெறும் பொது அளவுகோலாக இல்லாமல், உண்மையிலேயே உங்களுடையதாக இருக்கும் ஒரு சோதனைத் தொகுப்பை உருவாக்குங்கள். நீங்கள் பெருமையுடன் அனுப்பும் பொன்னான எடுத்துக்காட்டுகள், எழுத்துப் பிழைகள், அரை வாக்கியங்கள் மற்றும் தெளிவற்ற கோரிக்கைகளுடன் சத்தமாக, காட்டுத்தனமான தூண்டுதல்களைச் சேர்க்கவும். மாயத்தோற்றங்கள் அல்லது பாதுகாப்பற்ற பதில்களைத் தூண்டும் எட்ஜ் கேஸ்கள் மற்றும் தோல்வி-பயன்முறை ஆய்வுகளைச் சேர்க்கவும். திறன் நிலை, பேச்சுவழக்குகள், மொழிகள் மற்றும் களங்களில் பன்முகத்தன்மையை உள்ளடக்குங்கள், இதனால் முடிவுகள் உற்பத்தியில் சரிந்துவிடாது.
நான் எந்த அளவீடுகளைப் பயன்படுத்த வேண்டும், எவை தவறாக வழிநடத்தக்கூடும்?
பணி வகைக்கு அளவீடுகளைப் பொருத்துங்கள். துல்லியமான பொருத்தம் மற்றும் துல்லியம் பிரித்தெடுத்தல் மற்றும் கட்டமைக்கப்பட்ட வெளியீடுகளுக்கு நன்றாக வேலை செய்கின்றன, அதே நேரத்தில் துல்லியம்/நினைவூட்டல் மற்றும் F1 ஆகியவை ஏதாவது தவறவிடும்போது கூடுதல் சத்தத்தை விட மோசமானதாக இருக்கும். BLEU/ROUGE போன்ற ஒன்றுடன் ஒன்று அளவீடுகள் திறந்தநிலை பணிகளுக்கு தவறாக வழிநடத்தக்கூடும், மேலும் ஒற்றுமையை உட்பொதிப்பது "தவறான ஆனால் ஒத்த" பதில்களுக்கு வெகுமதி அளிக்கும். எழுத்து, ஆதரவு அல்லது பகுத்தறிவுக்கு, அளவீடுகளை மனித மதிப்பாய்வு மற்றும் பணி வெற்றி விகிதங்களுடன் இணைக்கவும்.
மதிப்பீடுகளை மீண்டும் மீண்டும் செய்யக்கூடியதாகவும் உற்பத்தி தரமாகவும் எவ்வாறு கட்டமைக்க வேண்டும்?
ஒரு உறுதியான மதிப்பீட்டு கட்டமைப்பு மீண்டும் மீண்டும் செய்யக்கூடியது, பிரதிநிதித்துவப்படுத்தக்கூடியது, பல அடுக்குகளைக் கொண்டது மற்றும் செயல்படக்கூடியது. தானியங்கி சோதனைகளை (வடிவம், JSON செல்லுபடியாகும் தன்மை, அடிப்படை சரியான தன்மை) மனித ரூப்ரிக் மதிப்பெண் மற்றும் எதிர் சோதனைகளுடன் இணைக்கவும். கசிவைத் தவிர்ப்பதன் மூலமும் "சோதனைக்குக் கற்பிப்பதன் மூலமும்" அதை சேதப்படுத்தாததாக மாற்றவும். மதிப்பீட்டை செலவு-விழிப்புடன் வைத்திருங்கள், இதன் மூலம் நீங்கள் அதை தொடங்குவதற்கு முன்பு ஒரு முறை மட்டுமல்ல, அடிக்கடி மீண்டும் இயக்க முடியும்.
குழப்பமாக மாறாமல் மனித மதிப்பீட்டைச் செய்வதற்கான சிறந்த வழி எது?
மதிப்பாய்வாளர்கள் ஃப்ரீஸ்டைல் செய்யாமல் இருக்க ஒரு குறிப்பிட்ட ரூப்ரிக்கைப் பயன்படுத்தவும். சரியான தன்மை, முழுமை, தெளிவு, பாதுகாப்பு/கொள்கை கையாளுதல், பாணி/குரல் பொருத்தம் மற்றும் நம்பகத்தன்மை (உரிமைகோரல்கள் அல்லது ஆதாரங்களைக் கண்டுபிடிப்பது அல்ல) போன்ற பண்புகளை மதிப்பிடுங்கள். அவ்வப்போது மதிப்பீட்டாளர்களுக்கு இடையிலான ஒப்பந்தத்தைச் சரிபார்க்கவும்; மதிப்பாய்வாளர்கள் தொடர்ந்து உடன்படவில்லை என்றால், ரூப்ரிக்கிற்கு சுத்திகரிப்பு தேவைப்படும். தொனி பொருந்தாத தன்மை, நுட்பமான உண்மைப் பிழைகள் மற்றும் அறிவுறுத்தல்-பின்வரும் தோல்விகளுக்கு மனித மதிப்பாய்வு மிகவும் மதிப்புமிக்கது.
பாதுகாப்பு, வலிமை மற்றும் உடனடி ஊசி அபாயங்களை எவ்வாறு மதிப்பிடுவது?
“அச்சச்சோ, பயனர்கள்” உள்ளீடுகளுடன் சோதிக்கவும்: எழுத்துப் பிழைகள், பேச்சுவழக்கு, முரண்படும் வழிமுறைகள், மிக நீண்ட அல்லது மிகக் குறுகிய அறிவுறுத்தல்கள் மற்றும் பல-திருப்ப இலக்கு மாற்றங்கள். “முந்தைய விதிகளைப் புறக்கணிக்கவும்” போன்ற உடனடி ஊசி முயற்சிகள் மற்றும் கவனமாக மறுப்பது தேவைப்படும் உணர்திறன் வாய்ந்த தலைப்புகள் ஆகியவை அடங்கும். நல்ல பாதுகாப்பு செயல்திறன் என்பது மறுப்பது மட்டுமல்ல - அது தெளிவாக மறுப்பது, பொருத்தமான இடங்களில் பாதுகாப்பான மாற்றுகளை வழங்குவது மற்றும் UX ஐ பாதிக்கும் தீங்கற்ற வினவல்களை அதிகமாக மறுப்பது.
யதார்த்தத்துடன் பொருந்தக்கூடிய வகையில் செலவு மற்றும் தாமதத்தை எவ்வாறு மதிப்பிடுவது?
சராசரிகளை மட்டும் அளவிட வேண்டாம் - தாமத விநியோகத்தைக் கண்காணிக்கவும், குறிப்பாக p95 மற்றும் p99. வெற்றிகரமான பணிக்கான செலவை தனித்தனியாக மதிப்பிடாமல், ஒரு டோக்கனுக்கான செலவை மதிப்பிடுங்கள், ஏனெனில் மறு முயற்சிகள் மற்றும் அலைந்து திரியும் வெளியீடுகள் சேமிப்பை அழிக்கக்கூடும். சுமையின் கீழ் நிலைத்தன்மையை சோதிக்கவும் (நேர முடிவு, விகித வரம்புகள், ஸ்பைக்குகள்) மற்றும் கருவி/செயல்பாட்டு அழைப்பு நம்பகத்தன்மை. இரண்டு மடங்கு வேகமான அல்லது அதிக நிலையான சற்று மோசமான மாதிரி சிறந்த தயாரிப்பு தேர்வாக இருக்கலாம்.
AI மாதிரிகளை மதிப்பிடுவதற்கான எளிய முழுமையான பணிப்பாய்வு என்ன?
வெற்றி அளவுகோல்கள் மற்றும் கட்டுப்பாடுகளை வரையறுத்து, உண்மையான பயன்பாட்டை பிரதிபலிக்கும் ஒரு சிறிய மைய சோதனை தொகுப்பை (தோராயமாக 50–200 எடுத்துக்காட்டுகள்) உருவாக்கவும். பாதுகாப்பு மற்றும் ஊசி முயற்சிகளுக்கு விளிம்பு மற்றும் எதிர்நிலை தொகுப்புகளைச் சேர்க்கவும். தானியங்கி சோதனைகளை இயக்கவும், பின்னர் மனித ரூப்ரிக் மதிப்பெண்ணுக்கான மாதிரி வெளியீடுகளை இயக்கவும். தரம் vs செலவு vs தாமதம் vs பாதுகாப்பு, வரையறுக்கப்பட்ட வெளியீட்டுடன் பைலட் அல்லது A/B சோதனையுடன் ஒப்பிடவும், மற்றும் சறுக்கல் மற்றும் பின்னடைவுகளுக்கான உற்பத்தியில் கண்காணிக்கவும்.
மாதிரி மதிப்பீட்டில் அணிகள் தற்செயலாக தங்களை ஏமாற்றிக் கொள்ளும் பொதுவான வழிகள் யாவை?
பயனர்கள் பாதிக்கப்படும் போது ஒரு அளவுகோலை மேம்படுத்துவதற்கான தூண்டுதல்களை மேம்படுத்துதல், மதிப்பீட்டு தூண்டுதல்களை பயிற்சி அல்லது தரவை நன்றாகச் சரிசெய்தல் ஆகியவற்றில் கசியவிடுதல் மற்றும் பயனர் மதிப்பைப் பிரதிபலிக்காத ஒற்றை அளவீட்டை வணங்குதல் ஆகியவை பொதுவான பொறிகளில் அடங்கும். குழுக்கள் விநியோக மாற்றத்தையும், வடிவமைப்பு இணக்கம் மற்றும் நம்பகத்தன்மைக்கு பதிலாக "புத்திசாலித்தனம்" மீதான அதிகப்படியான குறியீட்டையும் புறக்கணிக்கின்றன, மேலும் மறுப்பு தர சோதனையைத் தவிர்க்கின்றன. டெமோக்கள் இந்த சிக்கல்களை மறைக்க முடியும், எனவே ரீல்களை முன்னிலைப்படுத்தாமல், கட்டமைக்கப்பட்ட மதிப்பீடுகளை நம்பியிருக்கலாம்.
குறிப்புகள்
-
OpenAI - OpenAI மதிப்பீடு வழிகாட்டி - platform.openai.com
-
தேசிய தரநிலைகள் மற்றும் தொழில்நுட்ப நிறுவனம் (NIST) - AI இடர் மேலாண்மை கட்டமைப்பு (AI RMF 1.0) - nist.gov
-
OpenAI - openai/evals (GitHub களஞ்சியம்) - github.com
-
scikit-learn - precision_recall_fscore_support - scikit-learn.org
-
கணக்கீட்டு மொழியியல் சங்கம் (ACL தொகுப்பு) - BLEU - aclanthology.org
-
கணக்கீட்டு மொழியியல் சங்கம் (ACL தொகுப்பு) - ROUGE - aclanthology.org
-
arXiv - ஜி-ஈவல் - arxiv.org
-
OWASP - LLM01: உடனடி ஊசி - owasp.org
-
OWASP - பெரிய மொழி மாதிரி பயன்பாடுகளுக்கான OWASP முதல் 10 இடங்கள் - owasp.org
-
ஸ்டான்போர்ட் பல்கலைக்கழகம் - கோஹவி மற்றும் பலர், “வலையில் கட்டுப்படுத்தப்பட்ட பரிசோதனைகள்” - stanford.edu
-
arXiv - RAG மதிப்பீடு: ஒரு ஆய்வு - arxiv.org
-
பப்மெட் சென்ட்ரல் (பிஎம்சி) - கருத்து சறுக்கல் கணக்கெடுப்பு (பிஎம்சி) - nih.gov
-
பப்மெட் சென்ட்ரல் (PMC) - கோஹனின் கப்பாவைப் பற்றி மெக்ஹக் - nih.gov
-
கூகிள் - கண்காணிப்பு குறித்த SRE பணிப்புத்தகம் - google.workbook