சுருக்கமான பதில்: செயற்கை நுண்ணறிவு (AI) தரவுப் பொறியாளர்களை முழுமையாக மாற்றிவிடாது; அது SQL வரைவு, பைப்லைன் ஸ்கேஃபோல்டிங், சோதனைகள் மற்றும் ஆவணப்படுத்தல் போன்ற திரும்பத் திரும்பச் செய்யப்படும் பணிகளைத் தானியக்கமாக்கும். உங்கள் பணி பெரும்பாலும் குறைந்த பொறுப்புள்ள, டிக்கெட் அடிப்படையிலானதாக இருந்தால், அது அதிக வெளிப்படைத்தன்மையைக் கொண்டிருக்கும்; நம்பகத்தன்மை, வரையறைகள், நிர்வாகம் மற்றும் சம்பவப் பதிலளிப்பு ஆகியவற்றிற்கு நீங்கள் பொறுப்பேற்றிருந்தால், செயற்கை நுண்ணறிவு முக்கியமாக உங்கள் வேகத்தை அதிகரிக்கும்.
முக்கிய குறிப்புகள்:
உரிமை: குறியீட்டை விரைவாக உருவாக்குவதை விட, விளைவுகளுக்கான பொறுப்புணர்வை முன்னுரிமைப்படுத்துங்கள்.
தரம்: குழாய்வழிகள் நம்பகமானதாக இருக்கும் வகையில் சோதனைகள், கவனிக்கத்தக்க தன்மை மற்றும் ஒப்பந்தங்களை உருவாக்குங்கள்.
ஆளுகை: தனியுரிமை, அணுகல் கட்டுப்பாடு, தக்கவைத்தல் மற்றும் தணிக்கைப் பாதைகளை மனிதர்களுக்குச் சொந்தமானதாக வைத்திருங்கள்.
தவறான பயன்பாட்டு எதிர்ப்பு: AI வெளியீடுகளை வரைவுகளாகக் கருதுங்கள்; நம்பிக்கையான தவறைத் தவிர்க்க அவற்றை மதிப்பாய்வு செய்யவும்.
பங்கு மாற்றம்: பாய்லர்பிளேட்டை தட்டச்சு செய்வதில் குறைந்த நேரத்தையும், நீடித்து உழைக்கும் அமைப்புகளை வடிவமைப்பதில் அதிக நேரத்தையும் செலவிடுங்கள்.
நீங்கள் தரவுக் குழுக்களுடன் ஐந்து நிமிடங்களுக்கு மேல் செலவிட்டிருந்தால், இந்தக் கேள்வியைக் கேட்டிருப்பீர்கள் - சில சமயங்களில் கிசுகிசுப்பாகவும், சில சமயங்களில் ஒரு கதைத் திருப்பத்தைப் போலக் கூட்டத்தின் ஊடாகவும் இது கேட்கப்படும்: தரவுப் பொறியாளர்களுக்குப் பதிலாகச் செயற்கை நுண்ணறிவு வருமா?
மேலும்… எனக்குப் புரிகிறது. செயற்கை நுண்ணறிவால் SQL-ஐ உருவாக்கவும், பைப்லைன்களைக் கட்டமைக்கவும், ஸ்டேக் ட்ரேஸ்களை விளக்கவும், dbt மாடல்களை வரைவு செய்யவும், ஏன், திகைப்பூட்டும் நம்பிக்கையுடன் வேர்ஹவுஸ் ஸ்கீமாக்களைக் கூட பரிந்துரைக்கவும் முடியும். GitHub Copilot for SQL dbt மாடல்கள் பற்றி GitHub Copilot
இது, ஒரு ஃபோர்க்லிஃப்ட் ஜக்லிங் செய்யக் கற்றுக்கொள்வதைப் பார்ப்பது போல் இருக்கிறது. பிரமிக்க வைக்கிறது, சற்றே அச்சமூட்டுகிறது, மேலும் இது உங்கள் வேலைக்கு என்ன அர்த்தம் என்பதைப் பற்றி உங்களுக்கு முழுமையாக உறுதியாகத் தெரியவில்லை 😅
ஆனால் உண்மை தலைப்புச் செய்தியை விடக் குறைவான நேர்த்தியானது. AI தரவு பொறியியலை முற்றிலுமாக மாற்றுகிறது. இது மந்தமான, மீண்டும் மீண்டும் செய்யக்கூடிய பிட்களை தானியக்கமாக்குகிறது. இது "எனக்கு என்ன வேண்டும் என்று எனக்குத் தெரியும், ஆனால் தொடரியல் நினைவில் இல்லை" என்ற தருணங்களை விரைவுபடுத்துகிறது. இது புதிய வகையான குழப்பங்களையும் வளர்க்கிறது.
எனவே, கை அலை போன்ற நம்பிக்கையோ அல்லது அழிவை நோக்கிச் செல்லும் பீதியோ இல்லாமல், அதை முறையாகப் பரப்புவோம்.
இதற்குப் பிறகு நீங்கள் படிக்க விரும்பக்கூடிய கட்டுரைகள்:
🔗 கதிரியக்கவியலாளர்களை AI மாற்றுமா?
இமேஜிங் AI எவ்வாறு பணிப்பாய்வு, துல்லியம் மற்றும் எதிர்கால பாத்திரங்களை மாற்றுகிறது.
🔗 கணக்காளர்களை AI மாற்றுமா?
AI எந்த கணக்கியல் பணிகளை தானியங்குபடுத்துகிறது மற்றும் மனிதனாக என்ன இருக்கிறது என்பதைப் பாருங்கள்.
🔗 முதலீட்டு வங்கியாளர்களை AI மாற்றுமா?
ஒப்பந்தங்கள், ஆராய்ச்சி மற்றும் வாடிக்கையாளர் உறவுகளில் AI இன் தாக்கத்தைப் புரிந்து கொள்ளுங்கள்.
🔗 காப்பீட்டு முகவர்களை AI மாற்றுமா?
எழுத்துறுதி, விற்பனை மற்றும் வாடிக்கையாளர் ஆதரவை AI எவ்வாறு மாற்றுகிறது என்பதை அறிக.
"தரவு பொறியாளர்களை AI மாற்றுகிறது" என்ற கேள்வி ஏன் மீண்டும் மீண்டும் எழுகிறது 😬
இந்தப் பயம் ஒரு குறிப்பிட்ட இடத்திலிருந்து வருகிறது: தரவுப் பொறியியலில் மீண்டும் மீண்டும் செய்யக்கூடிய பல பணிகள் உள்ளன.
-
SQL ஐ எழுதுதல் மற்றும் மறுசீரமைப்பு செய்தல்
-
உட்கொள்ளல் ஸ்கிரிப்ட்களை உருவாக்குதல்
-
ஒரு திட்டத்திலிருந்து மற்றொன்றுக்கு புலங்களை மேப்பிங் செய்தல்
-
சோதனைகள் மற்றும் அடிப்படை ஆவணங்களை உருவாக்குதல்
-
பைப்லைன் தோல்விகளைப் பிழைத்திருத்துதல்... ஒருவிதத்தில் கணிக்கக்கூடியது
மீண்டும் மீண்டும் செய்யக்கூடிய வடிவங்களில் AI வழக்கத்திற்கு மாறாக சிறந்தது. மேலும் தரவு பொறியியலின் ஒரு பகுதி சரியாக அதுதான் - வடிவங்களில் அடுக்கப்பட்ட வடிவங்கள். GitHub கோபிலட் குறியீடு பரிந்துரைகள்
மேலும், கருவிகளின் சுற்றுச்சூழல் அமைப்பு ஏற்கனவே சிக்கலை "மறைத்து" வருகிறது:
-
நிர்வகிக்கப்பட்ட ELT இணைப்பிகள் Fivetran ஆவணங்கள்
-
சர்வர்லெஸ் கம்ப்யூட் AWS லாம்ப்டா (சர்வர்லெஸ் கம்ப்யூட்)
-
ஒரே கிளிக்கில் கிடங்கு வழங்கல்
-
தானியங்கி அளவிடுதல் இசைக்குழு அப்பாச்சி ஏர்ஃப்ளோ ஆவணங்கள்
-
அறிவிப்பு உருமாற்ற கட்டமைப்புகள் dbt என்றால் என்ன?
எனவே AI தோன்றும்போது, அது கடைசிப் பகுதி போல உணரலாம். அடுக்கு ஏற்கனவே சுருக்கப்பட்டிருந்தால், AI பசை குறியீட்டை எழுத முடியும் என்றால்... என்ன மிச்சம்? 🤷
ஆனால், மக்கள் கவனிக்கத் தவறும் ஒரு விஷயம் இதுதான்: தரவுப் பொறியியல் என்பது முக்கியமாகத் தட்டச்சு செய்வது அல்ல. தட்டச்சு செய்வது சுலபமான பகுதி. தெளிவற்ற, அரசியல்மயமான, மாறிக்கொண்டிருக்கும் வணிக யதார்த்தத்தை ஒரு நம்பகமான அமைப்பைப் போலச் செயல்பட வைப்பதுதான் கடினமான பகுதி.
மேலும் AI இன்னும் அந்த இருளுடன் போராடுகிறது. மக்களும் போராடுகிறார்கள் - அவர்கள் சிறப்பாக மேம்படுத்துகிறார்கள்.
தரவு பொறியாளர்கள் நாள் முழுவதும் உண்மையில் என்ன செய்கிறார்கள் (கவர்ச்சியற்ற உண்மை) 🧱
வெளிப்படையாகச் சொல்வதானால், “தரவுப் பொறியாளர்” என்ற பதவிப் பெயர், நீங்கள் முழுக்க முழுக்கக் கணிதத்தைக் கொண்டு ராக்கெட் என்ஜின்களை உருவாக்குகிறீர்கள் என்பது போலத் தோன்றுகிறது. ஆனால் நடைமுறையில், நீங்கள் நம்பிக்கையை.
ஒரு பொதுவான நாள் என்பது "புதிய வழிமுறைகளைக் கண்டுபிடிப்பது" குறைவாகவும் இன்னும் அதிகமாகவும் இருக்கும்:
-
தரவு வரையறைகள் குறித்து அப்ஸ்ட்ரீம் குழுக்களுடன் பேச்சுவார்த்தை நடத்துதல் (வேதனையானது ஆனால் அவசியம்)
-
ஒரு அளவீடு ஏன் மாறியது (மற்றும் அது உண்மையானதா என்பதை) ஆராய்தல்
-
திட்டச் சறுக்கலையும் "நள்ளிரவில் யாரோ ஒரு பத்தியைச் சேர்த்தனர்" என்பதையும் கையாள்வது ஆச்சரியங்களை அளிக்கிறது
-
குழாய்கள் நிலையற்றவை, மீட்டெடுக்கக்கூடியவை, கவனிக்கத்தக்கவை என்பதை உறுதி செய்தல்
-
கீழ்நிலை ஆய்வாளர்கள் தற்செயலாக முட்டாள்தனமான டாஷ்போர்டுகளை உருவாக்காதபடி பாதுகாப்புத் தண்டவாளங்களை உருவாக்குதல்
-
உங்கள் கிடங்கு பணக் கொளுத்தும் இடமாக மாறாமல் இருக்க செலவுகளை நிர்வகித்தல் 🔥
-
அணுகலைப் பாதுகாத்தல், தணிக்கை, இணக்கம், தக்கவைப்புக் கொள்கைகள் , GDPR கோட்பாடுகள் (ஐரோப்பிய ஆணையம்), சேமிப்பக வரம்பு (ICO)
-
உங்களை ஏமாற்றாமல் மக்கள் உண்மையில் பயன்படுத்தக்கூடிய தரவு தயாரிப்புகளை உருவாக்குதல் 20 கேள்விகள்
வேலையின் பெரும் பகுதி சமூக மற்றும் செயல்பாட்டு ரீதியானது:
-
"இந்த மேஜை யாருக்கு சொந்தம்?"
-
"இந்த வரையறை இன்னும் செல்லுபடியாகுமா?"
-
"CRM ஏன் நகல்களை ஏற்றுமதி செய்கிறது?"
-
"இந்த அளவீட்டை நிர்வாகிகளுக்கு சங்கடப்படாமல் அனுப்ப முடியுமா?" 😭
நிச்சயமாக, இதில் சில பகுதிகளுக்கு AI உதவ முடியும். ஆனால் அதை முழுமையாக மாற்றுவது... ஒரு நீட்டிப்பு.
தரவு பொறியியல் பணியின் வலுவான பதிப்பை உருவாக்குவது எது? ✅
இந்தப் பிரிவு முக்கியமானது, ஏனெனில் மாற்றுப் பேச்சு பொதுவாக தரவு பொறியாளர்கள் முக்கியமாக "குழாய் உருவாக்குபவர்கள்" என்று கருதுகிறது. அது சமையல்காரர்கள் முக்கியமாக "காய்கறிகளை நறுக்குகிறார்கள்" என்று கருதுவது போன்றது. இது வேலையின் ஒரு பகுதி, ஆனால் அது வேலை அல்ல.
ஒரு தரவு பொறியாளரின் வலுவான பதிப்பு பொதுவாக இவற்றில் பெரும்பாலானவற்றைச் செய்ய முடியும் என்பதாகும்:
-
மாற்றத்திற்கேற்ற வடிவமைப்பு
. தரவுகள் மாறுகின்றன. குழுக்கள் மாறுகின்றன. கருவிகள் மாறுகின்றன. யதார்த்தம் தும்மும்போதெல்லாம் சரிந்துவிடாத அமைப்புகளையே ஒரு சிறந்த பொறியாளர் உருவாக்குகிறார் 🤧 -
ஒப்பந்தங்கள் மற்றும் எதிர்பார்ப்புகளை வரையறுக்கவும்.
“வாடிக்கையாளர்” என்பதன் பொருள் என்ன? “செயலில் உள்ளவர்” என்பதன் பொருள் என்ன? ஒரு வரிசை தாமதமாக வந்தால் என்ன நடக்கும்? மேம்பட்ட குறியீடுகளை விட ஒப்பந்தங்களே குழப்பத்தைத் தடுக்கின்றன. திறந்த தரவு ஒப்பந்தத் தரநிலை (ODCS) ODCS (கிட்ஹப்) -
எல்லாவற்றிலும் கண்காணிப்புத்தன்மையை உருவாக்குங்கள்.
“அது இயங்கியதா” என்பது மட்டுமல்ல, “அது சரியாக இயங்கியதா” என்பதும் முக்கியம். புதுப்பிப்பு, அளவு முரண்பாடுகள், பூஜ்ய வெடிப்புகள், விநியோக மாற்றங்கள். தரவு கண்காணிப்புத்தன்மை (டைனாட்ரேஸ்) தரவு கண்காணிப்புத்தன்மை என்றால் என்ன? -
போன்ற சமரசங்களை வயது வந்தவர்களுடன் செய்யுங்கள்
. சரியான குழாய் இணைப்பு எதுவும் இல்லை, நீங்கள் வாழக்கூடிய குழாய் இணைப்புகள் மட்டுமே உள்ளன. -
வணிகத் தேவைகளை நீடித்த அமைப்புகளாக மாற்றுங்கள்.
மக்கள் அளவீடுகளைக் கேட்கிறார்கள், ஆனால் அவர்களுக்குத் தேவையானது ஒரு தரவுத் தயாரிப்பு. செயற்கை நுண்ணறிவால் குறியீட்டை உருவாக்க முடியும், ஆனால் வணிகத்தில் உள்ள கண்ணிவெடிகளை அதனால் மாயாஜாலமாக அறிந்துகொள்ள முடியாது. -
தரவை அமைதியாக வைத்திருங்கள்.
ஒரு தரவுத் தளத்திற்கான மிக உயர்ந்த பாராட்டு என்னவென்றால், அதைப்பற்றி யாரும் பேசுவதில்லை என்பதுதான். பரபரப்பில்லாத தரவே நல்ல தரவு. குழாய் அமைப்பைப் போல. அது பழுதடையும்போதுதான் நீங்கள் அதைக் கவனிப்பீர்கள் 🚽
நீங்கள் இந்த விஷயங்களைச் செய்து கொண்டிருந்தால், “தரவுப் பொறியாளர்களை செயற்கை நுண்ணறிவு மாற்றிவிடுமா?” சற்றே பொருத்தமற்றதாகத் தோன்றத் தொடங்கும். செயற்கை நுண்ணறிவால் பணிகளை, ஆனால் உரிமையை.
தரவு பொறியாளர்களுக்கு AI ஏற்கனவே உதவி செய்து வருகிறது (அது உண்மையிலேயே சிறந்தது) 🤖✨
AI என்பது வெறும் சந்தைப்படுத்தல் மட்டுமல்ல. நன்றாகப் பயன்படுத்தினால், அது ஒரு சட்டபூர்வமான சக்தி பெருக்கி.
1) வேகமான SQL மற்றும் உருமாற்ற வேலை
-
வரைவு சிக்கலான இணைப்புகள்
-
நீங்கள் யோசிக்க விரும்பாத சாளர செயல்பாடுகளை எழுதுதல்
-
எளிய மொழி தர்க்கத்தை வினவல் எலும்புக்கூடுகளாக மாற்றுதல்
-
SQL க்கான GitHub Copilot ஐப் படிக்கக்கூடிய CTE களாக அசிங்கமான வினவல்களை மறுசீரமைத்தல்
இது மிகப்பெரியது, ஏனெனில் இது "வெற்றுப் பக்கம்" விளைவைக் குறைக்கிறது. நீங்கள் இன்னும் சரிபார்க்க வேண்டும், ஆனால் நீங்கள் 0% க்கு பதிலாக 70% இல் தொடங்குகிறீர்கள்.
2) பிழைத்திருத்தம் மற்றும் மூல காரணம் பிரட்தூள்களில் நனைக்கப்பட்டது
AI இதில் நன்றாக உள்ளது:
-
பிழை செய்திகளை விளக்குதல்
-
எங்கு பார்க்க வேண்டும் என்று பரிந்துரைக்கிறது
-
GitHub Copilot-இல் “ஸ்கீமா பொருந்தாமையைச் சரிபார்க்கவும்” போன்ற வழிமுறைகளைப் பரிந்துரைப்பது, ஒருபோதும் தூங்காத, சில சமயங்களில் நம்பிக்கையுடன் பொய் சொல்லும் ஒரு அயராத இளநிலைப் பொறியாளரைக் கொண்டிருப்பது போன்றது 😅
3) ஆவணப்படுத்தல் மற்றும் தரவு பட்டியல் செறிவூட்டல்
தானாக உருவாக்கப்பட்டது:
-
நெடுவரிசை விளக்கங்கள்
-
மாதிரி சுருக்கங்கள்
-
பரம்பரை விளக்கங்கள்
-
"இந்த அட்டவணை எதற்குப் பயன்படுகிறது?" dbt ஆவண
இது சரியானதல்ல, ஆனால் ஆவணப்படுத்தப்படாத குழாய்களின் சாபத்தை இது உடைக்கிறது.
4) சோதனை சாரக்கட்டு மற்றும் சரிபார்ப்புகள்
AI பின்வருவனவற்றை முன்மொழியலாம்:
-
அடிப்படை பூஜ்ய சோதனைகள்
-
தனித்துவச் சரிபார்ப்புகள்
-
குறிப்பு ஒருமைப்பாடு கருத்துக்கள்
-
"இந்த அளவீடு ஒருபோதும் குறையக்கூடாது" பாணியிலான உறுதிமொழிகள் , dbt தரவு சோதனைகள், பெரும் எதிர்பார்ப்புகள்: எதிர்பார்ப்புகள்
மீண்டும் - எது முக்கியம் என்பதை நீங்கள் இன்னும் தீர்மானிக்கிறீர்கள், ஆனால் அது வழக்கமான பகுதிகளை விரைவுபடுத்துகிறது.
5) குழாய்வழி "பசை" குறியீடு
கட்டமைப்பு வார்ப்புருக்கள், YAML கட்டமைப்புகள், ஒருங்கிணைப்பு DAG வரைவுகள். அந்த விஷயங்கள் திரும்பத் திரும்பச் செய்யக்கூடியவை, மேலும் செயற்கை நுண்ணறிவு (AI) திரும்பத் திரும்பச் செய்வதை எளிதில் சமாளித்துவிடும் 🥣 அப்பாச்சி ஏர்ஃப்ளோ DAGகள்
AI இன்னும் போராடும் இடத்தில் (இதுதான் அதன் மையக்கரு) 🧠🧩
இது மிகவும் முக்கியமான பகுதி, ஏனெனில் இது மாற்று கேள்விக்கு உண்மையான அமைப்புடன் பதிலளிக்கிறது.
1) தெளிவின்மை மற்றும் மாற்றும் வரையறைகள்
வணிக தர்க்கம் அரிதாகவே தெளிவாக இருக்கும். மக்கள் வாக்கியத்தின் நடுவில் தங்கள் மனதை மாற்றிக்கொள்கிறார்கள். "செயலில் உள்ள பயனர்" "செயலில் பணம் செலுத்தும் பயனர்" ஆகிறார், "சில நேரங்களில் பணத்தைத் திரும்பப் பெறுவதைத் தவிர்த்து செயலில் பணம் செலுத்தும் பயனர்" ஆகிறார்... அது எப்படி என்று உங்களுக்குத் தெரியும்.
அந்த தெளிவின்மையை AI சொந்தமாக்கிக் கொள்ள முடியாது. அது யூகிக்க மட்டுமே முடியும்.
2) பொறுப்புக்கூறல் மற்றும் ஆபத்து
ஒரு குழாய் உடைந்து, நிர்வாக டேஷ்போர்டு முட்டாள்தனத்தைக் காட்டும்போது, ஒருவர் செய்ய வேண்டியது:
-
வகைப்படுத்தல்
-
தாக்கத்தைத் தெரிவிக்கவும்
-
சரி செய்
-
மீண்டும் வருவதைத் தடுக்கவும்
-
பிரேத பரிசோதனை எழுது
-
கடந்த வார எண்களை வணிகம் இன்னும் நம்ப முடியுமா என்று முடிவு செய்யுங்கள்
AI உதவ முடியும், ஆனால் அது அர்த்தமுள்ள வகையில் பொறுப்பேற்க முடியாது. நிறுவனங்கள் அதிர்வுகளில் இயங்குவதில்லை - அவை பொறுப்பில் இயங்குகின்றன.
3) அமைப்புகள் சிந்தனை
தரவு தளங்கள் சுற்றுச்சூழல் அமைப்புகளாகும்: உட்கொள்ளல், சேமிப்பு, மாற்றங்கள், இசைக்குழு, நிர்வாகம், செலவுக் கட்டுப்பாடுகள், SLAகள். ஒரு அடுக்கில் ஏற்படும் மாற்றம் அலைகள். அப்பாச்சி காற்றோட்டக் கருத்துக்கள்
உலகளாவிய வலியை உருவாக்கும் உள்ளூர் மேம்படுத்தல்களை AI முன்மொழிய முடியும். இது கதவை அகற்றுவதன் மூலம் ஒரு சத்தமிடும் கதவை சரிசெய்வது போன்றது 😬
4) பாதுகாப்பு, தனியுரிமை, இணக்கம்
மாற்று கற்பனைகள் இறந்து போகும் இடம் இதுதான்.
-
அணுகல் கட்டுப்பாடுகள்
-
வரிசை-நிலை பாதுகாப்பு ஸ்னோஃப்ளேக் வரிசை அணுகல் கொள்கைகள் பிக்பெரி வரிசை-நிலை பாதுகாப்பு
-
NIST தனியுரிமை கட்டமைப்பை கையாளும் PII
-
தக்கவைப்பு விதிகள் சேமிப்பக வரம்பு (ICO) தக்கவைப்பு குறித்த ஐரோப்பிய ஒன்றிய வழிகாட்டுதல்
-
தணிக்கைப் பதிவுகள் NIST SP 800-92 (பதிவேடு மேலாண்மை) CIS கட்டுப்பாடு 8 (தணிக்கைப் பதிவேடு மேலாண்மை)
-
தரவு வதிவிடக் கட்டுப்பாடுகள்
AI கொள்கைகளை உருவாக்க முடியும், ஆனால் அவற்றைப் பாதுகாப்பாக செயல்படுத்துவது உண்மையான பொறியியல் ஆகும்.
5) "தெரியாத தெரியாதவை"
தரவு சம்பவங்கள் பெரும்பாலும் கணிக்க முடியாதவை:
-
ஒரு விற்பனையாளர் API சொற்பொருளை அமைதியாக மாற்றுகிறது
-
ஒரு நேர மண்டல அனுமானம் தலைகீழாக மாறுகிறது
-
ஒரு பின்நிரப்பு ஒரு பகிர்வை நகலெடுக்கிறது
-
மறுமுயற்சி பொறிமுறை இரட்டை எழுத்துகளை ஏற்படுத்துகிறது
-
ஒரு புதிய தயாரிப்பு அம்சம் புதிய நிகழ்வு வடிவங்களை அறிமுகப்படுத்துகிறது
நிலைமை அறியப்பட்ட வடிவமாக இல்லாதபோது AI பலவீனமாக இருக்கும்.
ஒப்பீட்டு அட்டவணை: நடைமுறையில் என்ன, எதைக் குறைக்கிறது 🧾🤔
கீழே ஒரு நடைமுறை பார்வை உள்ளது. "மக்களை மாற்றும் கருவிகள்" அல்ல, ஆனால் சில பணிகளைச் சுருக்கும் கருவிகள் மற்றும் அணுகுமுறைகள்.
| கருவி / அணுகுமுறை | பார்வையாளர்கள் | விலை நிலவரம் | இது ஏன் வேலை செய்கிறது |
|---|---|---|---|
| AI குறியீடு கோபிலட்டுகள் (SQL + பைதான் உதவியாளர்கள்) GitHub கோபிலட் | நிறைய குறியீடுகளை எழுதும் பொறியாளர்கள் | இலவசம் முதல் பணம் செலுத்துதல் வரை | ஸ்கேஃபோல்டிங், ரீஃபாக்டர்கள், தொடரியல் ஆகியவற்றில் சிறந்தவர்... சில நேரங்களில் மிகவும் குறிப்பிட்ட முறையில் தன்னைத்தானே கவர்ந்து கொள்வார் |
| நிர்வகிக்கப்பட்ட ELT இணைப்பிகள் Fivetran | அணிகள் உட்கொள்ளலை உருவாக்குவதில் சோர்வடைந்துள்ளன | சந்தா-y | தனிப்பயன் உட்கொள்ளல் வலியை நீக்குகிறது, ஆனால் வேடிக்கையான புதிய வழிகளில் இடைநிறுத்துகிறது |
| தரவு கண்காணிப்பு தளங்கள் தரவு கண்காணிப்பு (டைனட்ரேஸ்) | SLA-க்களை வைத்திருக்கும் எவரும் | நடுத்தர நிறுவனங்களுக்கு | முரண்பாடுகளை முன்கூட்டியே கண்டுபிடிக்கிறது - குழாய்களுக்கான புகை அலாரங்கள் போல 🔔 |
| உருமாற்ற கட்டமைப்புகள் (அறிவிப்பு மாதிரியாக்கம்) dbt | பகுப்பாய்வு + DE கலப்பினங்கள் | பொதுவாக கருவி + கணக்கிடு | லாஜிக்கை மட்டுப்படுத்தி சோதிக்கக்கூடியதாக மாற்றுகிறது, குறைவான ஸ்பாகெட்டியை உருவாக்குகிறது |
| தரவு பட்டியல்கள் + சொற்பொருள் அடுக்குகள் dbt சொற்பொருள் அடுக்கு | மெட்ரிக் குழப்பம் கொண்ட அமைப்புகள் | நடைமுறையில், சார்ந்துள்ளது | "உண்மையை" ஒரு முறை வரையறுக்கிறது - முடிவற்ற அளவீட்டு விவாதங்களைக் குறைக்கிறது |
| அப்பாச்சி ஏர்ஃப்ளோ வார்ப்புருக்கள் கொண்ட இசைக்குழு | மேடை மனப்பான்மை கொண்ட அணிகள் | திறந்த + செயல்பாடுகள் செலவு | பணிப்பாய்வுகளை தரப்படுத்துகிறது; குறைவான ஸ்னோஃப்ளேக் DAGகள் |
| AI- உதவியுடன் கூடிய ஆவணங்கள் dbt ஆவணங்களை உருவாக்குதல் | ஆவணங்களை எழுதுவதை வெறுக்கும் அணிகள் | மலிவானது முதல் மிதமானது வரை | அறிவு மறைந்து போகாமல் இருக்க "போதுமான" ஆவணங்களை உருவாக்குகிறது |
| தானியங்கி நிர்வாகக் கொள்கைகள் NIST தனியுரிமை கட்டமைப்பு | ஒழுங்குபடுத்தப்பட்ட சூழல்கள் | எண்டர்பிரைஸ்-ஒய் | விதிகளை அமல்படுத்த உதவுகிறது - ஆனால் விதிகளை வடிவமைக்க மனிதர்கள் இன்னும் தேவை |
என்ன விடுபட்டிருக்கிறது என்பதைக் கவனியுங்கள்: “தரவு பொறியாளர்களை அகற்ற பொத்தானை அழுத்தவும்” என்று சொல்லும் ஒரு வரிசை. ஆமாம்… அந்த வரிசை இல்லை 🙃
சரி... AI டேட்டா இன்ஜினியர்களை மாற்றுமா அல்லது வேலையை மாற்றுமா? 🛠️
இதோ பரபரப்பில்லாத பதில்: செயற்கை நுண்ணறிவு, பணிப்பாய்வின் சில பகுதிகளை மாற்றியமைக்கும், தொழிலை அல்ல.
ஆனால் அது மாற்றியமைக்கும் . அதை நீங்கள் புறக்கணித்தால், நெருக்கடியை உணர்வீர்கள்.
என்ன மாற்றங்கள்:
-
பாய்லர்ப்ளேட் எழுதுவதற்கு குறைவான நேரம்
-
ஆவணங்களைத் தேடுவதற்கு குறைவான நேரம்
-
மதிப்பாய்வு செய்தல், சரிபார்த்தல், வடிவமைத்தல் ஆகியவற்றிற்கு அதிக நேரம்
-
ஒப்பந்தங்கள் மற்றும் தர எதிர்பார்ப்புகளை வரையறுக்க அதிக நேரம் திறந்த தரவு ஒப்பந்த தரநிலை (ODCS)
-
தயாரிப்பு, பாதுகாப்பு, நிதி ஆகியவற்றுடன் கூட்டு சேர அதிக நேரம்
இதுதான் நுட்பமான மாற்றம்: தரவு பொறியியல் "குழாய்களை உருவாக்குதல்" பற்றி குறைவாகவும், "நம்பகமான தரவு தயாரிப்பு அமைப்பை உருவாக்குதல்" பற்றி அதிகமாகவும் மாறுகிறது
அமைதியான திருப்பத்தில், அது அதிக மதிப்புமிக்கது, குறைவானது அல்ல.
மேலும் - இது மிகைப்படுத்தப்பட்டதாகத் தோன்றினாலும் நான் இதைச் சொல்லத்தான் போகிறேன் - செயற்கை நுண்ணறிவு (AI) தரவுக் கலைப்பொருட்களை உருவாக்கக்கூடிய நபர்களின் எண்ணிக்கையை அதிகரிக்கிறது, இது முழு அமைப்பையும் சீராக வைத்திருக்க ஒருவரின் தேவையை அதிகரிக்கிறது. அதிக வெளியீடு என்பது அதிக குழப்பத்திற்கான சாத்தியக்கூறுகளைக் குறிக்கிறது. கிட்ஹப் கோபைலட் (GitHub Copilot).
இது எல்லாருக்கும் ஒரு பவர் டிரில் கொடுப்பது மாதிரி. சூப்பர்! இப்போ யாராவது "தயவுசெய்து தண்ணீர் குழாயில் துளையிடாதீர்கள்" என்ற விதியை அமல்படுத்த வேண்டும் 🪠
(எல்லா இடங்களிலும் AI இருந்தாலும் கூட) மதிப்புமிக்கதாக இருக்கும் புதிய திறன் தொகுப்பு 🧠⚙️
நீங்கள் ஒரு நடைமுறை "எதிர்கால-ஆதார" சரிபார்ப்புப் பட்டியலை விரும்பினால், அது இப்படி இருக்கும்:
அமைப்பு வடிவமைப்பு மனநிலை
-
மாற்றத்தைத் தக்கவைக்கும் தரவு மாதிரியாக்கம்
-
தொகுதி vs ஸ்ட்ரீமிங் பரிமாற்றங்கள்
-
தாமதம், செலவு, நம்பகத்தன்மை சிந்தனை
தரவு தர பொறியியல்
-
ஒப்பந்தங்கள், சரிபார்ப்புகள், முரண்பாடு கண்டறிதல், திறந்த தரவு ஒப்பந்தத் தரநிலை (ODCS), தரவு கண்காணிப்பு (டைனாட்ரேஸ்)
-
SLAக்கள், SLOக்கள், சம்பவ மறுமொழிப் பழக்கங்கள்
-
ஒழுக்கத்துடன் கூடிய மூல காரண பகுப்பாய்வு (அதிர்வுகள் அல்ல)
ஆளுகை மற்றும் நம்பிக்கை கட்டமைப்பு
-
அணுகல் வடிவங்கள்
-
தணிக்கைத்திறன் NIST SP 800-92 (பதிவு மேலாண்மை)
-
வடிவமைப்பு மூலம் தனியுரிமை NIST தனியுரிமை கட்டமைப்பு
-
தரவு வாழ்க்கைச் சுழற்சி மேலாண்மை தக்கவைப்பு குறித்த ஐரோப்பிய ஒன்றிய வழிகாட்டுதல்
மேடை சிந்தனை
-
மீண்டும் பயன்படுத்தக்கூடிய வார்ப்புருக்கள், தங்கப் பாதைகள்
-
Fivetran dbt தரவுச் சோதனைகளை உள்ளிழுத்தல், உருமாற்றுதல், சோதித்தல் ஆகியவற்றுக்கான தரப்படுத்தப்பட்ட வடிவங்கள்
-
உருகாத சுய சேவை கருவி
தொடர்பு (ஆம், உண்மையில்)
-
தெளிவான ஆவணங்களை எழுதுதல்
-
வரையறைகளை சீரமைத்தல்
-
"இல்லை" என்று பணிவாக ஆனால் உறுதியாகச் சொல்வது
-
ரோபோ மாதிரி பேசாமல் சமரசங்களை விளக்குதல் 🤖
இவற்றை நீங்கள் செய்ய முடிந்தால், “டேட்டா இன்ஜினியர்களை AI மாற்றுமா?” என்ற கேள்வி குறைவான அச்சுறுத்தலாக மாறும். AI உங்கள் மாற்றாக அல்ல, உங்கள் வெளிப்புற எலும்புக்கூடாக மாறும்.
சில தரவு பொறியியல் பாத்திரங்கள் சுருங்கும் யதார்த்தமான சூழ்நிலைகள் 📉
சரி, சீக்கிரம் உண்மை நிலையைப் பாருங்க, ஏன்னா இது முழுக்க முழுக்க சூரிய ஒளியும் ஈமோஜி காகிதக் காகிதங்களும் இல்ல 🎉
சில பாத்திரங்கள் அதிகமாக வெளிப்படும்:
-
அனைத்தும் நிலையான இணைப்பிகளாக இருக்கும் தூய உட்கொள்ளல்-மட்டும் பாத்திரங்கள் ஃபைவ்ட்ரான் இணைப்பிகள்
-
குறைந்தபட்ச டொமைன் நுணுக்கத்துடன் பெரும்பாலும் மீண்டும் மீண்டும் அறிக்கையிடும் குழாய்களைச் செய்யும் குழுக்கள்
-
தரவு பொறியியலை "SQL குரங்குகள்" என்று கருதும் அமைப்புகள் (கடுமையானவை, ஆனால் உண்மை)
-
குறைந்த உரிமைப் பதவிகளில், வெறும் டிக்கெட்டுகள் மற்றும் நகல்-ஒட்டு வேலைகள் மட்டுமே இருக்கும்
AI பிளஸ் நிர்வகிக்கப்பட்ட கருவிகள் அந்தத் தேவைகளைச் சுருக்கலாம்.
ஆனால் அங்கே கூட, மாற்றீடு பொதுவாக இப்படித்தான் இருக்கும்:
-
ஒரே மாதிரியான வேலையைத் திரும்பத் திரும்பச் செய்யும் மக்கள் குறைவு
-
தள உரிமை மற்றும் நம்பகத்தன்மைக்கு அதிக முக்கியத்துவம்
-
"ஒரு நபர் அதிக குழாய் இணைப்புகளை ஆதரிக்க முடியும்" என்பதை நோக்கிய மாற்றம்
ஆமாம் - தலை எண்ணிக்கை முறைகள் மாறலாம். பாத்திரங்கள் உருவாகின்றன. தலைப்புகள் மாறுகின்றன. அந்தப் பகுதி உண்மையானது.
இருப்பினும், அதிக உரிமை, அதிக நம்பிக்கை கொண்ட பாத்திரப் பதிப்பு அப்படியே உள்ளது.
இறுதிச் சுருக்கம் 🧾✅
தரவு பொறியாளர்களை AI மாற்றுமா? மக்கள் கற்பனை செய்வது போல் சுத்தமாகவும், முழுமையாகவும் இல்லை.
AI:
-
திரும்பத் திரும்பச் செய்யும் பணிகளை தானியக்கமாக்குதல்
-
குறியாக்கம், பிழைதிருத்தம் மற்றும் ஆவணப்படுத்தலை விரைவுபடுத்துங்கள் GitHub Copilot for SQL dbt ஆவணப்படுத்தல்
-
குழாய்களை உற்பத்தி செய்வதற்கான செலவைக் குறைக்கவும்
ஆனால் தரவு பொறியியல் அடிப்படையில் இதைப் பற்றியது:
-
பொறுப்புடைமை
-
அமைப்பு வடிவமைப்பு
-
நம்பிக்கை, தரம் மற்றும் ஆளுகை திறந்த தரவு ஒப்பந்தத் தரநிலை (ODCS) NIST தனியுரிமைக் கட்டமைப்பு
-
தெளிவற்ற வணிக யதார்த்தத்தை நம்பகமான தரவு தயாரிப்புகளாக மொழிபெயர்த்தல்
AI அதற்கு உதவ முடியும்… ஆனால் அது அதை "சொந்தமாக்காது".
நீங்கள் ஒரு தரவுப் பொறியாளராக இருந்தால், இந்த மாற்றம் எளிமையானது (சுலபமானது அல்ல, ஆனால் எளிமையானது):
பொறுப்புணர்வு, தரம், இயங்குதளச் சிந்தனை மற்றும் தகவல் தொடர்பு ஆகியவற்றில் கவனம் செலுத்துங்கள். நீங்கள் முக்கியமான பகுதிகளைக் கவனித்துக் கொள்ளும்போது, வழக்கமான அடிப்படைப் பணிகளை செயற்கை நுண்ணறிவு (AI) கையாளட்டும்.
ஆமாம் - சில நேரங்களில் அது அறையில் பெரியவராக இருப்பது. கவர்ச்சியாக இல்லை. அமைதியாக இருந்தாலும் சக்தி வாய்ந்தது 😄
செயற்கை நுண்ணறிவு, தரவுப் பொறியாளர்களை இடமாற்றம் செய்யுமா?
அது சில பணிகளை இடமாற்றம் செய்து, படிநிலைகளை மாற்றி அமைத்து, சிறந்த தரவுப் பொறியாளர்களை இன்னும் மதிப்புமிக்கவர்களாக மாற்றும். இதுதான் உண்மையான கதை.
நிஜ உலக உதாரணம்: செயற்கை நுண்ணறிவு உதவியுடன் தரவு பைப்லைன் மதிப்பாய்வு பணிப்பாய்வை உருவாக்குதல் 🛠️
சூழ்நிலை
ஒரு தரவுப் பொறியாளர், இரண்டு ஆய்வாளர்கள் மற்றும் மிகவும் பரிச்சயமான ஒரு சிக்கலைக் கொண்ட ஒரு சிறிய மின்வணிக நிறுவனத்தைக் கற்பனை செய்து பாருங்கள்: பணம் செலுத்தும் சேவை வழங்குநர் ஒரு புலத்தின் பெயரை மாற்றும்போதெல்லாம், நிதி டாஷ்போர்டு தொடர்ந்து செயலிழந்துவிடுகிறது.
செயல்முறைத் தொடரை செயற்கை நுண்ணறிவு தன் கட்டுப்பாட்டில் வைத்திருப்பதை அந்தக் குழு விரும்பவில்லை. அது ஆபத்தானது. அதற்குப் பதிலாக, dbt மாதிரி கட்டமைப்புகளை எழுதுதல், சோதனைகளைப் பரிந்துரைத்தல், ஆவணங்களை வரைதல் மற்றும் குறியீட்டு மதிப்பாய்விற்கான சரிபார்ப்புப் பட்டியலை உருவாக்குதல் போன்ற வழக்கமான ஆனால் முக்கியமான பணிகளுக்கு, அவர்கள் செயற்கை நுண்ணறிவை ஒரு முதல் வரைவு உதவியாளராகப் பயன்படுத்துகிறார்கள்.
இறுதி வடிவமைப்பு, தரவு வரையறைகள், அணுகல் விதிகள் மற்றும் உற்பத்தி வரிசைப்படுத்தல் ஆகியவற்றின் பொறுப்பு இன்னும் மனித தரவுப் பொறியாளரிடமே உள்ளது. செயற்கை நுண்ணறிவு, சிக்கலான இடைப்பட்ட பகுதியை வெறுமனே வேகப்படுத்துகிறது.
பணிப்பாய்வுக்கு என்ன தேவை
செயற்கை நுண்ணறிவைப் பயன்படுத்துவதற்கு முன்பு, அது பயனுள்ளதாக இருக்கத் தேவையான பின்னணியை அந்தக் குழு வழங்குகிறது:
-
தற்போதுள்ள கொடுப்பனவு அட்டவணை ஸ்கீமா
-
“நிகர வருவாய்”, “திரும்பப் பெறும் தொகை” மற்றும் “தீர்க்கப்பட்ட செலுத்துகை” போன்ற இலக்கு நிதி அளவீட்டு வரையறைகள்
-
dbt மாதிரிகளுக்கான பெயரிடும் மரபுகள்
-
அங்கீகரிக்கப்பட்ட சோதனைகளின் எடுத்துக்காட்டுகள்
-
பணம் செலுத்தும் ஊட்டத்திற்கான ஒரு குறுகிய தரவு ஒப்பந்தம்
-
தனிப்பட்ட அடையாளத் தகவல்கள் (PII), செலுத்தப்படாத கட்டணங்கள், நகல்கள் மற்றும் தாமதமாக வந்து சேரும் பதிவுகளைக் கையாள்வதற்கான விதிகள்
-
என்ன தவறு நடந்தது மற்றும் அது எவ்வாறு சரிசெய்யப்பட்டது என்பது உள்ளிட்ட கடந்தகால சம்பவங்களின் ஒரு மாதிரி
முக்கியமானது, “ஒரு செயல்முறையை உருவாக்க செயற்கை நுண்ணறிவைக் கேட்பது” அல்ல. அது மிகவும் தெளிவற்றது.
மிகவும் வலுவான அணுகுமுறை இதுதான்: “இவைதான் எங்கள் விதிகள், இதுதான் கட்டமைப்பு, இதுதான் எதிர்பார்க்கப்படும் செயல்பாடு. நாங்கள் மதிப்பாய்வு செய்யக்கூடிய ஒன்றை வரைவு செய்யுங்கள்.”
எடுத்துக்காட்டு அறிவுறுத்தல்
எங்கள் பணம் செலுத்துதல் தரவுகளுக்கான DBT மாதிரியை வரைவு செய்ய நீங்கள் உதவுகிறீர்கள். ஒரு முதற்கட்ட மாதிரி, பரிந்துரைக்கப்பட்ட DBT சோதனைகள் மற்றும் ஆவணக் குறிப்புகளை உருவாக்க, கீழே உள்ள ஸ்கீமா மற்றும் விதிகளைப் பயன்படுத்தவும்.
இந்த மாடல், order_id மற்றும் payment_provider அடிப்படையில் தினசரி தீர்க்கப்பட்ட வருவாயைக் கணக்கிட வேண்டும். தோல்வியுற்ற கொடுப்பனவுகளைத் தவிர்க்கவும், சோதனைப் பரிவர்த்தனைகளைத் தவிர்க்கவும், மற்றும் refund_status ‘confirmed’ என இருக்கும்போது மட்டுமே பணத் திருப்பங்களைக் கழிக்கவும்.
பத்திகளை நீங்களாக உருவாக்காதீர்கள். தேவைப்படும் பத்தி விடுபட்டிருந்தால், யூகிக்காமல் அதனை “மனித மதிப்பாய்வுக்கான கேள்விகள்” என்பதன் கீழ் பட்டியலிடுங்கள்.
மேலும், தனித்தன்மை, பூஜ்ஜிய மதிப்புகள், ஏற்கப்பட்ட மதிப்புகள் மற்றும் வருவாய் நியாயத்தன்மை ஆகியவற்றுக்கான சோதனைகளையும் பரிந்துரைக்கவும். நிதி அறிக்கையிடலைப் பாதிக்கக்கூடிய எந்தவொரு தர்க்கத்தையும் சுட்டிக்காட்டவும்.
அதை எப்படி சோதிப்பது
ஒரு விவேகமான சோதனை என்பது சிறியதாகவும், வேண்டுமென்றே சாதாரணமானதாகவும் இருக்கும்:
-
செயற்கை நுண்ணறிவுக்கு நன்கு செயல்படும் ஒரு கட்டண முறையைக் கொடுத்து, அது புதிய புலங்களை உருவாக்குவதைத் தவிர்க்கிறதா என்று சரிபார்க்கவும்.
-
refund_status என்ற நெடுவரிசை விடுபட்ட ஒரு ஸ்கீமாவை அதற்கு அளித்து, அது யூகிக்காமல் ஒரு கேள்வியைக் கேட்கிறதா என்று பாருங்கள்.
-
உருவாக்கப்பட்ட SQL-ஐ உற்பத்தித் தரவுத்தொகுப்பில் அல்லாமல், சோதனைத் தரவுத்தொகுப்பில் இயக்கவும்.
-
கைமுறையாகச் சரிபார்க்கப்பட்ட 20 பணம் செலுத்திய பதிவுகளுடன் வெளியீட்டை ஒப்பிட்டுப் பாருங்கள்.
-
ஒன்றிணைப்பதற்கு முன், வரையறைகளை மதிப்பாய்வு செய்யுமாறு ஒரு பகுப்பாய்வாளரையும் தரவுப் பொறியாளரையும் கேளுங்கள்.
-
ஏற்றுக்கொள்ளப்பட்ட சோதனைகளை CI-இல் சேர்ப்பதன் மூலம், வரிசைப்படுத்தலுக்குப் பிறகு பைப்லைன் தன்னைத்தானே தொடர்ந்து சரிபார்த்துக் கொள்ளும்.
நீங்கள் மிகவும் அஞ்சும் தோல்வி முறைகளான, புனையப்பட்ட நெடுவரிசைகள், தவறான வருவாய் தர்க்கம், விடுபட்ட பணத்தைத் திரும்பப்பெறுதல் கையாளுதல் மற்றும் குறிப்பிடப்படாத நகல் வரிசைகள் ஆகியவற்றில் செயற்கை நுண்ணறிவைச் சோதிப்பதே முக்கியமான விஷயம்.
முடிவு
விளக்கமான முடிவு: இந்த பணிப்பாய்வைப் பயன்படுத்துவதற்கு முன்னும் பின்னும் மூன்று மாதிரி பைப்லைன்-மாற்றப் பணிகளின் நேரத்தைக் கணக்கிட்டதன் அடிப்படையில்.
செயற்கை நுண்ணறிவைப் பயன்படுத்துவதற்கு முன்பு, அந்தப் பொறியாளர் ஒவ்வொரு மாற்றத்திற்கும் சுமார் 5 மணி 30 நிமிடங்கள் செலவழித்தார்: தோராயமாக 2 மணிநேரம் SQL எழுதுவதற்கும், 1 மணிநேரம் சோதனைகளை உருவாக்குவதற்கும், 45 நிமிடங்கள் ஆவணங்களை எழுதுவதற்கும், மீதமுள்ள நேரத்தை நிதித்துறையுடன் சிக்கலான சூழ்நிலைகளைச் சரிபார்ப்பதற்கும் செலவிட்டார்.
முதல் வரைவுகளுக்கு மட்டும் செயற்கை நுண்ணறிவு பயன்படுத்தப்பட்டபோது, அதே வகையான மாற்றத்தைச் செய்ய சுமார் 2 மணி 10 நிமிடங்கள் ஆனது. சோதனைக்கான கட்டமைப்பு மற்றும் ஆவண வரைவுகளில்தான் மிகப்பெரிய சேமிப்பு கிடைத்தது; இதற்கான நேரம் 1 மணி 45 நிமிடங்களிலிருந்து சுமார் 25 நிமிடங்களாகக் குறைந்தது.
மனித மதிப்பாய்வுப் படிநிலைக்கு இன்னமும் சுமார் 45 நிமிடங்கள் ஆனது, எனவே அதை நீக்கக்கூடாது.
மூன்று பணிகளைக் கொண்ட சோதனையில், செயற்கை நுண்ணறிவு 18 சரிபார்ப்புகளைப் பரிந்துரைத்தது. பொறியாளர் 11-ஐ ஏற்றுக்கொண்டார், 5-ஐத் திருத்தினார், மேலும் 2-ஐ நிராகரித்தார், ஏனெனில் அவை உண்மையல்லாத வணிக விதிகளை அடிப்படையாகக் கொண்டிருந்தன. அந்த நிராகரிப்பு எண்ணிக்கை முக்கியமானது: அது, பணிப்பாய்வுக்கு கண்மூடித்தனமான நம்பிக்கை அல்ல, மறுஆய்வு தேவை என்பதை நிரூபிக்கிறது.
என்ன தவறு நடக்கக்கூடும்?
செயற்கை நுண்ணறிவால் ஒரு செயல்முறைத் தொடரை, அது இருப்பதை விட மிகவும் முழுமையானதாகக் காட்ட முடியும்.
பொதுவான செயலிழப்புக் காரணிகள் பின்வருமாறு:
-
நம்பத்தகுந்ததாகத் தோன்றும் பத்திகளைக் கண்டுபிடித்தல்
-
பணம் திரும்பப் பெறுதல், கட்டணத் திருப்பங்கள் மற்றும் தோல்வியுற்ற கொடுப்பனவுகள் ஆகியவற்றை ஒரே மாதிரியாகக் கருதுதல்
-
தினசரி வருவாயில் நேர மண்டலம் விடுபட்ட சிக்கல்கள்
-
நிதிப் பிழைகளைக் கண்டறியாத பொதுவான சோதனைகளைப் பரிந்துரைத்தல்
-
நம்பிக்கையுடன் பேசுவது போல் தோன்றும், ஆனால் நிச்சயமற்ற தன்மையை மறைக்கும் ஆவணங்களை எழுதுதல்
-
மாதிரித் தரவில் வாடிக்கையாளர் விவரங்கள் அடங்கியிருக்கும்போது தனியுரிமை விதிகளை மறந்துவிடுதல்
ஒரு நல்ல விதி: செயற்கை நுண்ணறிவு மாதிரியை உருவாக்கலாம், ஆனால் அதன் வரையறைகள், நிதி சார்ந்த தர்க்கம், அணுகல் கட்டுப்பாடு மற்றும் உற்பத்தி வெளியீடு ஆகியவற்றை ஒரு மனிதர் அங்கீகரிக்க வேண்டும்.
நடைமுறைப் பாடம்
தரவுப் பொறியியலில் செயற்கை நுண்ணறிவின் மதிப்புமிக்க வடிவம் என்பது “தரவுப் பொறியாளரை மாற்றுவது” அல்ல. அது “வெற்றுப் பக்கத்தை அகற்றிவிட்டு, பின்னர் தீவிரமாக மதிப்பாய்வு செய்வது” ஆகும்.
இதன் பொருள், வேகமான SQL, வேகமான சோதனைகள் மற்றும் மேம்பட்ட முதல்நிலை ஆவணப்படுத்தல் ஆகும். அதே சமயம், தரவு சரியானது, நம்பகமானது, பாதுகாப்பானது மற்றும் விளக்கக்கூடியதுதானா என்பதை உறுதிசெய்யும் மிக முக்கியமான பொறுப்பு பொறியாளரிடமே இருக்கும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
தரவு பொறியாளர்களை AI முழுமையாக மாற்றுமா?
பெரும்பாலான நிறுவனங்களில், AI, குறிப்பிட்ட பணிகளை முழுவதுமாக நீக்குவதற்குப் பதிலாக, பொறுப்பேற்க அதிக வாய்ப்புள்ளது. இது SQL வரைவு, பைப்லைன் சாரக்கட்டு, ஆவணப்படுத்தல் முதல் தேர்ச்சி மற்றும் அடிப்படை சோதனை உருவாக்கத்தை துரிதப்படுத்த முடியும். ஆனால் தரவு பொறியியல் உரிமை மற்றும் பொறுப்புணர்வையும் கொண்டுள்ளது, மேலும் குழப்பமான வணிக யதார்த்தத்தை நம்பகமான அமைப்பாக நடத்தும் அழகற்ற வேலையையும் கொண்டுள்ளது. அந்த பகுதிகளுக்கு "சரியானது" எப்படி இருக்கும் என்பதை மனிதர்கள் தீர்மானிக்க வேண்டும், விஷயங்கள் உடைக்கப்படும்போது பொறுப்பேற்க வேண்டும்.
தரவு பொறியியலின் எந்தப் பகுதிகளை AI ஏற்கனவே தானியங்குபடுத்தி வருகிறது?
மீண்டும் மீண்டும் செய்யக்கூடிய வேலைகளில் AI சிறப்பாகச் செயல்படுகிறது: SQL வரைவு மற்றும் மறுசீரமைப்பு, dbt மாதிரி எலும்புக்கூடுகளை உருவாக்குதல், பொதுவான பிழைகளை விளக்குதல் மற்றும் ஆவணக் குறிப்புகளை உருவாக்குதல். இது பூஜ்ய அல்லது தனித்துவச் சரிபார்ப்புகள் போன்ற சாரக்கட்டு சோதனைகளையும் செய்யலாம் மற்றும் ஆர்கெஸ்ட்ரேஷன் கருவிகளுக்கான டெம்ப்ளேட் "பசை" குறியீட்டை உருவாக்கலாம். வெற்றி என்பது உந்துதல் - நீங்கள் ஒரு வேலை செய்யும் தீர்வை நெருங்கத் தொடங்குகிறீர்கள் - ஆனால் நீங்கள் இன்னும் சரியானதைச் சரிபார்த்து, அது உங்கள் சூழலுக்குப் பொருந்துவதை உறுதி செய்ய வேண்டும்.
AI SQL மற்றும் பைப்லைன்களை எழுத முடிந்தால், தரவு பொறியாளர்களுக்கு என்ன மிச்சம்?
நிறைய: தரவு ஒப்பந்தங்களை வரையறுத்தல், திட்ட சறுக்கலைக் கையாளுதல் மற்றும் குழாய்வழிகள் சுயாதீனமானவை, கவனிக்கத்தக்கவை மற்றும் மீட்டெடுக்கக்கூடியவை என்பதை உறுதி செய்தல். தரவு பொறியாளர்கள் மெட்ரிக் மாற்றங்களை ஆராய்வது, கீழ்நிலை பயனர்களுக்கான பாதுகாப்புத் தடுப்புகளை உருவாக்குவது மற்றும் செலவு மற்றும் நம்பகத்தன்மை பரிமாற்றங்களை நிர்வகிப்பது ஆகியவற்றில் நேரத்தைச் செலவிடுகிறார்கள். பெரும்பாலும் நம்பிக்கையை வளர்ப்பது மற்றும் தரவு தளத்தை "அமைதியாக" வைத்திருப்பது, அதாவது யாரும் அதைப் பற்றி தினமும் சிந்திக்க வேண்டிய அளவுக்கு நிலையானதாக வைத்திருப்பது போன்ற வேலைகள் இதில் அடங்கும்.
ஒரு தரவு பொறியாளரின் அன்றாட வேலையை AI எவ்வாறு மாற்றுகிறது?
இது பொதுவாக பாய்லர்பிளேட் மற்றும் "தேடல் நேரத்தை" குறைக்கிறது, எனவே நீங்கள் தட்டச்சு செய்வதில் குறைந்த நேரத்தையும், மதிப்பாய்வு செய்தல், சரிபார்த்தல் மற்றும் வடிவமைப்பதில் அதிக நேரத்தையும் செலவிடுகிறீர்கள். அந்த மாற்றம் எல்லாவற்றையும் கையால் குறியிடுவதற்குப் பதிலாக எதிர்பார்ப்புகள், தரத் தரநிலைகள் மற்றும் மீண்டும் பயன்படுத்தக்கூடிய வடிவங்களை வரையறுப்பதை நோக்கி பங்கைத் தூண்டுகிறது. நடைமுறையில், நீங்கள் தயாரிப்பு, பாதுகாப்பு மற்றும் நிதியுடன் அதிக கூட்டாண்மைப் பணிகளைச் செய்வீர்கள் - ஏனெனில் தொழில்நுட்ப வெளியீடு உருவாக்குவது எளிதாகிறது, ஆனால் நிர்வகிப்பது கடினமாகிறது.
"செயலில் உள்ள பயனர்" போன்ற தெளிவற்ற வணிக வரையறைகளுடன் AI ஏன் போராடுகிறது?
வணிக தர்க்கம் நிலையானது அல்லது துல்லியமானது அல்ல என்பதால் - அது திட்டத்தின் நடுவில் மாறுகிறது மற்றும் பங்குதாரரைப் பொறுத்து மாறுபடும். AI ஒரு விளக்கத்தை வரைய முடியும், ஆனால் வரையறைகள் உருவாகும்போது அல்லது மோதல்கள் வெளிப்படும்போது அது முடிவை சொந்தமாக்க முடியாது. தரவு பொறியியலுக்கு பெரும்பாலும் பேச்சுவார்த்தை, அனுமானங்களை ஆவணப்படுத்துதல் மற்றும் தெளிவற்ற தேவைகளை நீடித்த ஒப்பந்தங்களாக மாற்றுதல் ஆகியவை தேவைப்படுகின்றன. கருவி மேம்படுத்தப்பட்டாலும் கூட பங்கு மறைந்துவிடாததற்கு அந்த "மனித சீரமைப்பு" வேலை ஒரு முக்கிய காரணம்.
தரவு நிர்வாகம், தனியுரிமை மற்றும் இணக்கப் பணிகளை AI பாதுகாப்பாகக் கையாள முடியுமா?
கொள்கைகளை உருவாக்க அல்லது அணுகுமுறைகளை பரிந்துரைக்க AI உதவ முடியும், ஆனால் பாதுகாப்பான செயல்படுத்தலுக்கு இன்னும் உண்மையான பொறியியல் மற்றும் கவனமான மேற்பார்வை தேவைப்படுகிறது. நிர்வாகத்தில் அணுகல் கட்டுப்பாடுகள், PII கையாளுதல், தக்கவைப்பு விதிகள், தணிக்கை பாதைகள் மற்றும் சில நேரங்களில் வசிப்பிட கட்டுப்பாடுகள் ஆகியவை அடங்கும். இவை "கிட்டத்தட்ட சரியானது" என்பது ஏற்றுக்கொள்ள முடியாத அதிக ஆபத்துள்ள பகுதிகள். மனிதர்கள் விதிகளை வடிவமைக்க வேண்டும், அமலாக்கத்தை சரிபார்க்க வேண்டும் மற்றும் இணக்க விளைவுகளுக்கு பொறுப்பேற்க வேண்டும்.
AI மேம்படும்போது தரவு பொறியாளர்களுக்கு என்ன திறன்கள் மதிப்புமிக்கதாக இருக்கும்?
அமைப்புகளை மீள்தன்மை கொண்டதாக மாற்றும் திறன்கள்: கணினி வடிவமைப்பு சிந்தனை, தரவு தர பொறியியல் மற்றும் தளத்தை மையமாகக் கொண்ட தரப்படுத்தல். அதிகமான மக்கள் தரவு கலைப்பொருட்களை விரைவாக உருவாக்கும்போது ஒப்பந்தங்கள், கவனிக்கத்தக்க தன்மை, சம்பவ மறுமொழி பழக்கவழக்கங்கள் மற்றும் ஒழுக்கமான மூல காரண பகுப்பாய்வு ஆகியவை இன்னும் முக்கியமானதாகின்றன. தகவல்தொடர்பு ஒரு வேறுபாட்டாளராகவும் மாறுகிறது - வரையறைகளை சீரமைப்பது, தெளிவான ஆவணங்களை எழுதுவது மற்றும் நாடகம் இல்லாமல் பரிமாற்றங்களை விளக்குவது தரவை நம்பகமானதாக வைத்திருப்பதில் ஒரு பெரிய பகுதியாகும்.
AI மற்றும் நிர்வகிக்கப்பட்ட கருவிகளால் எந்த தரவு பொறியியல் பாத்திரங்கள் அதிக ஆபத்தில் உள்ளன?
மீண்டும் மீண்டும் உட்கொள்ளும் அல்லது நிலையான அறிக்கையிடல் குழாய்களில் கவனம் செலுத்தும் பாத்திரங்கள் அதிகமாக வெளிப்படும், குறிப்பாக நிர்வகிக்கப்படும் ELT இணைப்பிகள் பெரும்பாலான ஆதாரங்களை உள்ளடக்கும் போது. குறைந்த உரிமை, டிக்கெட் சார்ந்த வேலை சுருங்கக்கூடும், ஏனெனில் AI மற்றும் சுருக்கம் ஒரு குழாய்க்கு முயற்சியைக் குறைக்கிறது. ஆனால் இது பொதுவாக "தரவு பொறியாளர்கள் இல்லை" என்று அல்ல, குறைவான மக்கள் மீண்டும் மீண்டும் செய்யும் பணிகளைச் செய்வது போல் தெரிகிறது. நம்பகத்தன்மை, தரம் மற்றும் நம்பிக்கையை மையமாகக் கொண்ட உயர் உரிமைப் பாத்திரங்கள் நீடித்து நிலைத்திருக்கும்.
குழப்பத்தை உருவாக்காமல், GitHub Copilot அல்லது dbt போன்ற கருவிகளை AI உடன் எவ்வாறு பயன்படுத்துவது?
AI வெளியீட்டை ஒரு முடிவாக அல்ல, ஒரு வரைவாகக் கருதுங்கள். வினவல் எலும்புக்கூடுகளை உருவாக்க, படிக்கக்கூடிய தன்மையை மேம்படுத்த அல்லது ஸ்காஃபோல்ட் dbt சோதனைகள் மற்றும் ஆவணங்களை உருவாக்க இதைப் பயன்படுத்தவும், பின்னர் உண்மையான தரவு மற்றும் விளிம்பு நிலைகளுக்கு எதிராக சரிபார்க்கவும். வலுவான மரபுகளுடன் இதை இணைக்கவும்: ஒப்பந்தங்கள், பெயரிடும் தரநிலைகள், கவனிக்கத்தக்க சோதனைகள் மற்றும் மதிப்பாய்வு நடைமுறைகள். நம்பகத்தன்மை, செலவுக் கட்டுப்பாடு அல்லது நிர்வாகத்தை தியாகம் செய்யாமல் விரைவான விநியோகமே குறிக்கோள்.
குறிப்புகள்
-
ஐரோப்பிய ஆணையம் - தரவு பாதுகாப்பு விளக்கம்: GDPR கொள்கைகள் - commission.europa.eu
-
தகவல் ஆணையர் அலுவலகம் (ICO) - சேமிப்பக வரம்பு - ico.org.uk
-
ஐரோப்பிய ஆணையம் - தரவை எவ்வளவு காலம் வைத்திருக்க முடியும், அதைப் புதுப்பிக்க வேண்டியது அவசியமா? - commission.europa.eu
-
தேசிய தரநிலைகள் மற்றும் தொழில்நுட்ப நிறுவனம் (NIST) - தனியுரிமை கட்டமைப்பு - nist.gov
-
NIST கணினி பாதுகாப்பு வள மையம் (CSRC) - SP 800-92: கணினி பாதுகாப்பு பதிவு மேலாண்மைக்கான வழிகாட்டி - csrc.nist.gov
-
இணையப் பாதுகாப்பு மையம் (CIS) - தணிக்கைப் பதிவு மேலாண்மை (CIS கட்டுப்பாடுகள்) - cisecurity.org
-
ஸ்னோஃப்ளேக் ஆவணம் - வரிசை அணுகல் கொள்கைகள் - docs.snowflake.com
-
கூகிள் கிளவுட் ஆவணம் - BigQuery வரிசை-நிலை பாதுகாப்பு - docs.cloud.google.com
-
BITOL - திறந்த தரவு ஒப்பந்த தரநிலை (ODCS) v3.1.0 - bitol-io.github.io
-
BITOL (GitHub) - திறந்த தரவு ஒப்பந்த தரநிலை - github.com
-
அப்பாச்சி ஏர்ஃப்ளோ - ஆவணம் (நிலையானது) - airflow.apache.org
-
அப்பாச்சி ஏர்ஃப்ளோ - DAGகள் (முக்கிய கருத்துக்கள்) - airflow.apache.org
-
dbt ஆய்வக ஆவணங்கள் - dbt என்றால் என்ன? - docs.getdbt.com
-
dbt ஆய்வக ஆவணங்கள் - dbt மாதிரிகள் பற்றி - docs.getdbt.com
-
dbt ஆய்வக ஆவணம் - ஆவணம் - docs.getdbt.com
-
dbt ஆய்வக ஆவணங்கள் - தரவு சோதனைகள் - docs.getdbt.com
-
dbt ஆய்வக ஆவணம் - dbt சொற்பொருள் அடுக்கு - docs.getdbt.com
-
ஃபைவ்ட்ரான் ஆவணம் - தொடங்குதல் - ஃபைவ்ட்ரான்.காம்
-
ஃபைவ்ட்ரான் - இணைப்பிகள் - ஃபைவ்ட்ரான்.காம்
-
AWS ஆவணம் - AWS லாம்ப்டா டெவலப்பர் வழிகாட்டி - docs.aws.amazon.com
-
கிட்ஹப் - கிட்ஹப் கோபிலட் - கிதுப்.காம்
-
GitHub ஆவணங்கள் - GitHub Copilot உடன் உங்கள் IDE இல் குறியீடு பரிந்துரைகளைப் பெறுதல் - docs.github.com
-
மைக்ரோசாப்ட் லேர்ன் - SQL (VS குறியீடு நீட்டிப்பு) க்கான கிட்ஹப் கோபிலட் - learn.microsoft.com
-
டைனட்ரேஸ் ஆவணப்படுத்தல் - தரவு கண்காணிப்பு - docs.dynatrace.com
-
டேட்டா கேலக்ஸி - தரவு கண்காணிப்பு என்றால் என்ன? - datagalaxy.com
-
சிறந்த எதிர்பார்ப்புகள் ஆவணம் - எதிர்பார்ப்புகள் கண்ணோட்டம் - docs.greatexpectations.io