Arsim dhe fusha të specializuara
Teknologji gjuhësore
Problemi
Një tokenizues duket se funksionon me fjali formale, por i ndan gabim format e vështira të shqipes. Gabon te format e shkurtuara me apostrof, te shkurtimet me pikë, te numrat me ndarës mijëshesh dhe te ë-ja e koduar si dy pika kodi. Gabimi kalon pa u parë te lemat dhe te etiketat gramatikore. Aty programi i analizës, i trajnuar kryesisht mbi tekste letrare, hamendëson edhe për fjalë juridike që nuk i ka parë kurrë. Pastaj korpusi i anotuar raporton pajtimin token për token. Token-at jashtë çdo entiteti, ku dy anotuesit pajtohen pothuajse gjithmonë, e fryjnë rezultatin dhe fshehin mospajtimin për vetë entitetet.
26 kurse · 1 i posaçëm për këtë profesion
Një proces nga puna juaj
Sa kohë ju merr etiketimi i një dokumenti për të dhëna trajnimi?
- Hapi 1AI-ja vendos etiketat e para në tekst.
- Hapi 2Eksperti rishikon çdo etiketë, shton ato që mungojnë dhe fshin ato të gabuara.
- Hapi 3Etiketën përfundimtare e vendos eksperti, dhe regjistri shënon se ajo nisi nga AI-ja.
- Ku del gabimiAI-ja lë jashtë disa etiketa dhe vendos të tjera të gabuara.
- Kontrolli juajEtiketoni nga e para një kampion dhe krahasojeni me versionin e rishikuar.
Çfarë u mat dhe si kontrolloni
Çfarë ndryshoi, sipas matjes
Kur eksperti nisi nga etiketat paraprake të modelit, koha e etiketimit ra me 58%, nga 26,67 në 11,32 minuta për dokument.
Kush u mat: Vlerësues me formim mjekësor etiketuan informacionin për barnat në shënime klinike, duke nisur nga e para ose nga etiketat paraprake të modelit.
Kufizimi: Autorët punojnë për kompaninë që ndërtoi modelin. U mat një detyrë e vetme nxjerrjeje informacioni, në një grup të vetëm të dhënash, dhe u numërua vetëm koha e punës njerëzore.
Kontrolli, hap pas hapi
- Etiketoni nga e para një kampion dokumentesh, pa etiketat e AI-së, dhe krahasojeni me versionin e rishikuar.
- Numëroni veçmas etiketat e shtuara dhe ato të fshira: ato tregojnë ku gabon AI-ja.
- Mos i përdorni etiketat e AI-së si referencë të saktë në vlerësim; grupin e testimit rishikojeni të tërin.
- Shënoni në të dhëna cilat etiketa nisën nga AI-ja dhe kush i rishikoi.
Kursi trajton përpunimin e tekstit shqip me Python: korpuset, modelet dhe vlerësimin.
Për këtë proces ju ndihmon kursi «Python dhe përpunimi i gjuhës shqipe», 20 orë.
Gabim i dokumentuar
Saktësia 94%, mbi shkresa të njohura nga trajnimi
- Çfarë bën AI-jaNjë specialist i teknologjisë gjuhësore vlerëson për një ministri një model që klasifikon shkresat hyrëse në shqip sipas drejtorisë përgjegjëse. Nga regjistri i vlerësimit, AI-ja harton përmbledhjen e raportit për ministrinë.
- Ku del gabimiPërmbledhja raporton saktësinë, por lë jashtë që disa shkresa të testit ishin edhe në trajnim.
- Kontrolli juajHiqni nga testi shkresat që ishin edhe në trajnim dhe llogaritni saktësinë mbi ato të pastra.
Pse nuk bie në sy dhe si e kontrolloni
Ku del gabimi dhe pse nuk bie në sy
Tri pjesë të përmbledhjes e keqinformojnë lexuesin: «94%», «shkresat në shqip» dhe «gati për përdorim». Regjistri tregon se 640 nga 2 000 shkresat e testit ishin edhe në trajnim dhe se të gjitha vijnë nga i njëjti arkiv i të njëjtit vit. Për ato shkresa modeli mund ta kujtojë përgjigjen, jo ta gjejë. Rreshti për mbivendosjen ndodhet te përshkrimi i të dhënave, jo te rezultatet, dhe AI-ja e lë jashtë. «Shkresat në shqip» e shtrin te të gjitha shkresat një test të bërë mbi një arkiv. «Gati për përdorim» shton një përfundim që testi nuk e ka matur. Vetë shifra është kopjuar saktë, ndaj krahasimi me rezultatet nuk e zbulon. Studimet e botuara tregojnë se një model i ndotur me të dhënat e testit duket më i mirë se ç'është dhe se saktësia e tij bie me të dhëna të reja.
Kontrolli që e zbulon
- Hapni regjistrin e vlerësimit dhe shënoni për testin dhe për trajnimin nga cili burim, cila periudhë dhe cila drejtori vijnë shkresat.
- Kërkoni përputhjet mes testit dhe trajnimit, edhe shkresat që dalin pothuajse të njëjta kur hiqni datat, numrat e protokollit dhe emrat. Nxirrini ato nga testi.
- Llogaritni saktësinë vetëm mbi shkresat e pastra dhe, kur mundeni, mbi një grup të ri nga një vit ose drejtori tjetër. Raportoni të dyja shifrat, jo vetëm më të mirën.
- Në përmbledhje shkruajeni saktësinë bashkë me grupin ku u mat, dhe fshini çdo pohim si «gati për përdorim» që testi nuk e mbështet.
Ku është dokumentuar ky gabim: Studime shkencore: konferenca EMNLP 2023 e Shoqatës për Gjuhësinë Kompjuterike (dhjetor 2023), studimi GSM1k në arXiv (maj 2024), studimi mbi dublikatat në të dhëna, pranuar në ACL 2022 (arXiv, korrik 2021).Burimet: Shoqata për Gjuhësinë Kompjuterike (ACL), konferenca EMNLP 2023, 2023; punim në arXiv, 2024; punim në arXiv, 2021.Rastin më sipër e kemi shkruar ne, për punën në Shqipëri; ligjet që përmend janë kontrolluar në tekstin zyrtar.
Si duket
Regjistri i vlerësimit«Grupi i testit: 2 000 shkresa nga i njëjti arkiv i vitit 2023 si të dhënat e trajnimit. Shkresa të testit që gjenden edhe në trajnim, njësoj ose pothuajse njësoj: 640. Saktësia në test: 94%.»
Përmbledhja e AI-së«Modeli i klasifikon shkresat në shqip me saktësi 94% dhe është gati për t'u përdorur në të gjitha drejtoritë e ministrisë.»
Kurse të specializuara për këtë profesion
Python dhe përpunimi i gjuhës shqipe: punë me tekste, korpuse dhe vlerësim të modeleve.
Çfarë keni në fund
Grupi i testimit ka një rast për çdo formë të vështirë: apostrofin, shkurtimet me pikë, ndarësit e mijësheve dhe ë-në me dy pika kodi. Për secilin rast, ndarja e pritur është shkruar me dorë, dhe çdo rregullim në kod qëndron pranë rastit që e mbron. Kushdo që e ekzekuton merr të njëjtin rezultat për çdo rast, kalon ose dështon. Bashkë me të shkojnë tabela e gabimeve, ku çdo gabim mban llojin dhe shkakun rrënjësor, dhe regjistri i anotimit. Aty pajtimi matet mbi shtrirjet, dhe shënohet çdo mospajtim i zgjidhur.
Si punoni
Normalizoni tekstin, shkruani me dorë ndarjen e pritur për çdo rast dhe ekzekutoni tokenizuesin. Regjistroni çdo mospërputhje para se të ndryshoni kodin. Një rregullim pranohet vetëm kur kalon i gjithë grupi i testimit. Çdo gabim i analizës klasifikohet sipas taksonomisë E1 deri në E5 të kursit, bashkë me shkakun rrënjësor. Dy anotues etiketojnë veçmas të njëjtat fjali, dhe pajtimi matet mbi shtrirjet e plota të entiteteve (fillimi, fundi, etiketa). Çdo mospajtim zgjidhet dhe shënohet, dhe udhëzimet e anotimit përditësohen.
Teknologji gjuhësore
Në katalog i gjeni të 26 kurset, me filtra për formatin dhe kohën.