Veriye dayalı belirteçleme, istatistiksel veya sinirsel yöntemler kullanarak büyük metin külliyatlarından bölme kurallarını öğrenirken, kural tabanlı belirteçleme el yapımı dilsel kalıplara ve sözlüklere dayanır. Her iki yaklaşım da metni anlamlı birimlere ayırır, ancak esneklik, doğruluk ve hesaplama gereksinimleri açısından önemli ölçüde farklılık gösterirler.
Büyük metin veri kümelerindeki kalıpları analiz ederek belirteç sınırlarını otomatik olarak keşfeden bir makine öğrenimi yaklaşımı.
Metni önceden tanımlanmış dilbilimsel kurallar, düzenli ifadeler ve derlenmiş kelime listeleri kullanarak bölen geleneksel bir yaklaşım.
| Özellik | Veri Odaklı Tokenizasyon | Kural Tabanlı Tokenizasyon |
|---|---|---|
| Yaklaşmak | İstatistiksel veya sinirsel yöntemler kullanarak büyük metin külliyatlarından öğrenir. | Özenle hazırlanmış kurallar, düzenli ifade kalıpları ve sözlükler kullanır. |
| Gerekli Eğitim | Evet, önemli miktarda açıklama eklenmiş veya ham metin verisine ihtiyaç duyuyor. | Hayır, kurallar geliştiriciler tarafından elle yazılıyor. |
| Bilinmeyen Kelimelerle Başa Çıkma | Nadir kelimeleri bilinen alt kelime birimlerine ayırır. | Genellikle başarısız olur veya manuel sözlük güncellemeleri gerektirir. |
| Yorumlanabilirlik | Daha düşük, çünkü öğrenilen kalıplar model ağırlıklarına gömülüdür. | Yüksek, her kural okunabilir ve denetlenebilir. |
| Yeni Dillere Uyum Sağlama | Yeni veri kümeleri üzerinde kolayca yeniden eğitilebilir. | Sıfırdan yeni kural setleri oluşturmayı gerektirir. |
| Hesaplama Maliyeti | Eğitim sırasında daha yüksek, çıkarım aşamasında hızlı | Genel olarak düşük performanslı, minimum donanım gereksinimlerinde çalışır. |
| Ortak Algoritmalar | BPE, WordPiece, Unigram LM, SentencePiece | Düzenli ifade bölme, ek kaldırma, sözlük araması |
| Kullanılan | GPT, BERT, RoBERTa, T5 ve çoğu modern LLM | NLTK, spaCy kural işlem hatları, eski NLP sistemleri |
Veriye dayalı belirteçleyiciler, bir belirtecin nerede bittiğini ve diğerinin nerede başladığını belirlemek için milyonlarca cümledeki frekans kalıplarını analiz eder. Örneğin, BPE tek tek karakterlerle başlar ve hedef kelime dağarcığı boyutuna ulaşılana kadar en sık kullanılan bitişik çiftleri tekrar tekrar birleştirir. Kural tabanlı belirteçleyiciler ise, önceden tanımlanmış morfolojik tablolara dayanarak boşluklara göre bölme, noktalama işaretlerini kaldırma veya "-ing" ve "-ed" gibi ekleri çıkarma gibi sabit bir işlem dizisi uygular.
Veriye dayalı yöntemlerin en büyük avantajlarından biri, modelin daha önce hiç görmediği kelimeleri sorunsuz bir şekilde ele almasıdır. "Pneumonoultramicroscopicsilicovolcanoconiosis" gibi nadir bir tıbbi terim, modelin zaten anladığı tanıdık alt kelime parçalarına ayrılır. Kural tabanlı sistemler genellikle bu tür kelimelerde takılıp kalır; ya tek bir büyük kelime olarak bırakırlar ya da birisi bunları manuel olarak sözlüğe eklemedikçe tamamen yok sayarlar.
Kural tabanlı belirteçleyiciler şeffaflık konusunda avantajlıdır. Bir geliştirici kural dosyasını açabilir, metnin tam olarak nasıl bölündüğünü okuyabilir ve beklenmedik herhangi bir çıktıyı belirli bir kalıba kadar takip edebilir. Veri odaklı belirteçleyiciler ise daha çok kara kutu gibi davranır; aynı girdi her zaman aynı çıktıyı üretir, ancak belirli bir bölmenin neden seçildiğini açıklamak için eğitim istatistiklerini veya modelin iç işleyişini incelemek gerekir.
Veri odaklı bir belirteçleyiciyi eğitmek, önemli miktarda işlem gücü ve depolama alanı gerektirir; kaliteli bir sözlük oluşturmak için genellikle onlarca gigabayt metin işlenir. Eğitildikten sonra, çıkarım hızlıdır ve belirteçleyici dosyası küçüktür. Kural tabanlı belirteçleyiciler, oluşturulması veya çalıştırılması için neredeyse hiç kaynak gerektirmez; bu da onları düşük gecikmeli sistemler, gömülü cihazlar veya eğitim altyapısının bulunmadığı projeler için cazip hale getirir.
Veriye dayalı yaklaşımlar, yeni bir veri kümesi üzerinde yeniden eğitilerek yeni dillere doğal olarak uyum sağlar; bu nedenle XLM-Roberta gibi çok dilli modeller, tek bir belirteçleyici ile düzinelerce dili kapsayabilir. Kural tabanlı sistemler ise her yeni dil için dilbilimsel uzmanlık gerektirir, çünkü ek kuralları, karakter sınıfları ve kelime listeleri, morfolojiyi iyi bilen biri tarafından elle oluşturulmalıdır.
Modern doğal dil işleme (NLP) görevleri için, veri odaklı belirteçleyiciler, gürültülü metin, sosyal medya veya kod içeren kıyaslama testlerinde kural tabanlı olanlardan sürekli olarak daha iyi performans gösterir. Kural tabanlı belirteçleyiciler, öngörülebilir bölme ve insan tarafından okunabilir kuralların uç durumların ele alınmasından daha önemli olduğu yasal belgeler veya resmi yazılar gibi iyi yapılandırılmış alanlarda hala geçerliliğini korumaktadır.
Kural tabanlı belirteçleme (tokenization) eskimiştir ve modern yapay zekada artık kullanılmamaktadır.
Kural tabanlı belirteçleyiciler, özellikle cümle bölme, normalleştirme ve dil tespiti gibi ön işleme adımları için, üretim aşamasındaki doğal dil işleme (NLP) süreçlerinde yaygın olarak kullanılmaktadır. Birçok modern sistem, birini diğeriyle değiştirmek yerine, kural tabanlı ve veri odaklı yöntemleri bir araya getirmektedir.
Veriye dayalı belirteçleme, kural tabanlı yöntemlere göre her zaman daha iyi sonuçlar verir.
Kalite büyük ölçüde eğitim veri kümesine ve göreve bağlıdır. Kötü eğitilmiş veri odaklı bir belirteçleyici, özellikle eğitim verilerinin hedef dağılımla eşleşmediği alana özgü metinlerde, iyi ayarlanmış kural tabanlı bir belirteçleyiciden daha kötü performans gösterebilir.
Tokenizasyon, metni boşluklara göre bölmek anlamına gelir.
Gerçek dünyadaki belirteçleme araçları noktalama işaretlerini, kısaltmaları, çok kelimeli ifadeleri, emojileri ve alt kelime birimlerini ele alır. Basit boşluk bölme işlemi, belirteçlemenin çözmek için tasarlandığı karmaşıklığın çoğunu gözden kaçırır.
Bir kez eğitildikten sonra, veri odaklı bir belirteçleyici asla güncellenmeye ihtiyaç duymaz.
Dil evrim geçirdikçe, yeni argo kelimeler ortaya çıktıkça ve alana özgü terimler belirdikçe kelime dağarcığı da değişir. Birçok ekip, değişen metin dağılımlarına ayak uydurmak için belirteçleyicilerini periyodik olarak yeniden eğitir veya genişletir.
Tüm modern LLM'ler aynı belirteçleyiciyi kullanır.
Farklı model aileleri farklı belirteçleme şemaları kullanır. GPT modelleri BPE kullanırken, BERT WordPiece, T5 ise SentencePiece kullanır. Bu seçimler, kelime dağarcığı boyutunu, belirteç sayısını ve sonraki aşamalardaki performansı ölçülebilir şekillerde etkiler.
Modern doğal dil işleme (NLP) veya dil öğrenimi yönetimi (LLM) sistemleri oluştururken, çeşitli kelime dağarcığı, birden fazla dil veya gürültülü gerçek dünya metinleriyle başa çıkmak zorunda kaldığınızda veri odaklı belirteçlemeyi tercih edin. Tam şeffaflık, minimum işlem gücü gerektiğinde veya el yapımı kuralların dili zaten iyi bir şekilde yakaladığı dar bir alanda çalışıyorsanız kural tabanlı belirteçlemeyi tercih edin.
Açık kaynaklı LLM'ler, tam kod erişimiyle özelleştirilebilir, kendi kendine barındırılan yapay zeka modelleri sunarken, tescilli LLM API'leri ise bulut tabanlı uç noktalar aracılığıyla kullanım tabanlı fiyatlandırmayla yönetilen, geliştirilmiş hizmetler sağlar.
Açık kaynaklı modeller, eğitilmiş parametrelerini herkese açık bir şekilde yayınlayarak herkesin bunları indirmesine, incelemesine ve ince ayar yapmasına olanak tanır. Kapalı kaynaklı modeller ise ağırlıklarını gizli tutarak yalnızca API'ler veya barındırılan ürünler aracılığıyla erişim sağlar. Bu iki model arasındaki seçim, geliştiricilerin yapay zeka sistemlerini nasıl oluşturduklarını, dağıttıklarını ve onlara nasıl güvendiklerini şekillendirir.
Bu karşılaştırma, açık kaynaklı yapay zeka ile tescilli yapay zeka arasındaki temel farkları ele alıyor; erişilebilirlik, özelleştirme, maliyet, destek, güvenlik, performans ve gerçek dünya kullanım senaryolarını kapsıyor. Bu sayede kuruluşlar ve geliştiriciler, hangi yaklaşımın hedeflerine ve teknik yetkinliklerine uygun olduğunu belirleyebilir.
Ağ tabanlı makine öğrenimi, gecikme süresi, bant genişliği ve topoloji gibi ağ koşullarını doğrudan model tasarımına ve çıkarım kararlarına dahil ederken, yalnızca hesaplama odaklı makine öğrenimi, GPU gücü ve bellek gibi hesaplama kaynaklarına odaklanır. İlki dağıtılmış ortamlar için optimizasyon yaparken, ikincisi bol miktarda yerel hesaplama gücü olduğunu varsayar.
Ajan işbirliği ve merkezi model akıl yürütme, karmaşık yapay zeka problemlerini çözmeye yönelik iki farklı yaklaşımı temsil eder. Çoklu ajan sistemleri bilişsel süreçleri uzmanlaşmış düğümler arasında dağıtırken, merkezi akıl yürütme karar verme sürecini tek bir güçlü model içinde yoğunlaştırır. Her paradigma, ölçeklenebilirlik, yorumlanabilirlik ve görev performansı açısından benzersiz avantajlar ve dezavantajlar sunar.
