VERİ SETLERİ / PRETRAINING / V0

Türkçe Pretraining Corpusu

Web, akademik yayınlar ve seçili açık kaynaklardan oluşturulan Türkçe pretraining corpusu.

Mevcut ölçümler

195,2 MnBelgeToplam kayıt sayısı
BekleniyorTokenHenüz hesaplanmadı
351,2 GBBoyutSıkıştırılmış yayın
BekleniyorTürkçe oranıDil tespitinden sonra
BekleniyorTam tekrar
BekleniyorPII göstergesi

Kaynak dağılımı

HPLT v3 Türkçe159.466.598 belge
%81,7
Turkish FineWeb Filtered30.959.237 belge
%15,9
DergiPark ham çıkarım773.610 belge
%0,4
DergiPark temizlenmiş407.368 belge
%0,2
Türkçe Wikipedia1.017.940 belge
%0,5
TBMM tutanakları936 belge
<%0,1
BOUN Web Corpus975.848 belge
%0,5
OPUS OpenSubtitles276.520 belge
%0,1
Türkçe YouTube Altyazıları1.337.036 belge
%0,7

Süreç

Toplama

Kaynaklardan veri toplanır.

Dil ve kalite

Dil, uzunluk, bozuk içerik ve biçim kontrolleri uygulanır.

Tekilleştirme

Kısmen veya tamamen tekrar eden veriler tekilleştirilir.

Güvenlik

Kişisel veriler veya zararlı ve uygunsuz içerikler incelenir.

Sürümleme

Kalite kontrolden geçen veri seti yayınlanır.

Erişim ve koşullar

Paylaşılan veri setlerinin kullanımından oluşabilecek sorunlar kullanıcıya aittir, ODTÜ NLP herhangi bir sorumluluk kabul etmez. Veri setleri ve insightlar kötü niyetle veya izin olmadan ticari faaliyet amacıyla kullanılamaz. Lisans, atıf ve kullanım koşulları ilgili veri setiyle birlikte sunulur ve veri setinin kullanılmasıyla birlikte kabul edilmiş sayılır.

Araştırma erişimi iste