Crypto AI'nın Kutsal Kasesi: Merkeziyetsizlik Eğitiminin Sınırları

AI'nin tam değer zincirinde, model eğitimi en fazla kaynak tüketen ve teknik engeli en yüksek aşamadır, doğrudan modelin yetenek sınırını ve gerçek uygulama etkisini belirler. Çıkarma aşamasının hafif çağrıları ile karşılaştırıldığında, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunlukta optimizasyon algoritması desteği gerektirir, bu da AI sisteminin inşasının gerçek "ağır sanayi"sidir. Mimari paradigması açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalenin odaklandığı Merkeziyetsizlik eğitimi.

Merkeziyetsiz eğitim, tek bir kuruluşun yerel yüksek performanslı kümelerde tüm eğitim süreçlerini tamamladığı en yaygın geleneksel yöntemdir. Donanım, alt yazılım, küme planlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilir. Bu derin işbirliği yapısının bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkardığı için, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için son derece uygundur ve yüksek verimlilik, kontrol edilebilir kaynaklar gibi avantajlara sahiptir; ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunları da barındırmaktadır.

Dağıtık eğitim, günümüz büyük model eğitiminde ana akım bir yöntemdir; bunun temelinde model eğitim görevlerinin parçalanarak birden fazla makineye dağıtılması ve işbirliği içinde gerçekleştirilmesi yatmaktadır. Bu sayede tek bir makinenin hesaplama ve depolama darboğazlarının üstesinden gelinmektedir. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel süreç hâlâ merkezi bir kuruluş tarafından kontrol edilmekte ve senkronize edilmektedir. Genellikle yüksek hızlı yerel alan ağı (LAN) ortamlarında çalışmakta ve NVLink yüksek hızlı bağlantı teknolojisi üzerinden ana düğüm tarafından alt görevlerin koordinasyonu sağlanmaktadır. Ana akım yöntemler şunları içermektedir:

• Verilerin paralel işlenmesi: Her bir düğüm farklı veri parametreleri ile eğitim yapar, model ağırlıklarının eşleşmesi gerekir.
• Model parçalama: Modelin farklı bölümlerini farklı düğümlere dağıtarak güçlü ölçeklenebilirlik sağlamak
• Boru hattı paralel: Aşamalı seri yürütme, throughput'u artırır
• Tensor paralelliği: Matris hesaplamalarını ince bir şekilde bölerek paralel boyutu artırma

Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur, aynı patronun uzaktan birden fazla "ofis" çalışanını işbirliği yaparak görevi tamamlamasıyla karşılaştırılabilir. Şu anda neredeyse tüm ana akım büyük modeller (GPT-4, Gemini, LLaMA gibi ) bu şekilde eğitilmektedir.

Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dayanıklı bir gelecek yolu anlamına gelir. Bunun temel özellikleri şunlardır: Birbirine güvenmeyen birden fazla düğüm (, ev bilgisayarları, bulut GPU'lar veya kenar cihazlar ) merkezi bir koordinatör olmadan eğitim görevlerini işbirliği içinde tamamlayabilir, genellikle protokoller aracılığıyla görev dağıtımı ve işbirliği sağlanır ve katkıların dürüstlüğünü sağlamak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı başlıca zorluklar şunlardır:

• Cihaz heterojenliği ve bölme zorluğu: Heterojen cihazların koordine edilmesi zordur, görev bölme verimliliği düşüktür.
• İletişim verimliliği darboğazı: Ağ iletişimi kararsız, gradyan senkronizasyonu darboğazı belirgin
• Güvenilir yürütme eksikliği: Güvenilir yürütme ortamının olmaması, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamayı zorlaştırır.
• Birleşik koordinasyon eksikliği: Merkezi bir denetleyici yok, görev dağıtımı, hata geri alma mekanizması karmaşık.

Merkeziyetsizlik eğitimi, dünyanın dört bir yanındaki gönüllülerin, kendi hesaplama güçlerini bir araya getirerek bir modeli eğitmesi olarak anlaşılabilir; ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğu olup, sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok alanda kapsamaktadır. Ancak "etkili iş birliği + dürüstlüğü teşvik etme + doğru sonuçlar" sağlanıp sağlanamayacağı hâlâ erken prototip keşif aşamasındadır.

Federated learning, bir geçiş biçimi olarak dağıtık ve Merkeziyetsizlik arasında, verilerin yerel olarak saklanmasını ve model parametrelerinin merkezi olarak bir araya getirilmesini vurgular, gizlilik uyumuna önem veren senaryolara uygundur (, örneğin sağlık ve finans ). Federated learning, dağıtık eğitim mühendislik yapısına ve yerel işbirliği yeteneğine sahiptir, aynı zamanda Merkeziyetsizlik eğitiminde verilerin dağılma avantajını da taşır, ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyum senaryolarında "kontrollü Merkeziyetsizlik" çözümü olarak görülebilir, eğitim görevleri, güven yapısı ve iletişim mekanizmaları açısından oldukça ılımlıdır ve endüstride geçiş aşaması dağıtım mimarisi olarak daha uygundur.

Merkeziyetsizlik eğitiminin sınırları, fırsatları ve gerçekçi yolları

Eğitim paradigması açısından, merkeziyetsiz eğitim tüm görev türlerine uygun değildir. Bazı senaryolar, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya işbirliği zorluğunun büyük olması nedeniyle, doğal olarak heterojen, güvene dayanmayan düğümler arasında verimli bir şekilde tamamlanmaya uygun değildir. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir, bu da açık ağda etkili bir şekilde bölünmesini ve senkronizasyonunu zorlaştırır; veri gizliliği ve egemenlik kısıtlamalarının güçlü olduğu görevler (, tıbbi, finansal, gizli veri ) gibi, yasal uyumluluk ve etik kısıtlamalar nedeniyle açık paylaşımda bulunamaz; ve işbirliği teşvikleri olmayan görevler (, işletme kapalı kaynak modeli veya iç prototip eğitimi ) gibi, dış katılım motivasyonundan yoksundur. Bu sınırlar, mevcut merkeziyetsiz eğitimin gerçek kısıtlamalarını oluşturur.

Ancak bu, merkeziyetsizlik eğitimlerinin sahte bir kavram olduğu anlamına gelmez. Aslında, yapısı hafif, kolay paralel hale getirilebilen ve teşvik edici görev türlerinde, merkeziyetsizlik eğitimi belirgin uygulama potansiyeli göstermektedir. Bunlar arasında, ancak bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış uyumlu son eğitim görevleri (, RLHF, DPO ), veri kalabalık eğitimi ve etiketleme görevleri, kaynakları kontrol edilebilir küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları yer almaktadır. Bu görevler genellikle yüksek paralellik, düşük bağlanabilirlik ve farklı hesaplama güçlerine tolerans gösterme özelliklerine sahiptir, bu nedenle P2P ağları, Swarm protokolleri, dağıtılmış optimizasyoncular gibi yöntemlerle işbirlikçi eğitim için son derece uygundur.

Merkeziyetsizlik Eğitim Klasik Proje Analizi

Şu anda merkeziyetsizlik eğitimi ve federatif öğrenme alanında, temsilci blockchain projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai, sistem mimarisi ve algoritma tasarımı konusunda daha fazla orijinal keşif sunarak mevcut teorik araştırmaların öncü yönlerini temsil ediyor; Gensyn ve Flock.io'nun uygulama yolları ise daha net olup, ilk mühendislik ilerlemeleri gözlemlenebiliyor. Bu makalede, bu beş projenin arkasındaki temel teknoloji ve mühendislik mimarisi sırayla analiz edilecek ve merkeziyetsiz AI eğitim sistemi içindeki farklılıkları ve tamamlayıcı ilişkileri daha ayrıntılı olarak tartışılacaktır.

Prime Intellect: Eğitim izleri doğrulanabilir pekiştirme öğrenimi işbirlikçi ağ öncüsü

Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeyi hedefliyor, böylece herkes eğitime katılabilir ve hesaplama katkılarından güvenilir ödüller alabilir. Prime Intellect, verilebilirlik, açıklık ve teşvik mekanizmalarının tamamlandığı bir AI Merkeziyetsizlik eğitim sistemi oluşturmak için PRIME-RL + TOPLOC + SHARDCAST üç ana modülünü kullanmayı umuyor.

01, Prime Intellect protokol yığını yapısı ve ana modül değeri

02, Prime Intellect eğitim ana mekanizması detaylı açıklaması

#PRIME-RL: Ayrık Asenkron Güçlendirme Öğrenimi Görev Mimarisi

PRIME-RL, Prime Intellect tarafından Merkeziyetsizlik eğitim senaryoları için özelleştirilmiş bir görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve asenkron katılım için tasarlanmıştır. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır, böylece her eğitim düğümü yerel olarak bağımsız bir görev döngüsü tamamlayabilir ve standart arayüzler aracılığıyla doğrulama ve toplama mekanizmaları ile işbirliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL, merkezi bir zamanlayıcı olmayan ortamlarda esnek eğitim gerçekleştirmek için daha uygundur, hem sistem karmaşıklığını azaltır hem de çoklu görev paralelliği ve strateji evrimi için bir temel oluşturur.

#TOPLOC:Hafif Eğitim Davranış Doğrulama Mekanizması

TOPLOC(Güvenilir Gözlem & Politika-yerellik Kontrolü), Prime Intellect tarafından önerilen eğitim doğrulanabilirliği çekirdek mekanizmasıdır ve bir düğümün gerçekten gözlem verilerine dayanarak etkili bir politika öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplamasına dayanmaz, bunun yerine "gözlem dizisi↔politika güncellemesi" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştürerek, güvenilir bir eğitim ödül dağıtımı sağlamanın anahtar yeniliğini sunar ve denetlenebilir, teşvik edici Merkeziyetsizlik işbirliği eğitim ağı inşa etmek için uygulanabilir bir yol sunar.

#SHARDCAST: Asenkron Ağırlık Toplama ve Yayılma Protokolü

SHARDCAST, Prime Intellect tarafından tasarlanan bir ağırlık yayılımı ve toplama protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu sürekli değişen gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizması ile yerel senkronizasyon stratejisini birleştirir, farklı senkronize olmayan durumlarda birden fazla düğümün kısmi güncellemeleri sürekli olarak göndermesine olanak tanır, ağırlıkların kademeli olarak yakınsamasını ve çoklu sürüm evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemleriyle karşılaştırıldığında, SHARDCAST, merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır, istikrarlı ağırlık uzlaşması ve sürekli eğitim yinelemesi için temel bir yapı taşını oluşturur.

#OpenDiLoCo:Seyrek Asenkron İletişim Çerçevesi

OpenDiLoCo, Prime Intellect ekibinin DeepMind'ın önerdiği DiLoCo fikrini bağımsız olarak gerçekleştirdiği ve açık kaynaklı hale getirdiği bir iletişim optimizasyon çerçevesidir. Merkeziyetsizlik eğitiminde sıkça karşılaşılan bant genişliği kısıtlamaları, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklar için tasarlanmıştır. Mimarisi, veri paralelliği temelinde inşa edilmiştir ve Ring, Expander, Small-World gibi seyrek topolojik yapılar oluşturarak, küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmaktadır; sadece yerel komşu düğümlere dayanarak model işbirliği eğitimi gerçekleştirebilmektedir. Asenkron güncellemeler ve kesinti toleransı mekanizması ile bir araya getirildiğinde, OpenDiLoCo, tüketici sınıfı GPU'lar ve kenar cihazlarının eğitim görevlerine istikrarlı bir şekilde katılmasını sağlar, küresel işbirliği eğitimine katılma yeteneğini önemli ölçüde artırır ve merkeziyetsizlik eğitim ağı inşa etmenin temel iletişim altyapılarından biri haline gelir.

#PCCL: İşbirliği İletişim Kütüphanesi

PCCL(Prime Collective Communication Library), Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir ve geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliğine sahip ağlardaki uyum darboğazlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesintiden kurtarmayı destekler, tüketici sınıfı GPU'lar ve istikrarsız düğümler üzerinde çalışabilir ve OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen alt bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçek anlamda açık ve güvene ihtiyaç duymayan işbirlikçi eğitim ağını oluşturmanın "son bir mil" iletişim altyapısını sağlamaktadır.

03, Prime Intellect teşvik ağı ve rol dağılımı

Prime Intellect, herkese katılma imkanı veren, doğrulanabilir ve ekonomik teşvik mekanizmasına sahip bir eğitim ağı inşa etti ve gerçek katkılara dayalı ödüller kazanma imkanı sunuyor. Protokol, üç ana rol türü üzerine inşa edilmiştir:

• Görev başlatıcısı: Eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımlamak
• Eğitim Düğümleri: Yerel eğitim yürütme, ağırlık güncellemelerini gönderme ve gözlem izini takip etme
• Doğrulama düğümü: TOPLOC mekanizmasını kullanarak eğitim davranışlarının gerçekliğini doğrular ve ödül hesaplama ile strateji birleştirmesine katılır.

Protokolün temel süreçleri, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme (SHARDCAST) ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngüsü oluşturur.

![Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlik Eğitiminin Sınırları](