Святе Грааль Crypto AI: передові дослідження децентралізованого навчання
У повній ціннісній ланцюзі AI, навчання моделей є найбільш ресурсозатратним і технологічно складним етапом, що безпосередньо визначає верхню межу можливостей моделі та ефективність її застосування. У порівнянні з легкими викликами на етапі інференції, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних і високої інтенсивності підтримки оптимізаційних алгоритмів, що робить його справжньою "важкою промисловістю" для побудови систем AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, на якому акцентується увага в цій статті.
Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи розподілу кластеру до всіх компонентів навчальної рамки, координується єдиною контрольованою системою. Така глибока координація архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмови, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополії даних, бар'єрів ресурсів, енергетичних витрат та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на декілька машин для спільного виконання, щоб подолати обмеження обчислення та зберігання на одному комп'ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, загалом все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює у середовищі з високошвидкісною локальною мережею, завдяки технології швидкісної зв'язку NVLink, де головний вузол координує всі підзавдання. Основні методи включають:
Паралельність даних: кожен вузол тренує різні дані, параметри спільні, потрібно узгодити ваги моделі
Модельне паралелізм: розміщення різних частин моделі на різних вузлах для досягнення високої розширюваності
Паралельний трубопровід: поетапне послідовне виконання, підвищення пропускної здатності
Тензорне паралельне: уточнене розподілення матричних обчислень, підвищення ступеня паралелізму
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник дистанційно керує співробітниками кількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі (GPT-4, Gemini, LLaMA та інші ) були навчені цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарами GPU або крайніми пристроями ), які спільно виконують навчальні завдання без центрального координатора, зазвичай через протоколи, що керують розподілом завдань і співпрацею, а також за допомогою механізмів криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв і труднощі їх розподілу: високий рівень складності координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце в комунікаційній ефективності: нестабільна мережева комунікація, помітне вузьке місце в синхронізації градієнтів
Відсутність довіреного виконання: відсутність довіреного виконуваного середовища, важко перевірити, чи дійсно вузли беруть участь у обчисленнях
Відсутність єдиного координаційного центру: немає центрального диспетчера, складний розподіл завдань та механізм відкату помилок.
Децентралізація тренувань може бути зрозуміла як: група глобальних волонтерів, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійсненне масштабне децентралізоване тренування" все ще є системною інженерною проблемою, яка охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші рівні, але чи можна досягти "спільної ефективності + стимулювання чесності + правильності результатів" досі перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між розподіленим та децентралізованим, підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, підходить для сцен, що акцентують увагу на дотриманні конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та можливості локальної кооперації, при цьому має переваги розподілених даних децентралізованого навчання, але все ще залежить від надійної координаційної сторони і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в контексті дотримання конфіденційності, завдання навчання, структури довіри та комунікаційних механізмів є відносно м'якими, що робить його більш підходящим як перехідну архітектуру для промисловості.
![Святий грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору парадигми навчання, децентралізоване навчання не підходить для всіх типів завдань. У певних ситуаціях, через складність структури завдання, надзвичайно високі вимоги до ресурсів або складність співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних та обмеженнями суверенітету ), такі як медицина, фінанси, чутливі дані (, обмежені юридичними нормами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ), що не мають бази для співпраці, такі як закриті моделі підприємств або внутрішнє навчання прототипів (, не мають зовнішнього стимулу для участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним поняттям. Насправді, у типах завдань з легкою структурою, що легко паралелізуються та можуть бути заохочені, децентралізоване навчання демонструє чітку перспективу застосування. Включаючи, але не обмежуючись: мікронастройка LoRA, завдання після навчання для поведінкової уніфікації ), такі як RLHF, DPO (, навчання та позначення даних на основі краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протоколи Swarm, розподілені оптимізатори тощо.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, основні представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмах, представляючи передові напрямки теоретичних досліджень; тоді як шляхи реалізації Gensyn та Flock.io є відносно зрозумілими, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури за цими п'ятьма проектами, а також далі обговорено їхні відмінності та взаємодоповнюючі зв'язки у децентралізованій системі навчання ШІ.
) Prime Intellect: тренувальні траєкторії, що підлягають верифікації, посилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, що дозволяє кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання ШІ з можливістю верифікації, відкритістю та повноцінним механізмом стимулів за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протоколу Prime Intellect та цінність ключових модулів
![Святий Грааль Crypto AI: Децентралізація навчання на передньому краї]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02, Детальний опис ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура задач асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим Prime Intellect для Децентралізації навчальних сценаріїв, спеціально створеним для гетерогенних мереж та асинхронної участі. Він використовує навчання з підсиленням як пріоритетний адаптивний об'єкт, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання під наглядом, PRIME-RL більш підходить для реалізації гнучкого навчання в умовах без централізованого планування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів і еволюції стратегій.
#TOPLOC:Легка перевірка поведінки навчання
TOPLOC###Достовірне спостереження & Перевірка локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний обчислення всієї моделі, а використовує аналіз "послідовності спостережень↔оновлення стратегії" для завершення верифікації легковагової структури. Він вперше перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу винагороди за навчання без довіри, і надає реальний шлях для створення аудиторської, стимулюючої мережі децентралізованого співпраці в навчанні.
#SHARDCAST: Асинхронна агрегація ваг та протокол поширення
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, який оптимізовано для реальних мережевих умов з асинхронним, обмеженим пропуском та змінним станом вузлів. Він поєднує механізм поширення gossip та локальні стратегії синхронізації, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах несинхронізації, реалізуючи поступову конвергенцію ваг та багатоверсійну еволюцію. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
#OpenDiLoCo:Рідка асинхронна комунікаційна рамка
OpenDiLoCo є комунікаційною оптимізаційною платформою, незалежно реалізованою та відкритою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення викликів, пов'язаних з обмеженою пропускною спроможністю, гетерогенністю пристроїв та нестабільністю вузлів, що часто зустрічаються в децентралізованому навчанні. Його архітектура базується на паралельному обробленні даних, шляхом побудови рідких топологій, таких як Ring, Expander, Small-World, що уникає високих витрат на зв'язок, пов'язаних з глобальною синхронізацією, і дозволяє виконувати спільне навчання моделі, спираючись лише на сусідні вузли. Поєднуючи асинхронне оновлення та механізм відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі в глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Синхронна комунікаційна бібліотека
PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестійких вузлах, будучи основним компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, відкриваючи "останні милі" комунікаційну базу для створення справді відкритих, без довіри, спільних навчальних мереж.
![Святий Грааль Crypto AI: Децентралізація тренувань на передовій])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 03、Prime Intellect стимулююча мережа та рольове розподілення
Prime Intellect побудував мережу тренувань без дозволу, що підлягає перевірці та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та критерії валідації
Тренувальний вузол: виконання локального тренування, відправлення оновлень ваг і спостережуваних траєкторій
Верифікаційні вузли: використовують механізм TOPLOC для перевірки достовірності навчальної поведінки та беруть участь у розрахунку винагороди та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, що формує інвестиційний замкнутий цикл навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: Децентралізація тренування на передовій]###
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
12 лайків
Нагородити
12
3
Репост
Поділіться
Прокоментувати
0/400
MidnightTrader
· 8год тому
Зосередження обчислювальної потужності в монополії — це стара схема, яка в кінцевому рахунку нічого не дає.
Переглянути оригіналвідповісти на0
AlwaysAnon
· 8год тому
Логіка публічної блокчейн системи саме така.
Переглянути оригіналвідповісти на0
LiquidationTherapist
· 8год тому
Я ж кажу, це ж просто викидання обчислювальних ресурсів!
Децентралізація AI тренувань: еволюція від централізованої до розподіленої та децентралізованої системи
Святе Грааль Crypto AI: передові дослідження децентралізованого навчання
У повній ціннісній ланцюзі AI, навчання моделей є найбільш ресурсозатратним і технологічно складним етапом, що безпосередньо визначає верхню межу можливостей моделі та ефективність її застосування. У порівнянні з легкими викликами на етапі інференції, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних і високої інтенсивності підтримки оптимізаційних алгоритмів, що робить його справжньою "важкою промисловістю" для побудови систем AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, на якому акцентується увага в цій статті.
Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи розподілу кластеру до всіх компонентів навчальної рамки, координується єдиною контрольованою системою. Така глибока координація архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмови, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополії даних, бар'єрів ресурсів, енергетичних витрат та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на декілька машин для спільного виконання, щоб подолати обмеження обчислення та зберігання на одному комп'ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, загалом все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює у середовищі з високошвидкісною локальною мережею, завдяки технології швидкісної зв'язку NVLink, де головний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник дистанційно керує співробітниками кількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі (GPT-4, Gemini, LLaMA та інші ) були навчені цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарами GPU або крайніми пристроями ), які спільно виконують навчальні завдання без центрального координатора, зазвичай через протоколи, що керують розподілом завдань і співпрацею, а також за допомогою механізмів криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренувань може бути зрозуміла як: група глобальних волонтерів, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійсненне масштабне децентралізоване тренування" все ще є системною інженерною проблемою, яка охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші рівні, але чи можна досягти "спільної ефективності + стимулювання чесності + правильності результатів" досі перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між розподіленим та децентралізованим, підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, підходить для сцен, що акцентують увагу на дотриманні конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та можливості локальної кооперації, при цьому має переваги розподілених даних децентралізованого навчання, але все ще залежить від надійної координаційної сторони і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в контексті дотримання конфіденційності, завдання навчання, структури довіри та комунікаційних механізмів є відносно м'якими, що робить його більш підходящим як перехідну архітектуру для промисловості.
![Святий грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору парадигми навчання, децентралізоване навчання не підходить для всіх типів завдань. У певних ситуаціях, через складність структури завдання, надзвичайно високі вимоги до ресурсів або складність співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних та обмеженнями суверенітету ), такі як медицина, фінанси, чутливі дані (, обмежені юридичними нормами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ), що не мають бази для співпраці, такі як закриті моделі підприємств або внутрішнє навчання прототипів (, не мають зовнішнього стимулу для участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним поняттям. Насправді, у типах завдань з легкою структурою, що легко паралелізуються та можуть бути заохочені, децентралізоване навчання демонструє чітку перспективу застосування. Включаючи, але не обмежуючись: мікронастройка LoRA, завдання після навчання для поведінкової уніфікації ), такі як RLHF, DPO (, навчання та позначення даних на основі краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протоколи Swarm, розподілені оптимізатори тощо.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, основні представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмах, представляючи передові напрямки теоретичних досліджень; тоді як шляхи реалізації Gensyn та Flock.io є відносно зрозумілими, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури за цими п'ятьма проектами, а також далі обговорено їхні відмінності та взаємодоповнюючі зв'язки у децентралізованій системі навчання ШІ.
) Prime Intellect: тренувальні траєкторії, що підлягають верифікації, посилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, що дозволяє кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання ШІ з можливістю верифікації, відкритістю та повноцінним механізмом стимулів за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протоколу Prime Intellect та цінність ключових модулів
![Святий Грааль Crypto AI: Децентралізація навчання на передньому краї]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02, Детальний опис ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура задач асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим Prime Intellect для Децентралізації навчальних сценаріїв, спеціально створеним для гетерогенних мереж та асинхронної участі. Він використовує навчання з підсиленням як пріоритетний адаптивний об'єкт, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання під наглядом, PRIME-RL більш підходить для реалізації гнучкого навчання в умовах без централізованого планування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів і еволюції стратегій.
#TOPLOC:Легка перевірка поведінки навчання
TOPLOC###Достовірне спостереження & Перевірка локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний обчислення всієї моделі, а використовує аналіз "послідовності спостережень↔оновлення стратегії" для завершення верифікації легковагової структури. Він вперше перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу винагороди за навчання без довіри, і надає реальний шлях для створення аудиторської, стимулюючої мережі децентралізованого співпраці в навчанні.
#SHARDCAST: Асинхронна агрегація ваг та протокол поширення
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, який оптимізовано для реальних мережевих умов з асинхронним, обмеженим пропуском та змінним станом вузлів. Він поєднує механізм поширення gossip та локальні стратегії синхронізації, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах несинхронізації, реалізуючи поступову конвергенцію ваг та багатоверсійну еволюцію. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
#OpenDiLoCo:Рідка асинхронна комунікаційна рамка
OpenDiLoCo є комунікаційною оптимізаційною платформою, незалежно реалізованою та відкритою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення викликів, пов'язаних з обмеженою пропускною спроможністю, гетерогенністю пристроїв та нестабільністю вузлів, що часто зустрічаються в децентралізованому навчанні. Його архітектура базується на паралельному обробленні даних, шляхом побудови рідких топологій, таких як Ring, Expander, Small-World, що уникає високих витрат на зв'язок, пов'язаних з глобальною синхронізацією, і дозволяє виконувати спільне навчання моделі, спираючись лише на сусідні вузли. Поєднуючи асинхронне оновлення та механізм відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі в глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Синхронна комунікаційна бібліотека
PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестійких вузлах, будучи основним компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, відкриваючи "останні милі" комунікаційну базу для створення справді відкритих, без довіри, спільних навчальних мереж.
![Святий Грааль Crypto AI: Децентралізація тренувань на передовій])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 03、Prime Intellect стимулююча мережа та рольове розподілення
Prime Intellect побудував мережу тренувань без дозволу, що підлягає перевірці та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, що формує інвестиційний замкнутий цикл навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: Децентралізація тренування на передовій]###