Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и высокой технологической сложностью, что напрямую определяет предельные возможности модели и её фактическую эффективность. По сравнению с легковесным вызовом на этапе вывода, процесс обучения требует постоянных больших вычислительных ресурсов, сложных процессов обработки данных и интенсивной поддержки алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно классифицировать на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, при котором все процессы обучения выполняются единственным учреждением на локальном высокопроизводительном кластере, включая аппаратное обеспечение, программное обеспечение нижнего уровня, систему управления кластерами и все компоненты обучающей структуры, которые координируются единой системой управления. Эта архитектура глубокой кооперации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее особенно подходящей для обучения масштабным моделям, таким как GPT и Gemini, с преимуществами высокой эффективности и управляемых ресурсов. Однако также существуют проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели на части и распределении их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на то, что физически он обладает характеристиками "Децентрализация", в целом он по-прежнему контролируется централизованными учреждениями, которые управляют распределением и синхронизацией, часто работает в среде высокоскоростной локальной сети, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Параллельное моделирование: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма
Распределенное обучение — это комбинация "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же босс дистанционно руководит несколькими "офисами", заставляя сотрудников сотрудничать для выполнения задач. В настоящее время практически все основные крупные модели (GPT-4, Gemini, LLaMA и другие ) обучаются таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько недоверяющих друг другу узлов (, которые могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), совместно выполняющими задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с использованием криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Узкое место в эффективности связи: нестабильная сеть, явные узкие места в синхронизации градиентов
Отсутствие доверенного выполнения: отсутствие доверенной среды выполнения, трудно проверить, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: отсутствие центрального диспетчера, сложное распределение задач и механизм отката при исключениях
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно жизнеспособная крупномасштабная децентрализованная тренировка" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, но вопрос о том, сможет ли это быть "совместной эффективностью + стимулом к честности + правильностью результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение имеет инженерную структуру распределенного обучения и локальные кооперативные возможности, одновременно обладая преимуществами распределенных данных в обучении Децентрализация, но по-прежнему зависит от доверенного координирующего лица и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи являются относительно мягкими, что делает его более подходящим для переходной архитектуры развертывания в промышленности.
![Крипто AI святой Грааль: Децентрализация обучение передовые исследования])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она естественным образом не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицинские, финансовые и охраняемые данные ), ограничены правовыми и этическими нормами и не могут быть открыто доступны; а задачи, лишенные базы для сотрудничества (, такие как закрытые модели компаний или внутреннее обучение прототипов ), лишены внешней мотивации для участия. Эти границы составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что Децентрализация обучения является ложной задачей. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью мотивации Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: микротюнинг LoRA, задачи после обучения, связанные с выравниванием поведения (, такие как RLHF, DPO ), задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов анализа
На данный момент в области Децентрализация обучения и федеративного обучения, основными представителями блокчейн-проектов являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмического дизайна, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно рассмотрены их различия и взаимодополняющие отношения в системе Децентрализация AI-обучения.
( Prime Intellect: Проверяемые траектории обучения в сети совместного обучения.
Prime Intellect стремится создать сеть обучения ИИ без необходимости в доверии, чтобы каждый мог участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с возможностью верификации, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
)# 01、Структура и ключевая ценность модуля протокола Prime Intellect
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###
(# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL:Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL — это фреймворк моделирования задач и выполнения, разработанный Prime Intellect для Децентрализация тренировочных сценариев, специально созданный для гетерогенных сетей и асинхронных участников. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо завершать цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центральной координации, снижая сложность системы и закладывая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения обучения
TOPLOC)Доверенное Наблюдение и Проверка Политики-Локальности### является основной механизмом проверки обучаемости, предложенным Prime Intellect, который используется для определения, завершил ли узел эффективное обучение стратегии на основе данных наблюдений. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между «последовательностью наблюдений ↔ обновлением стратегии». Впервые он преобразует поведенческие траектории процесса обучения в проверяемые объекты, что является ключевым новшеством для достижения распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудитируемой и мотивирующей сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях асинхронного состояния, достигая прогрессивной сходимости весов и многоверсионной эволюции. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям в децентрализованном обучении, являясь ключевой основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизационного фреймворка для связи, разработанным командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander, Small-World, чтобы избежать высоких коммуникационных затрат на глобальную синхронизацию, полагаясь на локальные соседние узлы для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и устройствах на краю сети стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения, что делает его одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL(Prime Collective Communication Library) является легковесной коммуникационной библиотекой, созданной Prime Intellect для децентрализованной среды обучения ИИ, направленной на решение проблем адаптации традиционных коммуникационных библиотек на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно увеличивает толерантность к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной базы для построения действительно открытой, доверительной сети совместного обучения.
(# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создала сеть обучения, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя всем участвовать в задачах и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение тренировочной среды, начальной модели, функции награды и стандартов валидации
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренингового поведения и участия в расчете вознаграждений и агрегации стратегий
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов ) SHARDCAST ### и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
 и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
12 Лайков
Награда
12
3
Репост
Поделиться
комментарий
0/400
MidnightTrader
· 8ч назад
Старая дорога монополии вычислительной мощности приведет к провалу.
Посмотреть ОригиналОтветить0
AlwaysAnon
· 8ч назад
Логика публичной цепи именно в этом и заключается.
Посмотреть ОригиналОтветить0
LiquidationTherapist
· 8ч назад
Я черт возьми, это же просто выбрасывание вычислительных ресурсов!
Децентрализация AI тренировки: от централизованного к распределенному и далее к децентрализации эволюция
Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и высокой технологической сложностью, что напрямую определяет предельные возможности модели и её фактическую эффективность. По сравнению с легковесным вызовом на этапе вывода, процесс обучения требует постоянных больших вычислительных ресурсов, сложных процессов обработки данных и интенсивной поддержки алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно классифицировать на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, при котором все процессы обучения выполняются единственным учреждением на локальном высокопроизводительном кластере, включая аппаратное обеспечение, программное обеспечение нижнего уровня, систему управления кластерами и все компоненты обучающей структуры, которые координируются единой системой управления. Эта архитектура глубокой кооперации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее особенно подходящей для обучения масштабным моделям, таким как GPT и Gemini, с преимуществами высокой эффективности и управляемых ресурсов. Однако также существуют проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели на части и распределении их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на то, что физически он обладает характеристиками "Децентрализация", в целом он по-прежнему контролируется централизованными учреждениями, которые управляют распределением и синхронизацией, часто работает в среде высокоскоростной локальной сети, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует подзадачи. Основные методы включают:
Распределенное обучение — это комбинация "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же босс дистанционно руководит несколькими "офисами", заставляя сотрудников сотрудничать для выполнения задач. В настоящее время практически все основные крупные модели (GPT-4, Gemini, LLaMA и другие ) обучаются таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько недоверяющих друг другу узлов (, которые могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), совместно выполняющими задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с использованием криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно жизнеспособная крупномасштабная децентрализованная тренировка" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, но вопрос о том, сможет ли это быть "совместной эффективностью + стимулом к честности + правильностью результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение имеет инженерную структуру распределенного обучения и локальные кооперативные возможности, одновременно обладая преимуществами распределенных данных в обучении Децентрализация, но по-прежнему зависит от доверенного координирующего лица и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи являются относительно мягкими, что делает его более подходящим для переходной архитектуры развертывания в промышленности.
![Крипто AI святой Грааль: Децентрализация обучение передовые исследования])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она естественным образом не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицинские, финансовые и охраняемые данные ), ограничены правовыми и этическими нормами и не могут быть открыто доступны; а задачи, лишенные базы для сотрудничества (, такие как закрытые модели компаний или внутреннее обучение прототипов ), лишены внешней мотивации для участия. Эти границы составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что Децентрализация обучения является ложной задачей. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью мотивации Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: микротюнинг LoRA, задачи после обучения, связанные с выравниванием поведения (, такие как RLHF, DPO ), задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов анализа
На данный момент в области Децентрализация обучения и федеративного обучения, основными представителями блокчейн-проектов являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмического дизайна, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно рассмотрены их различия и взаимодополняющие отношения в системе Децентрализация AI-обучения.
( Prime Intellect: Проверяемые траектории обучения в сети совместного обучения.
Prime Intellect стремится создать сеть обучения ИИ без необходимости в доверии, чтобы каждый мог участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с возможностью верификации, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
)# 01、Структура и ключевая ценность модуля протокола Prime Intellect
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###
(# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL:Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL — это фреймворк моделирования задач и выполнения, разработанный Prime Intellect для Децентрализация тренировочных сценариев, специально созданный для гетерогенных сетей и асинхронных участников. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо завершать цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центральной координации, снижая сложность системы и закладывая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения обучения
TOPLOC)Доверенное Наблюдение и Проверка Политики-Локальности### является основной механизмом проверки обучаемости, предложенным Prime Intellect, который используется для определения, завершил ли узел эффективное обучение стратегии на основе данных наблюдений. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между «последовательностью наблюдений ↔ обновлением стратегии». Впервые он преобразует поведенческие траектории процесса обучения в проверяемые объекты, что является ключевым новшеством для достижения распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудитируемой и мотивирующей сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях асинхронного состояния, достигая прогрессивной сходимости весов и многоверсионной эволюции. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям в децентрализованном обучении, являясь ключевой основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизационного фреймворка для связи, разработанным командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander, Small-World, чтобы избежать высоких коммуникационных затрат на глобальную синхронизацию, полагаясь на локальные соседние узлы для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и устройствах на краю сети стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения, что делает его одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL(Prime Collective Communication Library) является легковесной коммуникационной библиотекой, созданной Prime Intellect для децентрализованной среды обучения ИИ, направленной на решение проблем адаптации традиционных коммуникационных библиотек на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно увеличивает толерантность к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной базы для построения действительно открытой, доверительной сети совместного обучения.
(# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создала сеть обучения, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя всем участвовать в задачах и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов ) SHARDCAST ### и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
![Святой Грааль Crypto AI: Децентрализация обучения на переднем крае](