Компанія Huawei, про яку завжди говорили, що вона відстає у конкурентній боротьбі за масштабні моделі, нарешті прийшла зі своїми хлопцями цього разу.
Ні, на вчорашній конференції розробників Huawei Developer Conference 2023 компанія Huawei показала себе.
Майже тригодинна прес-конференція все ще успадкувала минулий стиль Huawei, який приголомшив Шичао.
Однак підведення підсумків насправді висвітлює тему: Pangu Large Model 3.0.
Насправді лише кілька днів тому, коли інші великі моделі ще порівнювали різні рейтинги, Pangu потрапив у поле зору кожного унікальним чином, покладаючись на золоту вивіску, сертифіковану провідним світовим журналом Nature.
Кажуть, що завдяки додаванню великої моделі Pangea швидкість прогнозування погоди зросла більш ніж у 10 000 разів, а результати можна отримати за кілька секунд.Звідки прийде тайфун, коли він прийде і коли він піде, він може дати вам чітке передбачення.
Найголовніше те, що його точність передбачення навіть перевершує систему IFS Європейського метеорологічного центру, яка відома як найпотужніша у світі.Це перший продукт прогнозування AI, який переміг у традиційному числовому прогнозуванні.
Ви знаєте, більшість попередніх прогнозів погоди зі штучним інтелектом були розроблені на основі 2D нейронних мереж, але погода надто складна, а 2D – це справді забагато.
Крім того, попередня модель ШІ продовжуватиме накопичувати помилки ітерації під час процесу прогнозування, що легко вплине на точність результатів.
Тому методи прогнозування ШІ не були популярними.
Широкомасштабна метеорологічна модель Pangu чудова. Вони використали тривимірну нейронну мережу під назвою 3DEST для обробки метеорологічних даних. Якщо 2D не може це зробити, вони можуть використовувати 3D.
Мережева підготовка та стратегія логічного висновку 3DEST
Націлюючись на проблему помилки ітерації, модель також використовує «ієрархічну стратегію агрегації у часовій області», щоб зменшити помилку ітерації та підвищити точність прогнозу.
Хоча це слово звучить легко, щоб його легко обдурити, насправді його дуже легко зрозуміти.
Наприклад, попередня модель прогнозування погоди зі штучним інтелектом FourCastNet перед приходом тайфуну зробить прогноз на 6 годин, і протягом цих 6 годин модель кілька разів розрахує, коли прийде тайфун.
Деякий час можна обчислити 5 годин, а деякий час 4 з половиною години, і похибка буде великою, якщо ці результати скласти разом.
Але Pangu Meteorological Large Model знайшла спосіб навчити 4 моделі з різними інтервалами прогнозу, одну ітерацію на 1 годину та одну ітерацію на 3 години, 6 годин і 24 години.
Потім, відповідно до вимог конкретного прогнозу погоди, виберіть відповідну модель для ітерації.
Наприклад, якщо ми хочемо передбачити погоду на наступні 7 днів, нехай 24-годинна модель повториться 7 разів; прогнозування 20 годин означає 3 ітерації 6-годинної моделі + 2 ітерації 1-годинної моделі.
**Чим менше ітерацій, тим менша помилка. **
Ця хвиля операцій вивела прогноз погоди на новий рівень.
Однак деякі друзі, можливо, почали бурмотіти.Всі великі моделі людей — це згенеровані зображення та текст.Як Huawei став прогнозом погоди?
Треба сказати одне: ця модель Pangu справді відрізняється від ChatGPT і Midjourney, з якими ми стикалися раніше. Вони ведуть бізнес у галузі.
Простіше кажучи, це означає, що ми особисто не використовуємо модель Pangu.
Це не «ворог» ChatGPT, якого всі очікують, але він спрямований на ринок To B, який зазвичай недоступний. **
Давайте не згадувати про труднощі чи ні, принаймні ресурси корпоративних клієнтів, які Huawei накопичила протягом багатьох років, дійсно легко перевести в готівку.
Більше того, прес-конференція Huawei цього разу не лише принесла нещадну роль моделі прогнозування погоди.
Понад 40 років не було виявлено нових антибіотиків, а суперантибактеріальний препарат Drug X було знайдено, як тільки з’явилася молекулярна модель препарату Pangea, і цикл розробки ліків скоротився з кількох років до кількох місяців, а дослідження та розробки витрати зменшилися на 70%.
Велика модель шахти Pangu також може глибоко досліджувати понад 1000 процесів видобутку вугілля, а лише вибір чистого вугілля може збільшити коефіцієнт вилучення чистого вугілля на 0,1%-0,2%.
Ви знаєте, для вуглезбагачувальної фабрики з річною продуктивністю 10 мільйонів тонн коксівного вугілля кожні 0,1% збільшення видобутку чистого вугілля може збільшити річний прибуток на 10 мільйонів.
**Це все білі гроші. . . **
Насправді, на додаток до прогнозування погоди, розробки ліків і підготовки вугілля, згаданих вище, модель Pangea використовувалася в багатьох галузях промисловості.
На прес-конференції Тянь Ці, головний науковий співробітник HUAWEI CLOUD AI, сказав, що проекти HUAWEI CLOUD AI були застосовані до понад 1000 проектів, 30% з яких використовуються в основній виробничій системі клієнта, підвищуючи прибутковість клієнта в середньому на 18%. % .
Завдяки трирівневій архітектурі 5+N+X Huawei Pangu Model 3.0 компанія Huawei може масово виробляти ці великі моделі для різних галузей.
Саме ця структура дозволяє Пангу швидко приземлятися в різних галузях.
Чому ти це кажеш?
Оскільки штучний інтелект приземляється в галузі, дані є серйозною проблемою.
Чжан Пінган сказав на прес-конференції: «Через труднощі в отриманні галузевих даних і труднощі в поєднанні технологій з галуззю впровадження великих моделей у промисловість відбувається повільно».
**Пангу дуже винахідливий, за допомогою трирівневої структури 5+N+X безпосередньо розділив цю велику проблему на 3 маленькі проблеми для вирішення. **
Перш за все, п’ять великих моделей рівня L0 Pangu вивчили сотні терабайт текстових даних, таких як знання з енциклопедії, літературні твори, програмні коди та мільярди Інтернет-зображень із текстовими мітками.
Ми можемо зрозуміти, що спочатку дозволимо великим моделям першого рівня L0 (п’яти базових великих моделей великої моделі природної мови, великої візуальної моделі, мультимодальної великої моделі, великої моделі прогнозування та великої моделі наукових обчислень) встановити базове розпізнавання. це трохи схоже на етап якісної освіти перед нашим університетом.
Потім модель на другому рівні L1 формується шляхом вивчення даних N пов’язаних галузей з певної базової великої моделі в L0. Це схоже на ступінь бакалаврату в університеті, де потрібно обирати різні спеціальності для навчання.
Наприклад, перевірка КТ-зображення в лікарні та перевірка якості зображення на заводі використовують великі візуальні моделі.
Але врешті-решт, одна лікарня, а інша фабрика, і сценарії використання абсолютно різні.Однак покладатися на базову велику модель точно не вийде, але якщо додати галузеві дані, можуть бути сюрпризи.
Останній L2 схожий на аспірантів і буде вдосконалений до певної сцени на основі конкретних галузей. Наприклад, у галузі складування та логістики можуть знадобитися різні моделі розгортання для транспортування, складування та відправлення товарів.
У той же час Huawei також додала посилання для зворотного зв’язку, яке трохи нагадує стажування в компанії.
За їхніми словами, раніше розробка масштабної промислової моделі GPT-3 зазвичай займала 5 місяців; за допомогою цього набору інструментів цикл розробки можна скоротити до 1/5 оригіналу.
У той же час обмеження малих наборів даних у багатьох галузях також можуть бути усунені. Наприклад, дуже деталізована галузь, така як виробництво великих літаків, також може мати великі моделі.
На додаток до цього набору великих моделей, Huawei також запропонувала дуже цікаву річ - часову локалізацію обчислювальної потужності.
Як ми всі знаємо, ми дуже збентежені з точки зору обчислювальної потужності ШІ.
По-перше, ми не можемо купити H100/A100 від Nvidia, основне обладнання індустрії штучного інтелекту.По-друге, навіть якщо Nvidia «інтимно» випустила заміну для H800, у нас все одно є застереження. Наприклад, швидкість передачі значно скоротилася.
У контексті великої моделі, навчання якої займає кілька місяців, її легко обігнати іноземні колеги з більшою обчислювальною потужністю.
І цього разу, щоб вирішити цю проблему, Huawei все ж взяла кілька справжніх хлопців.
Наприклад, з точки зору продуктивності на папері процесор Ascend 910 від Huawei вже кращий за A100 від Nvidia.
Однак на практиці все ж є певні прогалини. І A100 також не є найкращою зброєю Nvidia.
Проте Шенгтена впізнали багато друзів. Huawei навіть прямо заявила на прес-конференції, що «обчислювальна потужність половини великих моделей Китаю забезпечується ними».
Звичайно, яскраві плями Huawei в обчислювальній потужності на даний момент, швидше за все, спричинені всією програмною екосистемою.
Наприклад, згідно з прес-конференцією, вважають AI Ascend Cloud Computing Power Base і обчислювальну структуру CANN. . . В інших аспектах ефективність Huawei у навчанні великих моделей у 1,1 рази вища, ніж у основних графічних процесорів у галузі.
Також вони розробили повний набір пакетів додатків для користувачів.
Наприклад, компанія Meitu перенесла 70 моделей до екосистеми Huawei лише за 30 днів. Водночас Huawei також заявила, що ** завдяки зусиллям обох сторін продуктивність AI покращилася на 30% порівняно з оригінальним рішенням. **
Все ще досить вражаюче.
Крім того, Huawei також заявила, що зараз у них майже 4 мільйони розробників.Ця кількість узгоджується з екосистемою NVIDIA CUDA.
Цей ряд дій можна розглядати як компенсацію частини недоліків. **
Загалом, після перегляду прес-конференції Huawei, погані рецензенти вважають, що компонування Huawei у сфері штучного інтелекту є дуже глибоким, і вони вже почали замислюватися над питанням, «що штучний інтелект може нам дійсно принести».
За останні шість місяців, незважаючи на те, що індустрія штучного інтелекту отримала бурхливі аплодисменти, дещо соромно, коли вона справді падає на галузевий рівень.
І ця дія Huawei лише підтвердила те, що сказав Рень Чженфей:
*" У майбутньому спостерігатиметься сплеск великих моделей штучного інтелекту, а не лише Microsoft. Прямий внесок компаній, що розробляють програмні платформи штучного інтелекту, у людське суспільство може становити менше 2%, а 98% – це просування індустріального суспільства та сільськогосподарське товариство». *
У сфері ШІ справжня велика ера ще попереду.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Велика модель Huawei нарешті тут, моя оцінка: досить шокуюча
Джерело оригіналу: Bad review
Компанія Huawei, про яку завжди говорили, що вона відстає у конкурентній боротьбі за масштабні моделі, нарешті прийшла зі своїми хлопцями цього разу.
Ні, на вчорашній конференції розробників Huawei Developer Conference 2023 компанія Huawei показала себе.
Майже тригодинна прес-конференція все ще успадкувала минулий стиль Huawei, який приголомшив Шичао.
Однак підведення підсумків насправді висвітлює тему: Pangu Large Model 3.0.
Найголовніше те, що його точність передбачення навіть перевершує систему IFS Європейського метеорологічного центру, яка відома як найпотужніша у світі.Це перший продукт прогнозування AI, який переміг у традиційному числовому прогнозуванні.
Крім того, попередня модель ШІ продовжуватиме накопичувати помилки ітерації під час процесу прогнозування, що легко вплине на точність результатів.
Тому методи прогнозування ШІ не були популярними.
Широкомасштабна метеорологічна модель Pangu чудова. Вони використали тривимірну нейронну мережу під назвою 3DEST для обробки метеорологічних даних. Якщо 2D не може це зробити, вони можуть використовувати 3D.
Мережева підготовка та стратегія логічного висновку 3DEST
Хоча це слово звучить легко, щоб його легко обдурити, насправді його дуже легко зрозуміти.
Наприклад, попередня модель прогнозування погоди зі штучним інтелектом FourCastNet перед приходом тайфуну зробить прогноз на 6 годин, і протягом цих 6 годин модель кілька разів розрахує, коли прийде тайфун.
Деякий час можна обчислити 5 годин, а деякий час 4 з половиною години, і похибка буде великою, якщо ці результати скласти разом.
Але Pangu Meteorological Large Model знайшла спосіб навчити 4 моделі з різними інтервалами прогнозу, одну ітерацію на 1 годину та одну ітерацію на 3 години, 6 годин і 24 години.
Потім, відповідно до вимог конкретного прогнозу погоди, виберіть відповідну модель для ітерації.
**Чим менше ітерацій, тим менша помилка. **
Ця хвиля операцій вивела прогноз погоди на новий рівень.
Однак деякі друзі, можливо, почали бурмотіти.Всі великі моделі людей — це згенеровані зображення та текст.Як Huawei став прогнозом погоди?
Треба сказати одне: ця модель Pangu справді відрізняється від ChatGPT і Midjourney, з якими ми стикалися раніше. Вони ведуть бізнес у галузі.
Це не «ворог» ChatGPT, якого всі очікують, але він спрямований на ринок To B, який зазвичай недоступний. **
Давайте не згадувати про труднощі чи ні, принаймні ресурси корпоративних клієнтів, які Huawei накопичила протягом багатьох років, дійсно легко перевести в готівку.
Більше того, прес-конференція Huawei цього разу не лише принесла нещадну роль моделі прогнозування погоди.
Понад 40 років не було виявлено нових антибіотиків, а суперантибактеріальний препарат Drug X було знайдено, як тільки з’явилася молекулярна модель препарату Pangea, і цикл розробки ліків скоротився з кількох років до кількох місяців, а дослідження та розробки витрати зменшилися на 70%.
Ви знаєте, для вуглезбагачувальної фабрики з річною продуктивністю 10 мільйонів тонн коксівного вугілля кожні 0,1% збільшення видобутку чистого вугілля може збільшити річний прибуток на 10 мільйонів.
**Це все білі гроші. . . **
Насправді, на додаток до прогнозування погоди, розробки ліків і підготовки вугілля, згаданих вище, модель Pangea використовувалася в багатьох галузях промисловості.
Завдяки трирівневій архітектурі 5+N+X Huawei Pangu Model 3.0 компанія Huawei може масово виробляти ці великі моделі для різних галузей.
Чому ти це кажеш?
Оскільки штучний інтелект приземляється в галузі, дані є серйозною проблемою.
Чжан Пінган сказав на прес-конференції: «Через труднощі в отриманні галузевих даних і труднощі в поєднанні технологій з галуззю впровадження великих моделей у промисловість відбувається повільно».
**Пангу дуже винахідливий, за допомогою трирівневої структури 5+N+X безпосередньо розділив цю велику проблему на 3 маленькі проблеми для вирішення. **
Перш за все, п’ять великих моделей рівня L0 Pangu вивчили сотні терабайт текстових даних, таких як знання з енциклопедії, літературні твори, програмні коди та мільярди Інтернет-зображень із текстовими мітками.
Потім модель на другому рівні L1 формується шляхом вивчення даних N пов’язаних галузей з певної базової великої моделі в L0. Це схоже на ступінь бакалаврату в університеті, де потрібно обирати різні спеціальності для навчання.
Але врешті-решт, одна лікарня, а інша фабрика, і сценарії використання абсолютно різні.Однак покладатися на базову велику модель точно не вийде, але якщо додати галузеві дані, можуть бути сюрпризи.
У той же час Huawei також додала посилання для зворотного зв’язку, яке трохи нагадує стажування в компанії.
За їхніми словами, раніше розробка масштабної промислової моделі GPT-3 зазвичай займала 5 місяців; за допомогою цього набору інструментів цикл розробки можна скоротити до 1/5 оригіналу.
У той же час обмеження малих наборів даних у багатьох галузях також можуть бути усунені. Наприклад, дуже деталізована галузь, така як виробництво великих літаків, також може мати великі моделі.
Як ми всі знаємо, ми дуже збентежені з точки зору обчислювальної потужності ШІ.
По-перше, ми не можемо купити H100/A100 від Nvidia, основне обладнання індустрії штучного інтелекту.По-друге, навіть якщо Nvidia «інтимно» випустила заміну для H800, у нас все одно є застереження. Наприклад, швидкість передачі значно скоротилася.
У контексті великої моделі, навчання якої займає кілька місяців, її легко обігнати іноземні колеги з більшою обчислювальною потужністю.
І цього разу, щоб вирішити цю проблему, Huawei все ж взяла кілька справжніх хлопців.
Однак на практиці все ж є певні прогалини. І A100 також не є найкращою зброєю Nvidia.
Наприклад, згідно з прес-конференцією, вважають AI Ascend Cloud Computing Power Base і обчислювальну структуру CANN. . . В інших аспектах ефективність Huawei у навчанні великих моделей у 1,1 рази вища, ніж у основних графічних процесорів у галузі.
Все ще досить вражаюче.
Крім того, Huawei також заявила, що зараз у них майже 4 мільйони розробників.Ця кількість узгоджується з екосистемою NVIDIA CUDA.
Загалом, після перегляду прес-конференції Huawei, погані рецензенти вважають, що компонування Huawei у сфері штучного інтелекту є дуже глибоким, і вони вже почали замислюватися над питанням, «що штучний інтелект може нам дійсно принести».
За останні шість місяців, незважаючи на те, що індустрія штучного інтелекту отримала бурхливі аплодисменти, дещо соромно, коли вона справді падає на галузевий рівень.
І ця дія Huawei лише підтвердила те, що сказав Рень Чженфей:
*" У майбутньому спостерігатиметься сплеск великих моделей штучного інтелекту, а не лише Microsoft. Прямий внесок компаній, що розробляють програмні платформи штучного інтелекту, у людське суспільство може становити менше 2%, а 98% – це просування індустріального суспільства та сільськогосподарське товариство». *
У сфері ШІ справжня велика ера ще попереду.