Резюме
Тъй като изкуственият интелект (AI) напредва бързо, традиционните мрежи на центрове за данни са изправени пред големи предизвикателства при пренасянето на AI трафик. Високото използване на честотната лента и малкият брой потоци слонове могат да направят конвенционалното балансиране на натоварването на -поток неефективно, което води до задръстване и загуба на пакети, които значително увеличават времето за обучение на AI модели и времето за завършване на работата. Тази бяла книга разглежда динамична интелигентна технология за маршрутизиране, която съчетава-информираност в реално време с-интелигентно вземане на решения. Той използва-измерване на качеството на пътя, BGP разширена-синхронизация на атрибути, динамично претеглено-разходно многопътие (WCMP), необичайно-премахване на пътя и
Автоматично балансиране на натоварването на ниво -Flowlet (ALB) за подобряване на планирането на трафика в среди с изкуствен интелект. Дизайнът също така използва виртуализация, за да осигури изолация на множество-наематели и предлага сценарии за приложения и насоки за планиране за ефективни, стабилни и интелигентни мрежи на AI центрове за данни.
Въведение: Еволюция на мрежата в AI ера
Защо традиционните мрежи се борят с AI Трафик
В традиционните мрежи на центрове за данни голям брой малки потоци позволяват-балансиране на натоварването на поток за постигане на приемливо разпределение и избягване на претоварване дори без осведоменост в реално-време за мрежовите условия. AI трафикът е много различен: използването на честотната лента е изключително високо и трафикът често се доминира само от няколко потока слонове. Следователно хеш колизиите могат да поставят множество големи потоци по един и същ път, докато други пътища остават недостатъчно използвани. След като възникне загуба на пакети, времето за завършване на цялото натоварване на AI може да се увеличи значително. Поради тази причина индустрията все повече се фокусира върху оптимизирани алгоритми за-балансиране на натоварването за AI тъкани, така че трафикът да се разпределя по-равномерно по множество пътища.
Фигура 1. Сравнение на AI elephant-поточен трафик и традиционния малък-поточен трафик.
Комбиниране на динамична осведоменост с интелигентно{0}}вземане на решения
Динамичното интелигентно маршрутизиране е технология за-базирано на информираност-балансиране на натоварването. Той използва качеството на пътя, усетено от превключватели в тъканта, за да коригира локалния избор на път и поддържа динамично претеглено балансиране на натоварването. Изградена върху BGP, технологията дефинира нов разширен-атрибут на общността.
Много{0}}измервания с висока-прецизност се използват за оценка на качеството на пътя и резултатът се разпространява чрез BGP за насочване на последващо препращане на трафик. Това подобрява -разпределението на натоварването в цялата мрежа и намалява времето за реакция на приложението [1].
Фигура 2. Работен процес на динамично осъзнаване, вземане на решения и изпълнение.
Основни технологии: Интелигентно планиране на трафика
Основните подходи за{0}}балансиране на натоварването на мрежата включват:
- На-поток ECMP: Най-често срещаният подход, базиран на пет-кортежен хеш. Работи добре, когато има много потоци и запазва реда на пакетите, но хеш колизиите могат да доведат до лошо балансиране, когато броят на потоците е нисък, както при обучението на AI [1].
- Балансиране-базирано на потока: Зависи от правилната конфигурация на между-между потока. Точната конфигурация е трудна, когато латентността на ниво-глобален път е неизвестна [1].
- ECMP за-пакет: Осигурява отличен теоретичен баланс, но може да създаде обширно пренареждане на пакети в получателя [1].
Подходът за динамично интелигентно маршрутизиране, използван от RoCE комутаторите от серия XingRongyuan CX-N (базиран на SONiC-) съчетава балансиране на базата на-поток ECMP и Flowlet-. Той въвежда динамичен WCMP (Weighted Cost Multipath) и базиран на Flowlet- ALB (Auto Load Balancing) [1].
Измерване на качеството на пътя
Системата оценява качеството на мрежовия път, като използва фактори, които силно влияят на AI клъстерните тъкани, включително използване на честотната лента, използване на опашка и латентност при препращане.
Статистически броячи
Използването на честотната лента и опашката се измерва чрез хардуерни броячи на ASIC с точност на ниво сто-милисекунди. ASIC записва броячи за-пренасочване на портове и-на опашка в реално време. Контролната равнина SONiC чете броячите през SAI интерфейса с точност до под-секунда и ги съхранява в Redis. Процесът на-контрол на маршрутизирането оценява качеството на интерфейса с помощта на тези броячи и обявява резултата чрез BGP. За да се ограничи натоварването на-контролната равнина, рекламите в момента се изпращат на интервали от второ-ниво, като среднопретеглената стойност се прилага към множество проби; по-новите проби получават по-голямо тегло.
В-обхватна телеметрия
Измерването на-закъснението при пренасочване се основава на INT (In-мрежова телеметрия) и може да достигне точност до ниво-наносекунди. HDC (High Delay Capture) улавя пакети, които изпитват голямо забавяне в ASIC. Когато пакет надвиши-дефиниран от потребителя праг на забавяне, комутаторът изпраща първите 150 байта от оригиналния пакет заедно с метаданни, включително входен порт, изходящ порт и закъснение, към колектор. В този дизайн процесорът действа като HDC колектор и анализатор, позволявайки високо-прецизни измервания на забавяне при препращане-и по-точна оценка на-качеството на пътя.
Фигура 3. Път-разпространение на качеството и инсталиране на WCMP.
Технологията използва нов атрибут на разширена{0}}общност на BGP, Path Bandwidth Extended Community, за да посочи общото качество на пътя до дестинация. Байтът от висок-порядък на полето за разширен-тип е 0x00, а байтът от нисък-порядък е 0x05. В полето за стойност подполето Global Administrator представлява AS номера. Качеството на пътя е кодирано в четири байта с помощта на IEEE формат-с плаваща запетая и се изразява в GB/s.
Когато NIC1 комуникира с NIC2, NIC2 първо обявява своя IP адрес на Leaf2. Leaf2 рекламира адреса на Spine заедно със стойността на качеството на връзката- към NIC2, умножена по теглото на връзката надолу на Leaf2. Spine добавя собствено претеглено качество на връзката и предава натрупаната стойност на Leaf1. Leaf1 обобщава качеството на пътя и инсталира маршрути, които насочват препращането. В дву{12}}слойна структура Leaf-Spine портовете се класифицират като Leaf uplinks, Leaf downlinks и Spine ports, с конфигурируеми коефициенти на изчисление за всеки клас.
Динамичен WCMP
Балансирането на натоварването разпределя трафика между множество връзки. В AI среди това е от съществено значение за изграждането на Ethernet тъкан без загуби с минимална загуба на пакети, латентност и влошаване на пропускателната способност. ECMP е конвенционалният механизъм в центровете за данни. WCMP разширява ECMP чрез разпространение
трафик пропорционално между връзките. При динамично интелигентно маршрутизиране WCMP теглата се коригират в реално време според качеството на пътя. Например, ако съществуват два пътя между NIC1 и NIC2, системата може да изчисли съотношение 3:7. Тъй като трафикът се променя, актуализираната информация за-качеството на пътя се разпространява чрез BGP до всеки листов комутатор, където се генерират динамични WCMP маршрути, за да насочват препращането.
Премахване на необичаен път
Когато общото качество на пътя падне под договорен праг, пътят се счита за неизползваем за натоварването на AI и се премахва от препращане. Останалите пътища продължават да пренасят трафик през динамичен WCMP. След като пътят се върне към нормалното, той се възстановява. Въпреки че това може временно да остави част от капацитета неизползван, то предотвратява по-сериозно задръстване и загуба на пакети [1].
Интелигентно балансиране на натоварването (ALB)
ALB осигурява базирано на Flowlet{0}}разпределение на натоварването. ASIC измерва натоварването и латентността на различни портове в реално време и насочва всеки Flowlet към връзката с по-ниско натоварване или по-малко забавяне. Това добавя по-фино-подробно планиране в допълнение към традиционния ECMP. ALB също така поддържа преход при отказ на порт и автоматично преразпределя трафика, когато изходна връзка се повреди [1].
Виртуализация
Предните-мрежи често се нуждаят от поддръжка на множество-наематели, така че различни GPU ресурси да могат да бъдат разпределени на различни потребители. Решението използва VRF (виртуално маршрутизиране и пренасочване) за изолиране на наематели, като един VRF се присвоява на всеки потребител. Подмрежите, свързани с -GPU, се поставят във VRF на потребителя, а PRE ACL в ASIC класифицират входящия трафик, така че трафикът на всеки потребител да се препраща само в рамките на съответния VRF [1].
Сценарии за приложение
1. Как Dynamic WCMP абсорбира скокове на трафик
За тъкан с 256 x 400G GPU портове може да се проектира дву{2}}слойна Clos архитектура с 1:1 съотношение на конвергенция на връзка-към-нагоре, за да се поддържа висока пропускателна способност, висока честотна лента и симетричен капацитет. Подходящите модели продукти включват XingRongyuan CX864E-N или CX732Q-N [1]. При конвенционален ECMP малък брой потоци на AI слон може да се хешират към един и същ Spine, причинявайки претоварване на връзката нагоре или загуба на пакети. Динамичният WCMP непрекъснато коригира разпределението на трафика според-качеството на пътя в реално време, като намалява трафика и избягва задръстванията [1].
2.Flowlet-Балансиране на натоварването на ниво
В същата 256 x 400G GPU тъкан, не всяко устройство или работно натоварване се обслужва най-добре от динамичен WCMP. Превключвателят може динамично да избира ALB, базиран на Flowlet-. ALB измерва натоварването и закъснението на връзките в групата ECMP и изпраща Flowlets към връзки с по-ниско използване или забавяне. Ако интерфейсът се претовари или забавянето му при препращане се увеличи, ASIC автоматично избягва това излизане, докато условията се върнат към нормалното [1].
AI Мрежово планиране и проектиране
AI услугите обикновено включват три етапа: събиране на данни и предварителна обработка, обучение на модели и AI изводи. Всеки етап налага различни изисквания към мрежата.
1. Събиране на данни и предварителна обработка
Една глобална обучаваща{0}}мрежа за събиране и предварителна обработка на данни трябва да осигурява широкомащабни, еластични публични IP и ресурси за честотна лента, така че масивни необработени набори от данни да могат да се събират ефективно от глобалния интернет. Дизайнът трябва да гарантира сигурно и стабилно предаване, като същевременно подобрява производителността на агрегирането на данни и предварителната обработка [2].
1.1 VPC сегментиране
VPC дизайнът за събиране на-базирани на облак данни трябва да следва принципите на най-малката-привилегия, многослойна изолация, контрол на сигурността и еластична скалируемост. Могат да се използват или множество VPC, или множество подмрежи в един VPC [2].
- Сегментирайте по етап на услугата: Разположете събирането на данни, предварителната обработка, съхранението, обучението и изводите в отделни подмрежи или VPC. Поставете входни точки за събиране в DMZ VPC или публична подмрежа; поставяне на предварителна обработка и временни данни в специален VPC за обработка; поставете чувствителни необработени данни и обучение за AI в VPC с висока-сигурност без пряк обществен достъп.
- Изолиране по ниво на сигурност: Създайте VPC или подмрежи с висока-, средна- и ниска{2}}сигурност и използвайте групи за сигурност, мрежови ACL и частна свързаност, за да контролирате кръстосания-VPC и кръстосания-подмрежов трафик.
- Изолиране по наемател или проект: Задайте отделни VPC на различни наематели или проекти, за да изолирате ресурси, мрежи и данни.
1.2 Изходна мрежа за събиране на данни
NAT шлюз: Използвайте набор от EIP и SNAT през NAT шлюз, позволявайки на програмите за събиране да имат достъп до интернет от произволно избрани публични IP адреси.
Самостоятелно{0}}изграден прокси: Внедрете прокси сървъри, които поддържат съпоставки между процесите на събиране и публичните IP адреси и разпределете една заявка за събиране между множество прокси сървъри.
Доставчик на IP услуги: Свържете се с доставчик на IP услуги през облачната частна мрежа за по-ниска цена, контролирана сигурност и стабилно качество [2].
1.3 Между-регионално агрегиране и предварителна обработка на данни
Изберете региона на OSS според клъстерния-план за предварителна обработка и създайте VPC за-агрегиране на данни в същия регион. Създайте транзитен маршрутизатор (TR) във всеки регион, свържете локални VPC и свържете TR, така че VPC за регионално събиране да имат директен достъп до централния OSS. Услуги като PAI-iTAG, MaxCompute и Flink след това могат да извършват етикетиране на данни и предварителна обработка в региона на OSS [2].
2. Моделна мрежа за обучение
Модел{0}}мрежата за обучение е тясно интегрирана с мрежата за събиране и предварителна обработка, за да формира глобална структура, която свързва облачни центрове за данни, крайни възли и-локални IDC.
Високо{0}}скоростното взаимно свързване осигурява ниска-закъснение, високо-пропускателно движение на данни, докато честотната лента, политиките за сигурност, контролите на достъпа и възстановяването след бедствие трябва да бъдат проектирани от край до край [2].
- В-регион между-клъстерен изчислителен пул: Транзитен рутер свързва множество VPC в рамките на един и същи регион. Сървърните ENI се свързват към VPC комутатори и могат да бъдат конфигурирани за необходимата пропускателна способност и RDMA.
- Cross{0}}облачен изчислителен пул: Специализирани вериги свързват IDC или друг облак към един и същ-регион VPC. Облачните VBR на Alibaba се свързват на ниво 3 към равноправното устройство с BGP, BFD и бързо прехвърляне на отказ за бърза конвергенция.
Глобален изчислителен пул: Между-регионалните връзки между TR се осигуряват според пиковия между-регионален трафик, с незадължителен между-регионален QoS за създаване на унифициран изчислителен пул в регионите [2].
3. Глобална инференция-Мрежа за услуги
Глобална инферентна мрежа избира модели за разгръщане според наличните ресурси и облачни услуги във всеки регион и осигурява ефективно разпространение и достъп до услуги [2].
- Внедряване на модел или агент: Използвайте внедряване на MaaS на Model Studio, PAI-EAS или внедряване на Function Compute PaaS, или внедряване на IaaS на EGS, ACK, ACS или Lingjun bare-metal инфраструктура в клиентския VPC.
- Разпространение на услугата: Създайте VPC за-разпределение на изводи и свържете частни мрежи чрез VPC Peering, свързани VPC-услуги в облака или PrivateLink. Разположете ALB или подобрен ALB като точка за достъп и прокси заявки към различни модели или агенти.
- Достъп до услугата: Местните интернет потребители имат директен достъп до подобрената ALB; отдалечените потребители могат да използват Global Accelerator (GA); вътрешни или външни корпоративни потребители на Alibaba Cloud могат да се свързват частно чрез PrivateLink.
Заключение и перспектива
Тази бяла книга обяснява предизвикателствата, пред които са изправени IDC мрежите в ерата на изкуствения интелект и как динамичното интелигентно маршрутизиране може да се справи с тях. Динамичната осведоменост, интелигентното{1}}вземане на решения, WCMP, ALB и VRF виртуализацията подобряват-ефикасността при балансиране на натоварването, намаляват задръстванията и загубата на пакети и ускоряват обучението и изводите за AI. Разделът за планиране набляга на VPC сегментирането, изходния-дизайн на колекцията, между-регионалното агрегиране и предварителна обработка, обучението на модела и глобалната доставка на изводи. Тъй като AI продължава да се развива, мрежите на центровете за данни ще бъдат изправени пред по-строги изисквания. Динамичното интелигентно маршрутизиране ще продължи да се подобрява за edge AI, обединено обучение и други сложни сценарии. Бъдещите IDC мрежи ще поставят по-голям акцент върху конвергенцията на-изчислителната мрежа, енергийната ефективност и автоматизираните операции, създавайки по-интелигентна, ефективна и надеждна основа за цифровата икономика.
Референции
Предоставен от-потребителя технически изходен документ.
Бяла книга на Alibaba Cloud AI Network. Достъп до 27 май 2026 г.
https://help.aliyun.com/zh/cloud-мрежа-добре-архитектиран-дизайн/alibaba-облак-ai-мрежа-бяла-хартия