语：Meta 的存储架构复盘给出了条明确旅途临沂预应力砼钢绞线

AI 撮要

Meta 运营数百 EB 存储集群，基于 Tectonic 分层存储层构建 BLOB 存储架构，以草率两大挑战：大化 GPU 运用率与筹划迭代速率。传统 BLOB 架构的多层元数据查询可致数百毫秒延伸，使 GPU 因 I/O 恭候停顿。新架构将查考栈逐步转移到 BLOB 存储接口上，运用闪存提供可瞻望的低 pMax 延伸，避单 GPU 慢速拖慢整批任务。同期，统的数据湖走访支柱地舆差别 GPU 间的数据速注入与跨区转移，进步筹划率。

已往几年间，模子才智与查考数据集领域呈现出指数增长。而在频年阁下的时刻里，新代前沿模子的发布隔断已从数月裁汰至数周。关于这场 AI 革命的速率与计较资本而言，可靠且快速的数据存储至关纰谬。若是把 AI 比作大脑，那么存储就是追溯：才智与速率度取决于追溯容量与检索速率。

但是，尽管 AI 计较能大要每两年翻三倍，存储和互连能的增长却相对自在。其成果是，存储瓶颈依然是致 AI 职责负载中 GPU 空转的主要原因之，班师影响了支拨资本和上市时刻。除了 GPU 运用率以外，存储架构还班师影响 AI 筹划的迭代速率；跟着 GPU 日益差别在大家各地、数据集领域变得其雄壮，筹划东说念主员浮滥多数时刻进行跨区域的数据经受与转移，从而拖慢了筹划节拍。在这篇博客著作中，咱们将商讨 Meta 的 BLOB 存储架构何如演进，以草率两大中枢挑战：大化 GPU 运用率和大化筹划速率。

存储架构轮廓

Meta 运营着数百个艾字节的存储集群，处事于 Meta 扫数外部和里面家具，包括 Facebook、Instagram、Reality Labs、Meta AI、告白、数据仓库和里面数据库。咱们的存储处事提供对象存储、文献系统和块开辟 API，这些 API 抽象构建在个名为 Tectonic 的水平可膨胀基础块层之上。Tectonic 层是个区域、多田户存储架构，运用纠删码时间提供合手久和可用，支柱跨介质类型（如 HDD 和闪存）的分层存储，并经管热数据、冷数据和温数据的智能扬弃，以已矣跨田户的 I/O 运用。在 Tectonic 之上运行的 BLOB 存储层展现了个全局、限可膨胀的存储架构，并提供战略让用户在合手久和可用之间进行量度。

在之前题为"查考 Llama：存储视角"的 @Scale 演讲中，咱们商讨了 Meta 何如通过在 Tectonic 块层之上线路类似 NFS 的文献系统接口来班师查考 Llama。诚然这种架构在 Meta 里面仍被庸俗使用，但咱们的当代查考堆栈已启动逐步转移到 BLOB 存储接口之上，这亦然通盘行业的趋势。这转变是由于需要统走访 BLOB 存储层中的海量数据湖以及能需求所驱动的。

大化 GPU 运用率

当代 AI 职责负载"数据饥渴"，况兼具有与传统 Web 应用截然有异的职责负载特征：突发和合手续笼统量、可瞻望且有界的大延伸、以及变化的 I/O 形状。频年来，BLOB 存储的已基本转向大化 GPU 运用率。

为什么延伸至关纰谬

要相识为何有界且低 pMax 延伸如斯纰谬，咱们不妨磋议模子查考的过程。在查考过程中，数十万块 GPU 会屡次遍历存储中的海量数据（即多个查考周期），并以批次式查考数据集。每隔定数目的步数或批次，GPU 之间会同步各自的景色。若是某块 GPU 速率变慢，这步就会拖慢扫数 GPU 乃至通盘查考过程。

图 1 展示了个跨两块 GPU 的数据加载活水线。每个 GPU 主机上的数据加载器会预取下个数据集批次，同期 GPU 正在处理刻下批次以已矣计较与 I/O 的大类似。关于 GPU1，存储读取延伸在界限之内，因此 GPU 从不会因恭候 I/O 而停滞。关于 GPU2，出现两次存储读取延伸过的情况，致 GPU 停滞。这些停滞致通盘要领完成时刻被延长。

图 1：跨两块 GPU 的数据加载。

传统 BLOB 存储架构尚未为 AI 作念好准备

多年来，BLOB 存储以有机式演进，以确凿的面向处事格调层层叠加。其中好多层是有景色的，并感触着我方的元数据存储。诚然这些元数据走访延伸关于大家 HDD 所处事的传统用例而言平淡不是瓶颈，但关于条目毫秒闪存数据走访的 AI 职责负载来说，它们却是致命阻碍。图 2 展示了个典型的 getObject ( " /bucket/path " ) API 的恳求经由。恳求到达 API 处事器后，处事器会在称呼层、卷层和容器层中进行屡次元数据查找，然后将旅途领路为组 ( blockId, offset, size ) 元组。其中些查找可能跨区域，延伸累积到几百毫秒的情况并不罕有；惟有其中次查找反馈沉着就足以变成问题。查找完成后，API 处事器将数据从 Tectonic 层代理转发到客户端。

图 2：getObject API 的旧恳求经由。

尽管这架构在传统职责负载上发扬出临沂预应力砼钢绞线，但指蓄意量度的基本假定一经发生了变化。其中些变化包括：

· 能与延伸：如前所述，传统职责负载对延伸条目并不，而 AI 职责负载条目从低分位直到分位（pMax）皆保合手可瞻望且有领域的延伸。

· 可靠与合手久：旧架构蓄意为即使在区域故障的情况下也能度合手久且可用；数据与元数据默许全局复制。诚然 AI 职责负载条目的可用，但"默许全局复制"这蓄意遴荐已不再适用。

· 资本率：传统存储栈基于 HDD 构建，度化每字节资本。AI 职责负载对 IOPS 的条目迫使使用闪存，此外，相干于 GPU 的计较资本，存储的计较资本已变得微不及说念。

· 动力率：由于 GPU 的使用，数据中心日益受到电力驱逐而非空间驱逐。每千瓦电力用于存储，就意味着没灵验于 GPU。这是 AI 职责负载带来的新敛迹。

简而言之，量度空间一经发生了充足大的变化，促使咱们从头念念考通盘架构。

重建基础

在入部下手构建新基础时，咱们作念出了以下主要蓄意遴荐：

· 统元数据形状：咱们重写了元数据子系统，将原天职散在不同层的元数据并为基于 ZippyDB 的统扁平形状。这为已矣旅途到存储地址的 O ( 1 ) 查找铺平了说念路，是次阶跃式的更正。

· 数据面代理：咱们移除了数据面代理，构建了个胖客户端 SDK，唐突班师从存储处事器向客户端流式传输字节。这有助于已矣能主义，同期也能已矣的笼统量和低的延伸。

· 区域部署：BLOB 存储栈面前加精简，不错生动地行为区域或全局处事进行部署。咱们面前在每个 AI 区域部署套与 GPU 同地融合的区域 BLOB 存储栈。

图 3 展示了 getObject ( " /bucket/path " ) 的新恳求经由。

当客户端上的 SDK 收到该 API 调用时，它面前会向 API 处事器发出个 getReadPlan ( " /bucket/path " ) 恳求。API 处事器对每个数据块进行次 O ( 1 ) 查找，在元数据存储中将旅途映射为 ( blockId, offset, size ) 元组，然后将 ReadPlanResult 复返给 SDK。SDK 里面镶嵌了 Tectonic BlockClient，因此唐突班师从 Tectonic 流式读取这些数据块的数据。通过这些改变，咱们从头构建了基础架构，并已矣了在 Tectonic 之上非凡开销的主义。通过废除数据代理，锚索咱们还称心了功耗预算驱逐。

草率突发流量与热门问题

在数据和搜检点加载过程中，AI 职责负载平淡会跨数百个 GPU 并发走访数据。像模子权重这么的数据子集常常是"热门"，而 GPU 重启等事件会激励剧烈的流量峰。在处置基础问题之后，咱们的下个挑战就是草率这些突发流量与热门。运气的是，BLOB 存储层多年来已累积草率热门的教化，因此咱们将现存处置案适配至 AI 职责负载。具体来说，咱们秉承了两种法：

·  差别式数据缓存：咱们运用 GPU 主机上的清闲内存行为差别式数据缓存，用于缓存平淡且并发走访的数据。为此，咱们复用了 Meta Owl 子系统的组件：将 Owl 子系统中的平等节点班师集成到 BLOB 存储客户端 SDK 中，从而使扫数数据走访皆经过该数据缓存。

·  读取计议元数据缓存：读取计议（Readplan）指的是从旅途到存储地址的映射。面前，咱们将平淡走访的 BLOB 的读取计议缓存在个类似 memcache 的差别式内存存储中。

引申中，咱们不雅察到差别式数据缓存的平均射中率达到 80，读取计议缓存可在 1-2 毫秒内提供元数据走访。内容上，这些浅显机制已矣了三件事：

·  经受突发流量临沂预应力砼钢绞线，减少对存储的 I/O 需求。

·  处置元数据热门分片问题。

·  通过从内存提供处事，诽谤 p50 和 p99 延伸。

契约化

到面前为止商讨的内容一经帮咱们完成了 80 的职责。剩下 20 是通过识别并竖立通盘时间栈中的瓶颈来已矣的。以下是些值得精湛的问题，但非圆善清单：

  滞后节点：个慢速存储节点致尾延伸。这是个已被充分相识的问题，咱们通过在客户端秉承对冲读取（hedged reads）来缓解。

  出口流量峰：在搜检点事件时间，客户端时常会产生剧烈的出口流量峰。这反过来又会致拥塞、时和重试，终使 GPU 停滞。咱们通过在客户端 SDK 中构建动态并发限制来处置这问题，该机制凭据应用层拥塞信号自动调遣并行度。

综以上扫数化，新的 BLOB 存储栈面前唐突处事于 AI 职责负载而不会变成 GPU 停滞，况兼在 Tectonic 层之上引入的开销简直不错忽略不计。咱们的下个职责转向了筹划。

大化筹划速率

GPU 资源稀缺且日益地舆差别化；与此同期，出于能原因，查考职责负载需要数据与 GPU 同地部署。这给筹划东说念主员带来了个道理的挑战：他们面前需要细腻跨区域经受和转移数据集。

在 Meta，个典型的查考任务提交包含以下要领：

筹划东说念主员从各式开首整理数据，对其进行丰富处理后合手久化存储到 BLOB 存储中。

筹划东说念主员遴荐个区域来运行任务。

筹划东说念主员提交个数据经受任务，该任务将查考数据集以针对 GPU 主机内数据加载化的文献景观，在主义区域创建快照。

然后筹划东说念主员恭候经受完成；凭据数据集大小，这可能需要数小时。

筹划东说念主员提交他们的查考任务并监控运行情况。

筹划东说念主员分析输出成果，调遣数据集，然后从 3 步启动再次迭代。

要领 2 到 4 可能耗时数小时，班师影响筹划东说念主员的迭代速率。梦想情况下，咱们但愿筹划东说念主员把时刻花在调模子上，而不是恭候存储。面前，筹划东说念主员会在启动任务前复制快照，以便让数据与 GPU 同位置存放，从而得到能。诚然这种能化关于合手续数周或数月的大领域查考任务来说原理，但大多数任务领域要小得多；细腻这些任务的筹划东说念主员舒坦用偶尔的能着落来疏导迭代速率。

因此，咱们需要个系统，让筹划东说念主员唐突次摄入数据，并在职何地走访数据，需磋议区域领域。咱们需要套职责流，让筹划东说念主员唐突在几分钟内完成迭代，而不是几小时。当咱们从头回到蓄意阶段时，这些数据集"次写入、屡次读取"的特让咱们灵光现。若是咱们把存储视为台行星计较机中的磁盘，并从操作系统域鉴戒些主意呢？当个运行在 CPU 中枢上的 Linux 程度试图从磁盘读取文献时，操作系统会透明地按需从各层缓存——内存中的页缓存以及 L2 和 L1 CPU 缓存——中补凑数据。这直观催生了图 4 中的架构演进：

图 4：数据加载架构演进。

中枢念念想是将各式土产货和汉典存储资源行为分层缓存来运用，并以 HDD 支柱的全局 BLOB 存储结构行为终的的确数据源。具体来说，咱们将 GPU 主机上的内存和闪存行为 L1 和 L2 缓存。咱们将由闪存支柱的区域 BLOB 存储结构行为 L3 缓存，数据加载器连接通过闇练的 BLOB 存储 SDK 走访存储。为了有守秘延伸并简化数据人命周期，咱们依赖以下机制：

· 数据加载器预取：数据加载器在处理刻下批次的同期，将下批数据集预取到内存中。这种预取操作在 BLOB 存储 SDK 层面会体现为次读取操作。

· 度预取：咱们在 BLOB 存储 SDK 中线路了个显式的 `prefetch ( ) ` API。数据加载器会在后台调用 `prefetch ( ) ` API，主动预取接下来几分钟所需的数据。这个 API 会触发从汉典存储到土产货区域 L3 缓存的数据水（hydration），同期预热元数据缓存。

· 自动数据人命周期：L3 区域差别式闪存层中的数据平淡会保存段成立的时刻，以便在查考周期中跨轮次复用。咱们支柱自界说的淘汰战略，包括 TTL 和 LRU 战略。这些淘汰战略也磋议了容量 / 配额驱逐。

从坐蓐上线启动，这种新的数据加载范式就被连忙秉承，面前咱们在坐蓐环境中同期支柱两种数据加载范式。为了用数字讲明影响，图 5 展示了扫数职责负载在上线前后的数据摄入时刻对比：

图 5：上线前后的数据摄入时刻。

在个新前沿模子每隔几周就会发布的宇宙里，这种数据加载范式的转变恰是为了快前进而亟需的变化。

枢纽重点

当代 AI 职责负载对数据的需求大，存储对计较资本和革命速率皆起着纰谬作用。存储瓶颈班师影响 GPU 运用率和计较资本，而在 GPU 差他大家的场景下，跨区域数据摄入所浮滥的时刻会班师影响筹划的迭代速率。Meta 的 BLOB 存储架构初是为 Meta 的系列应用处事的，咱们需要在能上已矣路线式进步，以支柱 AI 职责负载。这促使咱们从头念念考通盘架构。通过重建元数据子系统，并秉承分层的缓存架构（包含预取和按需水），咱们唐突有称心刻下职责负载的需求。

异日职责

咱们在 Meta 合手续演进存储系统，以跟上硬件演进和职责负载需求。这域异日的职责将包括：

· 将存储膨胀到收罗限。

· 在大领域下支柱搜检点操作，而不暂停 GPU。

· 理职责负载濒临新的挑战，咱们正入部下手草率。

（著行为作家立不雅点，不代表艾瑞网态度）天津市瑞通预应力钢绞线有限公司相关词条:玻璃棉     塑料挤出机厂家     钢绞线    管道保温    PVC管道管件粘结胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。