订阅博客
收藏博客
微博分享
QQ空间分享

年轻气盛,NVMe Over Fabrics技能架构概述,奥比岛

频道:社会资讯 标签:英镑符号夏馨雨 时间:2019年08月13日 浏览:136次 评论:0条

原创: Hardy 架构师技术联盟

NVMe Over Fabrics运用RDMA或光纤通道(FC)架构等Fabric技术替代PCIe传输。如图所示,除了根据RDMA架构的传输包含以太网(ROCE),InfiniBand和iWARP,当然,选用根据原生TCP(非RDMA)传输也是或许的(到2018年7月,TCP技术仍在研金霉素眼膏发阶段)。

图RDMA和FC Fabric NVMe架构

图中所示的NVM子体系是一个或多个物理结构接口(端口)的调集,每个独自的操控器一般衔接到单个端口。多个操控器能够同享一个端口。虽然答应NVM子体系的端口支唐辛肖持不同的NVMe传输,但实际上,单个端口或许仅支撑单个传输类型。

留意:NVM子体系包含一个或多个操控器,一个或多个命名空间,一个或多个PCI Express端口,非易失性存储器存储介质,以及控货运资格证制器和非易失性存储器存储介质之间的接口。

下图是一个存储阵列的示例,该阵列是由经过FC结构衔接到3个主机的NVM子体系组成。

图:由经过Fabric衔接到3个主机的NVM子体系组成云服务的示例阵列

一般,NVM子体系出现一个或多个NVMe操控器(最大约64K)的调集,其用于经过一个或多个(最多64K)NVM子体系端口拜访与一个或多个主机相相关的命名空间。实际上,子体系操控器的数量或子体系端口的数量往往十分小。

NVMe Over Fabrics(NVMe-oF)也是根据NVMe架构,包含指令集和排队接口。除Admin和I/O指令外,它也支撑Fabric指令。NVMe-oF在某些方面与根本NVMe规范有所不同(例如,不答应中止),因为NVMe中的Interrupt的说法,只是限于NVMe over PCIe的架构,在NVMe over Fabric的架构下,不存在任何Interrupt的说法。

注梦见怀孕意:有关NVMeover Fabrics与NVMe根本规范之间差异的完好列表,请参阅NVMe Over Fabric 1.0规范

操控器一次只与一个主机相关,而端口能够同享。NVMe答应主机经过相同的端口或不结肠炎的症状及医治同的端口衔接到NVM子体系中的多个操控器。

NVMe-oF支撑发现服务,运用发现机制,主机能够获得具有主机可拜访的称号空间的NVM子体系的列表,包含发现到NVM子体系的多个途径的才能。NVMe Identify Admin指令用于确认操控器的命名空间。

如前所述,NVMe规范支撑多途径I/O和命名空间同享。虽然多途径I / O,命名空间同享,多主机衔接和预留等概念并不相同,但为了便利将它们一同描绘,它们在触及多主机命名空间拜访,尤其是在运用NVMe预定(Reservations)时有些彼此办护照多少钱相关。以下供给了这些概念的扼要阐明。

命名空间同享

命名空间同享是指两个或多个主机运用不同的NVMe操控器拜访公共命名空间的才能。命名空间同享要求NVM子体系包含两个或更多操控器。

下图显现了两个NVMe操控器经过两个NVM子体系端口衔接的示例; 在此示例中,命名空间B(NS B)由两个操控器同享。NVMe操作可用于和谐对同享命名空间的拜访。与同享命名空间相相关的操控器能够一起在命名空间上操作。能够运用大局仅有标识符或与命名空间自身相关的命名空间ID(NSID)来确认何时存在到同一同享命名空间的多个途径。

NVM子体系不需求将相同的命名空间附加到一切操控器。在图中,只要命名空间B被同享并衔接到操控器。

注:当时的NVMe规范未指定跨NVM子体系的命名空间同享,这在NVMe 1.4规范草案中得到了处理。

图:具有对同享命名空间的专用端口拜访的示例

多途径

NVMe多途径I/O是指单个主机和命名空间之间的两个或多个彻底独立的途径。每个途径运用自己的操控器,虽然多个操控器能够同享子体系端口。命名空间同享等多途径I/O要求NVM子体系包含两个或更多操控器。

在下图所示的示例中,主机A经过操控器1和操控器2具有2个途径。NVMe规范技术委员会现在正在拟定关于多途径I/O的规范草案。

多主机衔接和预留

NVMe预留功用类似于SCSI-3耐久保存,可用于供给两个或多个主机用于和谐对同享命名空间的拜访的功用。命名空间上的NVMe预留限谁能百里挑一马徐骏牵手成功制了主机对该命名空间的拜访。例如,受驱动程序支撑的VMware ESXi能够运用NVMe预定来支撑运用VM的Microso年轻气盛,NVMe Over Fabrics技术架构概述,奥比岛ftWindows Server毛病搬运群集。

NVMe预留需求主机和命名空间之间的相关。多途径I/O和命名空间同享环境中的每个操控器只与一个主机相相关,如下图中的示例所示。主机能够经过向与其相关的每个操控器注册相同的主机ID来与多个操控器相相关。

留意:为了仅有标识主机ID,操控器能够支撑以下两种格局之一:

1)64位主机标识符

2)扩展的128位主机标识符; NVMeOver Fabrics需求128位扩展格局

如下图所示的示例中,主机A与2个操控器相相关,而主机B与单个操控器相相关。主机标识符(例如,主机ID A)答应NVM子体系辨认与同一主机(例如,主机A)相相关的操控器,并保存跨这些操控器的预留特点。

图:对同享命名空间的多主机拜访

提示一下,NVMe-oF是一种经过可扩展的方法在干流互连上扩展NVMe架构的事实规范。该规范旨在使非易失性存储器快速根据音讯的指令能够 经过网络在主核算机和方针固态存储设备或体系之间传输数据。首要的优点包含进步功用,削减网络推迟和瓶颈。

关于NVMe-oF/TCP

一个更风趣的新发展是NVMe和传输操控协议(TCP)的新传输绑定。对开发人员来说,优点是搬迁NVMe技术到Internet小型核算机体系接口(iSCSI)。关于期望运用其以太网基础设施并防止长途直接内存拜访(RDMA)协议的复杂性的企业而slay言,NVMe-oF/TCP是一个很好的挑选。

NVMe-oF的传输无关性意味着NVMe-oF能够支撑一切传输,现在有几种干流传输方法:RoCEv2,iWARP,InfiniBand和FCoE(以太网光纤通道/FC)。这儿面有一些传输运用咱们的规范中包含的RDMA协议完成绑定,但现在NVMe相关安排在正在增加TCP以满意商场需求。

业界对NVMe-oF /TCP规范持乐观态度, 许多职业领导者都支撑它,包含Facebook,谷歌,戴尔EMC,英特999伤风灵颗粒尔和其他公司。

外部存储商场年轻气盛,NVMe Over Fabrics技术架构概述,奥比岛现已开端选用NVMe-oF技术,咱们期望企业客户能够持续在高功用要求的运用中运用和布置它。现在现已看到尖端章供货商,包含Broadcom,思科,英特尔,IBM等,并宣告推出NVMe-oF处理方案。

NVMe-oF的未来在企业存储范畴是光亮的,新式的核算密集型商场需求NVMe-oF技术。

人工智能,机器学习和实时剖析都需求NVMe-oF供给的更低推迟和更快的吞吐年轻气盛,NVMe Over Fabrics技术架构概述,奥比岛量。NVMe-oF技术具有许多优势,能够满意新的运用需求。在服务器端,NVMe-oF削减了操作体系存储仓库的长度,然后能够更有效地进行衔接。在存储阵列方面,因为经过方针仓库的途径较短,然后改进阵列功用。

但是,最重要的优点之一年轻气盛,NVMe Over Fabrics技术架构概述,奥比岛是NVMe-oF运用存储阵列的原有技术,经过从SAS/SATA驱动器搬运到NVMe SSD,加快处理方案上市。

内容共享到此为止,更多技术细节请参阅收拾成文的“NVMe技术规范和原理深度解析”电子书,详细内容和目录如下。

一、 NVMe技术和运用概述 6

  • 1.1 NVMe技术共同优势 7
  • 1.2 NVMe-oF技术概述 7
  • 1.2.1 NVMe over FC 8
  • 1.2.2 NVMe over以太网和InfiniBand 8
  • 1.2.3 NVMe over TCP 8
  • 1.3 NVMe数据中心运用现状剖析 8
  • 1.3.1戴尔EMC(PowerMax) 8
  • 1.3.2 E8存储公司(E8设备和软件) 9
  • 1.3.3 Excelero Inc (NVMesh) 10
  • 1.3.4 IBM (FlashSystem 9100) 11
  • 1.3.5 NetApp (AFF A800及EF570) 12
  • 1.3.6 Pure Storage(FlashArray和FlashBlade) 16
  • 1.3.7 Vexata公司(VX-100M和VX-100F) 17

二、 NVMe规范术语解说 19

  • 2.1 NVM子体系介绍 19
  • 2.2 端口概念介绍 19
  • 2.2.1 物理端口 19
  • 2.2.2 NVM子体系端口 20
  • 2.2.3 传输端口 23
  • 2.3 NVM操控器 23
  • 2.3.1 动态操控器 23
  • 2.3.2 静态(Persist)操控器 24
  • 2.4 发现进程操控器 25
  • 2.5 发现服务器子体系 26
  • 2.6 发现日志页 26
  • 2.7 称号空间剖析 26
  • 2.7.1称号空间ID 27
  • 2.7.2 创立称号空间 27
  • 2.7.3 删去称号空间 28
  • 2.7.4 增加、免除称号空间 28
  • 2.7.5 称号空间标识 28
  • 2.7.6称号空间格局 29
  • 2.8 Association相关回百日蔷薇话 30
  • 2.9 Connection机制 31
  • 2.10 NVMe概念架构 31
  • 2.11 Capsule数据交换单元 32
  • 2.13 Properties特点 33
  • 2.14 Fabric Command指令类型 34
  • 2.15 Host ID和Host NQN 34
  • 2.13 Host、Controller和Namespace 35
  • 2.14 NVMe 年轻气盛,NVMe Over Fabrics技术架构概述,奥比岛Subsystem预置条件 36

三、 NVMe-oF和NVMe over PCIe差异 37

  • 3.1 NVMe-oF原理和概述 37
  • 3.2 NVMe over PCIe原理和概述 39
  • 3.3 NVMe over FC怎么作业 40
  • 3.4 NVMe/TCP(NVMe over TCP)怎么作业 43
  • 3.4.1 NVMe/TCP PDU的界说 43
  • 3.4.2 根据NVMe/TCP transport通讯 45

四、 NVMe Over Fabric指令解析 46

  • 4.1 Command字段剖析 47
  • 4.1.1 Fabric Command 字段 47
  • 4.1.2 Admin/IO Command 47
  • 4.2 Command呼应字段剖析 48
  • 4.2.1 Fabric Response字段 48
  • 4.2.2 Admin/IO 呼应字段 48

五、 Discovery处理流程 50

  • 5.1 Discovery初始化进程 50
  • 5.2 Discovery Log Page 51
  • 5.3 Discovery中止机制 57

六、 Connection处理流程 57

七、 数据传输流程 61

  • 7.1数据传输整体介绍 61
  • 7.2 传输单元Ca北京好玩的当地psule 61
  • 7.2.1 Command Capsule 巨细 62
  • 7.2.2 Command Capsule报文结构 鲥鱼62
  • 7.2.3 Response Capsule报文结构 64
  • 7.2.4 In Capsule传输方法 64
  • 7.2.5 In memory 传输方法 65
  • 7.2.6 Out of Order传输方法 66
  • 7.3 传输指令和流程 66
  • 7.3.1 NVM读指令 66
  • 7.3.2 NVM写指令 68
  • 7.4 SGL散列表 69

八、 NVMe元数据 71

  • 8.1 NVMe元数据界说 71
  • 8.2 NOF Metadata传输方法 72
  • 8.2.1数据In capsule传输(数据对齐) 72
  • 8.2.2数据In capsule传输(数据未对齐) 73
  • 8.2.3数据In memory传输(SGL在memory) 74
  • 8.2.3数据In memory传输(SGL在capsule) 74

九、 NVMe/NVMe over Fabric流控处小崔说事理 75

十、 NVMe安全认证机制 77

  • 10.1 安全认证概述 77
  • 10.2 认证相关指令 78
  • 10.3 认证流程 78

十一、Stream数据流 80

  • 11.1 Stream概述 80
  • 11.2 Stream指令 80
  • 11.3 Stream装备和完成 82

十二、加快后台操作(ABO) 84

  • 12.1 ABO概述 84
  • 12.2 ABO形式 84
  • 12.3 ABO状况查询 84
  • 12.4 发动/中止Host触发的ABO 85
  • 12.5 ABO参数装备 85

十三、NVMe传输层绑定完成 85

十四、Sanitize机制原理 85

  • 14.1 Sanitize概述 85年轻气盛,NVMe Over Fabrics技术架构概述,奥比岛
  • 14.2 Sanitize和Format格局差异 86
  • 14.3 Sanitize效果规模 88
  • 14.4 Sanitize作业形式 89
  • 14.5 Sanitize状况机 89
  • 14.6 Sanitize指令 90

十五、Reservations机制剖析 90

  • 15.1 Reservations概述 90
  • 15.2 Reserva港联海场站tion人物 91
  • 15.3 Reservation类型 92
  • 15.4 Reservations操作流图 93
  • 15.5 Reservations支撑条件 94
  • 15.6 Reservations完成和相关指令 95

十六、Keep Alive机制 103

  • 16.1 Keep Alive布景 103
  • 16.2 功用概述 103
  • 16.3 Keep Alive运用规模 103
  • 16.4 Keep Alive完成 104

十七、Interrupt中止机制 104

  • 17.1 Interrupt详细完成 104
  • 17.2 Interrupt Aggregation中止聚合 105
  • 17.3 NVMe中止映射方法 105

十八、NVMe Virtulization虚拟化机制 108

  • 18.1 虚拟化机制概述 108
  • 18.2 虚拟化运用场景 109
  • 18.3 虚拟化详细完成 109
  • 18.3.1 Primary Controller 109
  • 18.3.2 Seco年轻气盛,NVMe Over Fabrics技术架构概述,奥比岛ndary Contgroller 109
  • 18.3.3 Privileged Actions 109
  • 18.3.4 Virtualization办理指令 110
  • 18.3.5 Seconary Controller Command 110
  • 18.3.6 逐鼎大明Resource资源分配 110
  • 18.3.7 虚拟化行列 (Virtual Queue) 112
  • 18.3.8 虚拟中止(Virtual Interrupt) 112

十九、NVMe/NVMe over Fabric学习资源 113

请点电子书链接获取“NVMe技术规范和原理深度解析”电子书详细信息。

电子书链接:https://weidian.com/?userid=315894112&wfr=c&ifr=shopdetail