网站模板库
  • 首页
  • web前端工具
    • HTML/JS转换工具
    • JS/HTML格式化工具
    • 字母/英文大小写转换工具
    • robots.txt文件生成工具
    • Js压缩/格式化工具
    • Css在线压缩工具_代码格式化
  • 关于我们
    • 免责声明
    • 联系我们
    • 广告服务
    • 服务项目
    • 关于我们
    • 网站轮播
    • 公告
    • 成都优优科技专用
    • 按行业分类
  • web学院
    • 服务器教程
    • 学习资料
      • 基础书籍
      • 交互书籍
      • 入门教程
      • 特效分类
    • 案例分享
    • web资讯
  • 网页特效
    • 图片特效
    • 导航特效
    • 滑动按钮
    • 表单特效
    • 文字特效
    • 弹窗特效
    • 其他特效
  • 织梦模板
    • 科技/电子/数码/通信
    • 文化/艺术/广告/传媒
    • 装修/设计/家居/家具
    • 基建/施工/地产/物业
    • 餐饮/酒店/旅游/票务
    • 食品/果蔬/饮料/日用
    • 服饰/珠宝/礼品/玩具
    • 摄影/婚庆/家政/生活
    • 运动/健身/体育/器材
    • 学校/教育/培训/科研
    • 美容/保健/医院/医疗
    • 金融/财税/咨询/法律
    • 政府/组织/集团/协会
    • 汽车/物流/交通/搬运
    • 机械/设备/制造/仪器
    • 化工/环保/能源/材料
    • 农业/畜牧/养殖/宠物
    • 其他模版
    • IT/软件/信息/互联网
  • 手机模板
    • 手机APP模板
    • 微信小程序模板
    • wap
  • 网站模板
    • joomla模板
    • Drupal模板
    • z-blog模板
    • EyouCms模板
    • Bootstrap模板
    • 帝国cms模板
    • CmsEasy模板
    • MetInfo模板
    • 购物商城模板
      • Shopify主题
      • PrestaShop主题
    • 后台模板
    • 纯HTML模板
    • ecshop模板
    • phpwind模板
    • pbootcms模板
    • phpcms模板
    • wordpress模板
    • discuz模板
  • 教程
    • 织梦教程
    • Discuz教程
    • WordPress教程
    • Phpcms教程
    • Phpwind教程
    • ECShop教程
    • Joomla教程
    • Drupal教程
    • zblog教程
    • EyouCMS教程
    • 帝国cms教程
    • MetInfo教程
    • CmsEasy教程
登录
当前位置:网站模板库 > web学院 > 服务器教程 > 如何让spark支持infiniband的rdma协议
商业源码 服务器教程 2023-11-20 10:03:02

如何让spark支持infiniband的rdma协议

如何让spark支持infiniband的rdma协议,第1张

定义

InfiniBand是主机IO总线的网络化,用以替代PCI总线,组件包括HCA、IBSwitch、TCA等,连接方式为:CPU/RAM(机内)— >系统内存总线(机内)—>HCA(桥,机内)—>IBSwitch(主机IO总线,机外)—>TCA(主机IO控制卡 /HBA,机外)—>SANSwitch(存储IO总线,机外)—> 存储子系统(机外)

2 结构

物理层:可基于光缆或铜缆实现,包括多芯电缆(4X/12X)和连接器(MPO/MicroGigaCN)等;

数据链路层:编码(10B/8B)、流量控制(连接级/端到端)、服务级别(可靠连接FC1、非可靠连接FC2、可靠数据报、非可靠数据报FC3和原始数据报)和差错恢复等

上层协议:VI(RDMA)

3 说明

对应SAN实现存储IO总线的网络化(基于FC或EthernetIP),InfiniBand实现了主机IO总线的网络化

InfiniBand、FC和Ethernet同样工作于物理层和数据链路层,三者均可基于光缆或铜缆实现,并且均对VI(RDMA)等上层协议提供支持

1 定义

InfiniBand是主机IO总线的网络化,用以替代PCI总线,组件包括HCA、IBSwitch、TCA等,连接方式为:CPU/RAM(机内)— >系统内存总线(机内)—>HCA(桥,机内)—>IBSwitch(主机IO总线,机外)—>TCA(主机IO控制卡 /HBA,机外)—>SANSwitch(存储IO总线,机外)—> 存储子系统(机外)

2 结构

物理层:可基于光缆或铜缆实现,包括多芯电缆(4X/12X)和连接器(MPO/MicroGigaCN)等;

数据链路层:编码(10B/8B)、流量控制(连接级/端到端)、服务级别(可靠连接FC1、非可靠连接FC2、可靠数据报、非可靠数据报FC3和原始数据报)和差错恢复等

上层协议:VI(RDMA)

3 说明

对应SAN实现存储IO总线的网络化(基于FC或EthernetIP),InfiniBand实现了主机IO总线的网络化

InfiniBand、FC和Ethernet同样工作于物理层和数据链路层,三者均可基于光缆或铜缆实现,并且均对VI(RDMA)等上层协议提供支持

一共三种连接方式:SAS、iSCSI、FC(光纤),都需要安装在服务器上HBA(连接主机I/O总线和计算机内存系统的I/O适配器)卡,通过相对应的线缆连接盘柜。

1、SAS连接方式:服务器需要安装SAS HBA卡,通过SAS线连接到盘柜上的SAS接口。速率3Gb/S,可以通过SAS交换机(此类SAN交换机相对其它SAN交换机较少)扩展成SAS SAN存储区域网络 ,如 Powervault MD3000 用的是SAS连接方式

2、iSCSI连接方式:服务器需要安装iSCSI HBA卡,通过以太网线连接盘柜上的iSCSI接口,速率1Gb/S,可以通过以太网交换机扩展成iSCSI(IP) SAN存储区域网络 如:Powervault MD3000 i

3、FC连接方式:服务器需要安装FC HBA卡,通过FC线连接到盘柜上的FC接口(接口上必须安装短波光模块)。速率4/8/10Gb/S,可以通过FC交换机(需要安装短波光模块)扩展成FC SAN存储区域网络

目前企业数据存储的主流是FC SAN 和IP SAN,前者吞吐量高、性能最好,后者经济实惠、扩展方便。SAS接口的存储一般都用于入门级直连存储,少有扩展成SAS SAN的。传输速率ISCSI < SAS < FC

扩展资料:

磁盘阵列(Redundant Arrays of Independent Drives,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。

磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。 

磁盘阵列还能利用同位检查(Parity Check)的观念,在数组中任意一个硬盘故障时,仍可读出数据,在数据重构时,将数据经计算后重新置入新硬盘中。

由加利福尼亚大学伯克利分校(University of California-Berkeley)在1988年,发表的文章:“A Case for Redundant Arrays of Inexpensive Disks”。文章中,谈到了RAID这个词汇,而且定义了RAID的5层级。伯克利大学研究目的是反映当时CPU快速的性能。

CPU效能每年大约成长30~50%,而硬磁机只能成长约7%。研究小组希望能找出一种新的技术,在短期内,立即提升效能来平衡计算机的运算能力。在当时,柏克莱研究小组的主要研究目的是效能与成本。

另外,研究小组也设计出容错(fault-tolerance),逻辑数据备份(logical data redundancy),而产生了RAID理论。研究初期,便宜(Inexpensive)的磁盘也是主要的重点,但后来发现,大量便宜磁盘组合并不能适用于现实的生产环境,后来Inexpensive被改为independent,许多独立的磁盘组。

独立磁盘冗余阵列(RAID,redundant array of independent disks)是把相同的数据存储在多个硬盘的不同的地方(因此,冗余地)的方法。通过把数据放在多个硬盘上,输入输出操作能以平衡的方式交叠,改良性能。因为多个硬盘增加了平均故障间隔时间(MTBF),储存冗余数据也增加了容错。

(资料来源::磁盘阵列)

1首先确认连接正确:

2打开storage

manager,右键管理站名,选择自动搜索

3对话框下方会有自动搜索进度条,搜索结束会发现连接的DS3400

4重命名ds3400:

5打开管理界面:

6通过管理界面的summary选项卡,查看盘柜的各种属性信息:

7手动添加主机,选择config选项卡中的config

host

access(manual):

8创建host,选择windows2K3

non-cluster

9选择主机的HBA卡,storage

manager会自动搜索HBA卡无需抄写WWN号,也可以选择“edit”选项,手动添加HBA卡:

10非双机访问,选择默认选项:

11回到config选项卡,创建array和lun并映射到服务器上,选择“create

logical

drives”:

12配置未划分的空间:

13手动创建array:

14选择3块硬盘做RAID5,点选”calculate”选项计算容量才可以继续配置:

15在”new

logical

drive

capacity”输入框中输入要创建的lun大小(默认为原始array大小),后根据应用类型选择segment

size:

16映射到本文档开始时创建的host,选择一个LUN(未加partition许可情况下,每个partition可创建32个lun):

17选择”yes”继续创建lun2:

18选择从空闲空间创建logical

drive:

19步骤同创建lun1:

20映射到host,此时lun自动变为1(第一个logical

drive占用了lun0):

21在config选项卡中选择”config

hot-spare”,手动创建全局热备份:

22选择未用的硬盘:

23热备份:

最后,在windows2003中打开”服务”面板,选择”磁盘管理”,可以看到新添加的两块硬盘,初始化并分区即可。

RHEL中步骤雷同。

总线 数据 磁盘 主机 可靠
DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » 如何让spark支持infiniband的rdma协议

商业源码 钻石

分享到:
上一篇
澳汇平台外汇正规吗
下一篇
USR-W600 WIFI无线串口服务器

相关推荐

服务器磁盘管理(分区和挂载)

服务器磁盘管理(分区和挂载)

美国云服务器中心的简介

美国云服务器中心的简介

服务器托管的好处有哪些

服务器托管的好处有哪些

美国百兆独享的服务器贵不贵,大概要多少?哪里租

美国百兆独享的服务器贵不贵,大概要多少?哪里租

0条评论

发表评论 取消回复

要发表评论,您必须先登录。

提供最优质的资源集合

立即查看 了解详情
网站模板库

主题/付费下载/查看/余额管理/自定义积分,集成支付,卡密,推广奖励等。

本站导航
  • 链接标题
友情链接
  • 链接标题
快速搜索
本站由钛宇宙强力驱动
友情链接:
    商业源码网蜀ICP备2023005044号
    网站模板库
    • 登录
    • 注册
    网站模板库
    • 首页
    • web前端工具►
      • HTML/JS转换工具
      • JS/HTML格式化工具
      • 字母/英文大小写转换工具
      • robots.txt文件生成工具
      • Js压缩/格式化工具
      • Css在线压缩工具_代码格式化
    • 关于我们►
      • 免责声明
      • 联系我们
      • 广告服务
      • 服务项目
      • 关于我们
      • 网站轮播
      • 公告
      • 成都优优科技专用
      • 按行业分类
    • web学院►
      • 服务器教程
      • 学习资料►
        • 基础书籍
        • 交互书籍
        • 入门教程
        • 特效分类
      • 案例分享
      • web资讯
    • 网页特效►
      • 图片特效
      • 导航特效
      • 滑动按钮
      • 表单特效
      • 文字特效
      • 弹窗特效
      • 其他特效
    • 织梦模板►
      • 科技/电子/数码/通信
      • 文化/艺术/广告/传媒
      • 装修/设计/家居/家具
      • 基建/施工/地产/物业
      • 餐饮/酒店/旅游/票务
      • 食品/果蔬/饮料/日用
      • 服饰/珠宝/礼品/玩具
      • 摄影/婚庆/家政/生活
      • 运动/健身/体育/器材
      • 学校/教育/培训/科研
      • 美容/保健/医院/医疗
      • 金融/财税/咨询/法律
      • 政府/组织/集团/协会
      • 汽车/物流/交通/搬运
      • 机械/设备/制造/仪器
      • 化工/环保/能源/材料
      • 农业/畜牧/养殖/宠物
      • 其他模版
      • IT/软件/信息/互联网
    • 手机模板►
      • 手机APP模板
      • 微信小程序模板
      • wap
    • 网站模板►
      • joomla模板
      • Drupal模板
      • z-blog模板
      • EyouCms模板
      • Bootstrap模板
      • 帝国cms模板
      • CmsEasy模板
      • MetInfo模板
      • 购物商城模板►
        • Shopify主题
        • PrestaShop主题
      • 后台模板
      • 纯HTML模板
      • ecshop模板
      • phpwind模板
      • pbootcms模板
      • phpcms模板
      • wordpress模板
      • discuz模板
    • 教程►
      • 织梦教程
      • Discuz教程
      • WordPress教程
      • Phpcms教程
      • Phpwind教程
      • ECShop教程
      • Joomla教程
      • Drupal教程
      • zblog教程
      • EyouCMS教程
      • 帝国cms教程
      • MetInfo教程
      • CmsEasy教程

      弹窗标题

      这是一条网站公告,可在后台开启或关闭,可自定义背景颜色,标题,内容,用户首次打开关闭后不再重复弹出,此处可使用html标签...