电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
软件简介
Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现，本文后续将详细介绍 Flink Remote Shuffle 研发的背景，以及 Flink Remote Shuffle 的设计与使用。
重要特性
-
存储计算分离：存储计算分离使计算资源与存储资源可以独立伸缩，计算资源可以在计算完成后立即释放，Shuffle 稳定性不再受计算稳定性影响。
-
支持多种部署模式：支持 Kubernetes、Yarn 以及 Standalone 环境下部署。
-
采用了类似 Flink Credit-Based 流量控制机制，实现了零拷贝数据传输，最大限度的使用受管理的内存 (managed memory) 以避免 OOM，提高了系统稳定性与性能。
-
实现了包括负载均衡、磁盘 IO 优化、数据压缩、连接复用、小包合并等诸多优化，实现了优秀的性能与稳定性表现。
-
支持 Shuffle 数据正确性校验，能够容忍 Shuffle 进程乃至物理节点重启。
-
结合 FLIP-187: Flink Adaptive Batch Job Scheduler[11] 可支持动态执行优化，如动态决定算子并发度。
设计思路与原理介绍
参阅此文章：https://www.oschina.net/news/171564/flink-remote-shuffle-open-source
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- Flink学习精要 0次下载
- 基于单向传输协议的网络数据交换威廉希尔官方网站 7次下载
- NoSQL数据库间数据交换代价研究 0次下载
- 组态王与VB数据交换方法 16次下载
- 一种电子政务数据交换模型的设计
- 一种基于JCA的数据交换架构
- 多单片机系统中的数据交换
- 关于ISA 数据交换的一些小例子
- 多单片机系统中的数据交换
- 基于任务的数据交换平台
- 策略驱动的数据交换模型
- 安全数据交换威廉希尔官方网站 在HIS中的应用
- 基于时间闸和放行令牌的数据交换威廉希尔官方网站
- 基于实时数据交换威廉希尔官方网站 的数据通信
- 一个系统中多单片机之间的数据交换
- GIS可处理非地理空间数据吗 388次阅读
- ZEMAX与MATLAB动态数据交换及其应用 907次阅读
- 如何实现西门子、欧姆龙、三菱、AB等PLC之间数据交换 1336次阅读
- 交换机的特点、工作原理及数据交换方式 8190次阅读
- Profinet直接数据交换功能概述 1951次阅读
- S7-1500 CPU支持与其它S7-1500 CPU进行直接数据交换 3641次阅读
- JustWeEngine游戏框架网络事件处理 Http服务器的数据交换 1632次阅读
- 如何将 PROFINET IO 系统的用户数据交换组态 IRT 通讯？ 4703次阅读
- 实时数据体系建设的总体方案的三部分 6598次阅读
- 什么是分组交换网_分组交换网的构成 7871次阅读
- 一套符合标准SQL语义的开发语言,link的最新特性 2362次阅读
- 来看看Spark和Flink各自的优劣和主要区别 3.1w次阅读
- mapreduce工作原理图文详解_Map、Reduce任务中Shuffle和排序 8419次阅读
- 基于FPGA的BIade Server与主板之间PCI数据交换 2177次阅读
- 利用OPC实现VC应用程序与PLC的数据交换 4831次阅读
下载排行
本周
- 1TPS54202H降压转换器评估模块用户指南
- 1.02MB | 7次下载 | 免费
- 2华瑞昇CR215芯片数字万用表原理图
- 0.21 MB | 1次下载 | 3 积分
- 3SMD LED选型目录 灯珠手册
- 5.36 MB | 1次下载 | 免费
- 4Tiva C系列DK-TM4C129X入门指南
- 1.69MB | 1次下载 | 免费
- 5电涌保护器(SPD)的选择、安装以及装配
- 4.57 MB | 1次下载 | 免费
- 6时源芯微EMC前车灯案例
- 458.59 KB | 1次下载 | 免费
- 7bq25890、bq25892双级联充电器EVM(PWR692)用户指南
- 2.02MB | 1次下载 | 免费
- 8符合AEC-Q200标准的紧凑型高频MHz晶体单元FA1612AA
- 186.50 KB | 次下载 | 免费
本月
- 1ADI高性能电源管理解决方案
- 2.43 MB | 156次下载 | 免费
- 22024PMIC市场洞察
- 2.23 MB | 64次下载 | 免费
- 3开关电源设计原理手册
- 1.83 MB | 30次下载 | 免费
- 4智能门锁原理图
- 0.39 MB | 28次下载 | 免费
- 5OAH0428最新规格书（中文）
- 2.52 MB | 15次下载 | 7 积分
- 6ST7789V2单芯片控制器/驱动器英文手册
- 3.07 MB | 9次下载 | 1 积分
- 7LTH7充电电路和锂电池升压5V输出电路原理图
- 0.04 MB | 7次下载 | 免费
- 8TPS54202H降压转换器评估模块用户指南
- 1.02MB | 7次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935119次下载 | 10 积分
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420061次下载 | 10 积分
- 3Altium DXP2002下载入口
- 未知 | 233084次下载 | 10 积分
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191367次下载 | 10 积分
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183334次下载 | 10 积分
- 6labview8.5下载
- 未知 | 81581次下载 | 10 积分
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73807次下载 | 10 积分
- 8LabVIEW 8.6下载
- 未知 | 65987次下载 | 10 积分
工商网监
评论