Intel开源了基于Apache Spark的分布式深度学习框架BigDL。BigDL借助现有的Spark集群来运行深度学习计算,并简化存储在Hadoop中的大数据集的数据加载。
BigDL适用的应用场景主要为以下三种:
1、直接在Hadoop/Spark框架下使用深度学习进行大数据分析(即将数据存储在HDFS、HBase、Hive等数据库上);
2、在Spark程序中/工作流中加入深度学习功能;
3、利用现有的 Hadoop/Spark 集群来运行深度学习程序,然后将代码与其他的应用场景进行动态共享,例如ETL(Extract、Transform、Load,即通常所说的数据抽取)、数据仓库(data warehouse)、功能引擎、经典机器学习、图表分析等。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
数据存储
+关注
关注
5文章
967浏览量
50888 -
AI
+关注
关注
87文章
30562浏览量
268761 -
深度学习
+关注
关注
73文章
5497浏览量
121076
发布评论请先 登录
相关推荐
用Linux和Apache Hadoop进行云计算
用Linux和Apache Hadoop进行云计算使用Linux 和 Hadoop 进行分布式计算介绍Hadoop 框架.
发表于 03-31 15:23
•12次下载
基于Spark和BigDL的深度学习威廉希尔官方网站 的案例解析
本文主要分享英特尔和京东在基于Spark和BigDL的深度学习威廉希尔官方网站
在搭建大规模图片特征提取框架上的实战经验。 图像特征提取被广泛地应用于相似图片检索,去重等。在使用BigDL框架(下文即将提到)之前
发表于 12-05 16:14
•2848次阅读
第1部分:如何将Bigdl部署为DOCKER容器或虚拟机
Step by step tutorial to get started with BigDL on Apache Spark*
第4部分:BIGDL的长短记忆和递归神经网络
In this video, we will take a look at Long Short Term Memory (LSTM) and Recurrent neural network (RNN) with BigDL.
第2部分:构建具有BIGDL的基本神经网络模型
Step by step tutorial to build a basic neural network model, train and evaluate the model – all with BigDL on Apache Spark*
Apache Ignite上的TensorFlow!分布式内存数据源
另一个基准测试表明 Ignite Dataset 如何与分布式 Apache Ignite 集群协作。这是 Apache Ignite 作为 HTAP 系统的默认用例,它使您能够在每秒 10 Gb 的网络集群上为单个客户端实现每
Apache与Weblogic的整合
Apache与Weblogic的整合(电源威廉希尔官方网站
论文录用后可以改作者吗)-Apache与Weblogic的整合
发表于 08-31 11:24
•7次下载
Apache2+tomcat5.5集群及Apache负载均衡配置实例
Apache2+tomcat5.5集群及Apache负载均衡配置实例(新星电源威廉希尔官方网站
有限公司)-Apache2+tomcat5.5集群及Apache负载均衡配置实例
发表于 08-31 12:16
•2次下载
物联网数据上云,正好才是真的好 | Apache Edgent边缘计算介绍
实时流数据处理框架Apache Edgent项目前身是Apache Quarks,是IBM于2016年捐赠给Apache软件基金会的开源项目。
发表于 02-07 12:35
•6次下载
Apache Doris正式成为 Apache 顶级项目
全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于美国时间 2022 年 6 月 16 日宣布,Apache Doris 成功从 Apache 孵化器毕业,
什么是Apache日志?Apache日志分析工具介绍
Apache Web 服务器在企业中广泛用于托管其网站和 Web 应用程序,Apache 服务器生成的原始日志提供有关 Apache 服务器托管的网站如何处理用户请求以及访问您的网站时经常遇到的错误的重要信息。
评论