栏目导航
联系我们
服务热线
400-123-4562
手机:13800138002
地 址:山东省临沂市沂蒙国际财富中心二栋
当前位置:主页 > 秒速快3 > 公司动态 >
如何在Hadoop上运行这些深度学习工作
浏览: 发布日期:2019-10-08

  秒速快3官网Hadoop是用于大型企业数据集的分布式处理的最流行的开源框架,它在本地和云端环境中都有很多重要用途。

  深度学习对于语音识别,图像分类,AI聊天机器人,机器翻译等领域的企业任务非常有用,仅举几例。为了训练深度学习/机器学习模型,可以利用TensorFlow/ MXNet / Pytorch / Caffe /XGBoost等框架。有时需要将这些框架进行组合使用以用于解决不同的问题。

  为了使分布式深度学习/机器学习应用程序易于启动,管理和监控,Hadoop社区启动了Submarine项目以及其他改进,例如一流的GPU支持,Docker容器支持,容器DNS支持,调度改进等。

  这些改进使得在Apache Hadoop YARN上运行的分布式深度学习/机器学习应用程序就像在本地运行一样简单,这可以让机器学习工程师专注于算法,而不是担心底层基础架构。通过升级到最新的Hadoop,用户现在可以在同一群集上运行其他ETL / streaming 作业来运行深度学习工作负载。这样可以轻松访问同一群集上的数据,从而实现更好的资源利用率。

  典型的深度学习工作流程:数据从各个终端(或其他来源)汇聚到数据湖中。数据科学家可以使用笔记本进行数据探索,创建pipelines 来进行特征提取/分割训练/测试数据集。 并开展深度学习和训练工作。 这些过程可以重复进行。因此,在同一个集群上运行深度学习作业可以显著提高数据/计算资源共享的效率。

  让我们仔细看看Submarine项目(它是Apache Hadoop项目的一部分),请看下如何在Hadoop上运行这些深度学习工作。

  最重要的是我们的有一套集成Submarine的生态系统软件和工具,目前包括:

  图表说明了 Submarine 的整体构成,底部显示了 Submarine 计算引擎,它只是 YARN 的一个应用程序。 在计算引擎之上,○▲它集成到其他生态系统,如笔记本电脑(Zeppelin / Jupyter)和 Azkaban。

  通过使用 Submarine 计算引擎,用户只需提交一个简单的 CLI 命令即可运行单/分布式深度学习训练工作,并从YARN UI 中获取完整的运行情况。所有其他复杂性,如运行分布式等,都会由 YARN 负责。我们来看几个例子:

  以下命令启动深度学习训练工作读取 HDFS上 的 cifar10 数据。

  这项工作是使用用户指定的 Docker 镜像,与YARN 上运行的其他作业共享计算资源(如CPU/ GPU /内存)。

  以下命令启动深度学习训练工作读取 HDFS 上的 cifar10 数据。

  Hadoop Submarine 项目的目标是提供深度学习场景中的数据(数据采集,数据处理,数据清理),算法(交互式,可视化编程和调优),资源调度,算法模型发布和作业调度的全流程服务支持。

  zeppelin 是一个基于 notebook 交互式的数据分析系统。你可以使用 SQL,Scala,Python等来制作数据驱动的交互式协作文档。

  在完成机器学习之前,你可以使用 Zeppelin 中的 20 多种解释器(例如 Spark,Hive,Cassandra,Elasticsearch,Kylin,HBase 等)在 Hadoop 中的数据中收集数据,清理数据,特征提取等。模特训练,完成数据预处理过程。

  我们提供 Submarine 解释器,以支持机器学习工程师从 Zeppelin 笔记本中进行算法开发,▲●…△并直接向 YARN 提交训练任务并从 Zeppelin 中获得结果。

  通过点击 Notebook 中的 YARN LOG 超链接,你将会打开 YARN 的管理页面查看执行的任务。

  在 YARN 管理页面中,你可以打开自己的任务链接,查看任务的 docker 容器使用情况以及所有执行日志。

  有了这个强大的工具,数据科学家不需要了解 YARN 的复杂性或如何使用 Submarine 计算引擎。提交 Submarine 训练工作与在笔记本中运行 Python 脚本完全相同。最重要的是,用户无需更改其已有算法程序即可转换为 Submarine 作业运行。

  你可以在 Zeppelin 中使用 Azkaban 的作业文件格式,编写具有执行依赖性的多个笔记本执行任务。□▼◁▼

  由于分布式深度学习框架需要在多个 Docker 容器中运行,并且需要能够协调容器中运行的各种服务,因此需要为分布式机器学习完成模型训练和模型发布服务。这其中将涉及到多个系统工程问题,如 DNS,Docker,GPU,网络,显卡驱动,操作系统内核修改等,正确部署这些运行环境是一件非常困难和耗时的事情。

  我们为你提供了 submarine installer ,用于运行时环境的安装, submarine installer 是一个完全由 Shell 脚本编写,提供了简单易用的菜单化操作方式,你只需要在一台可以联网的服务器上运行,就可以轻松便捷的安装好运行环境。

  网易杭研大数据团队是 Submarine 项目的主要贡献者之一,主要希望通过 Submarine 来解决机器学习开发和运维过程中遇到的以下问题:

  单独部署的 Kubernetes 集群(配备GPU)用于机器学习工作负载

  没有集成的操作平台,全部通过手动编写算法,提交作业和检查运行结果,效率低,容易出错。

  需要同时运维 Hadoop 和 Kubernetes 两套操作环境,增加维护成本和学习成本。

  文章出处:【微信号:BigDataDigest,微信公众号:大数据文摘】欢迎添加关注!文章转载请注明出处。

  David,加州大学物理博士,美国著名电商数据科学家。本课程介绍什么是深度学习, 深度学习与机器学习的关系,几种神经网络

  近两年来,场景图解析任务(Scene Graph Parsing,也称Scene Graph Gen....

  目前对于时尚知识级别的研究工作还比较有限,如何有效的穿衣搭配涉及到场景、主体和衣着三个关键因素。在日....

  世间的万事万物发展的过程都有特定的规律,从嫩芽到参天大树的植物生长到起床上班回家两点一线工作....

  研究人员首先使用VGG作为相对独立的主干网络对图像进行不同层级的信息抽取,▲●并将这五路不同层级的旁支特....

  但基于片元的方法主要假设非污损区域包含了与污损区域语义相似的内容,但如人脸检测等任务中这种假设并不成....

  如图1所示,AU9表示“皱鼻”,AU12表示“嘴角拉伸”。各种动作单元之间可以自由组合,对应不同的表....

  目标检测是计算机视觉领域的重要任务,适用性强、用途广泛、发展迅速,近年来在数据集、基准算法和检测能力....

  虽然合并IT和OT并拥有IIoT拥有许多优势,★△◁◁▽▼但它对网络安全团队产生了深远的影响,因为它引入了一些新....

  智能风控落地的一个抓手是ABC架构,这是传统的人工智能架构,也有引入区块链技术的ABCD架构及引入边....

  众所周知,人工智能从感知智能到认知智能就是要让机器人能够理解,能够思考,能够交流。这是目前人工智能研....

  对微表情的研究,在方法上事实上类似于人脸识别,一般包含检测和识别两个具体问题。 对于人脸识别,一般都....

  作为本次大会的另一大亮点,同期举办的首届中国人工智能产品博览会吸引到了阿里巴巴、百度、科大讯飞、旷视....

  在延续往届大会成功经验的基础上,第五届中国人工智能大会由7位国内外院士领衔,共设置1个主论坛、1个大....

  《实战Google深度学习框架》之RNN学习笔记2 LSTM对PTB数据集的建模...

  DLBoost是什么?直观来说就是DeepLearning Boost(深度学习加速),深度学习是目....

  瑞萨电子株式会社(TSE:6723),与具备深度学习专业知识的自动驾驶视觉处理技术解决方案提供商St....

  所以我相信,虽然在换脸软件这里看似是用户自愿点击“同意”奉上自己的人脸信息,如果你把2017年12月....

  再见Python!Yann LeCun警告:深度学习需要新编程语言...

  随着人脸识别、语音识别和自动驾驶日益成为关注焦点,人工智能(AI)与社会、人类生活融合程度正在快速演....

  目前,VR已针对在虚拟空间中进行社交进行了优化,并通过将人类沉浸在3D环境中来覆盖人类的视觉范围。这....

  莫涛所供职的企业,•●以一家人脸识别技术的AI初创公司,创始团队由知名科学家组成,在2017和2018年....

  近日,2019第五届中国人工智能大会(CCAI)在青岛胶州盛大开幕,大会以“智变融合”为主题,旨在搭....

  机器学习尤其擅长于识别模式和发现异常或异常值。“模式匹配模式”是人工智能项目中不断重复使用的方法之一....

  人工智能研究人员需要在处理深度学习前所未有的计算需求时所能获得的所有优势。GPU处理能力发展迅速,最....

  Amazon Redshift是一个快速可扩展的数据仓库,可让用户分析数据仓库和Amazon S3数....

  很多人看到人工智能,看到的都是悲观的景象,但我看到的是光明的未来。在过去的60多年当中,科技进步最重....

  从布卢姆的教育目标分类来看,翻转作业在课前主要为实现记忆与理解层次的部分目标,为课堂实现更高阶的其余....

  这些研究人员认为,受大脑生物学启发的、那些被称为神经网络、连接主义和并行分布处理的AI实现方法,会最....

  随后,以传统机器阅读的方法作为引入,引出了深度学习的方法。先介绍了机器阅读的主要步骤:文本表示(将文....

  好的,大脑是如何表现的?它使用几个无限对(x,y)样本(训练集)训练自己,并且在整个逐步过程中,f(....

  随着互联网时代的发展,AI 技术给人们的生活带来便捷的同时,大众的职业信息、购买偏好、日常出行、刷脸....

  EmbodyMe宣布获得2.3亿日元融资,开发了一款AR应用程序“Xpression”

  EmbodyMe所研发的应用Xpression与国内之前风靡的《ZAO》类似,◆▼基于AR通过深度学习技....

  二是基于学生的知识经验:物理知识本身就是一个完整的知识体系,它们之间有着本质的逻辑关系,通过对原有知....

  做图片预处理的目的是为了解决对象识别中训练集不足的问题。当对象识别应用于某个专用领域的时候,就会遇到....

  TAP 延续了会议文章 [1] 中的 Encoder 框架,在 Attention 机制上针对在线手....

  说到深度学习与人工智能的关系,▼▼▽●▽●简单来说就是:将海量数据通过深度学习进行处理后形成一个模型,再将模型应....

  目前,该项目在 GitHub 上已获得超过 1.1 万星,并且中文版电子书还发布了纸质版书籍。不过虽....

  大客流管理:用于公共场所、大型活动区域等地大规模人流疏导管理,同时可分析识别拉横幅、打架斗殴、人群聚....

  为了展示奥迪Q2深度学习概念的能力,奥迪展示了一个面积为3米x 3米的区域,●代表了一个停车区域。在没....

  中国科学院新疆理化技术研究所研究人员首次开发和提出了基于序列信息来预测潜在的抗癌多肽的深度学习方法。....

  厄尔尼诺主要指太平洋东部和中部热带海洋的海水温度异常持续变暖的现象。其可能造成极端气候和生态系统破坏....

  在监督学习中,机器在标记数据的帮助下进行训练,即带有正确答案标记的数据。而在无监督机器学习中,模型自....

  这三种方式在运行机制上的差异使得它们分别适用于不同的任务。而其间最为突出的差别存在于人工智能 (AI....

  应用落地现状:目前商业化机器学习产品已经落地的行业及应用包括金融行业反欺诈、信用模型评估,跨行业的产....

  如果你观察下跳棋程序的输出,你会发现这些动作背后隐藏着某种形式的“人工智能”,尤其是当电脑打败你的时....

  阿贡实验室研究人员Shashi Aithal和Prasanna Balaprakash利用ALCF(....

  AI数据标注员被称作“人工智能背后的人工”。“数据是人工智能的血液。当下是大数据基础上的人工智能,是....

  人工智慧、機器學習以及深度學習已變成現今最熱門的話題之一,但以字面上的意思不足以清楚的表達其意義,使得人們常常混淆。以下...

  通过在车辆中实现多种先进的驾驶员辅助系统(ADAS),汽车行业对于完全自动驾驶的追求正在稳步推进。

  放眼当下,借助人工智能,企业赋予每个用户的偏好和行为以大量数据标签,摸透用户甚至超过用户对自己的了解....

  2019第五届中国人工智能大会将于9月21日至22日在胶州方圆体育中心举办

  本届大会还将举办中国人工智能博览会,博览会由企业展区与互动体验区两部分组成。企业展区将展示腾讯、阿里....

  MathWorks推出Release 2019b,MATLAB 和 Simulink功能新增

  MathWorks宣布推出了 Release 2019b,其中包含一系列的 MATLAB 和 Sim....

  近年来,深度学习的繁荣,▼▲尤其是神经网络的发展,颠覆了传统机器学习特征工程的时代,将人工智能的浪潮推到了历史最高点。然而,...

  近年来,随着人工智能的进一步发展创新,新技术持续获得突破性进展,呈现出深度学习、•☆■▲跨界融合、人机协同、群智开放、自主操控等...

  当Spark遇上TensorFlow分布式深度学习框架原理和实践...

友情链接/LINKS

Copyright 2019 秒速快3_首页_登录注册 网站地图ICP备*******号
电话:400-123-4562   13800138002邮 编:45420792@qq.com
地 址:山东省临沂市沂蒙国际财富中心二栋
QQ:45420794
秒速快3科技有限公司专业秒速快3制造和销售等业务,欢迎来电咨询!