收起
关于举办“Hadoop大数据平台开发与案例分析 ”高级工程师
实战培训班的通知
课程介绍
需求理解
Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐,同时也引起了研究界的普遍关注。
对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop 平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。本课程将全面介绍Hadoop平台开发和运维的各项技术,对学员使用该项技术具有很高的应用价值。
培训课程架构与设计思路
(1)培训架构:
本课程分为三个主要部分:
第一部分:重点讲述大数据技术在的应用,使学员对大数据技术的广泛应用有清晰的认识,在这环节当中会重点介绍Hadoop技术在整个大数据技术应用中的重要地位和应用情况。
第二部分:具体对hadoop技术进行模块化分拆,从大数据文件存储系统技术和分布式文件系统平台及其应用谈起,介绍Hadoop技术各主要应用工具和方法,以及在运维维护当中的主流做法,使学员全面了解和掌握Hadoop技术的精华。
第三部分:重点剖析大数据的应用案例,使学员在案例当中对该项技术有更深入的感观印象
(2)设计思路:
本课程采用模块化教学方法,以案例分析为主线,由浅入深、循序渐进、由理论到实践操作进行设计。
(3)与企业的贴合点:
本课程结合企业转型发展及大数据发展战略,围绕企业大数据业务及行业应用市场拓展发展目标,重点讲授Hadoop的应用技术,提升企业IT技术人员的开发和运维能力,有很强的贴合度。
培训时间及地点
2018年10月23日-10月27日 贵阳(23日报道)
2018年10月30日-11月03日 西安 (25日全天报到)
2018年11月20日-11月24日 珠海(20日报道)
2018年12月18日-12月22日 北京(18日报道)
2019年01月15日-01月19日 杭州(15日报道)
培训对象
业务支撑建设维护室、业务维护室、经营分析室人员;网络部、网管中心、网优中心从事大数据相关工作的人员
培训目标
掌握大数据处理平台(Hadoop、Spark、Storm)技术架构、以及平台的安装部署、运维配置、应用开发;掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用;利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用;讲解Hadoop生态系统组件,包括Storm,HDFS,MapReduce,HIVE,HBase,Spark,GraphX,MLib,Shark, ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术
师资介绍
张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
颁发证书
参加相关培训并通过考试的学员,可以获得:
工业和信息化部颁发的-《HADOOP大数据》技能证书。该证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。注:请学员带一寸彩照2张(背面注明姓名)、身份证复印件一张。
八、培训费用及须知
6800元/人(含教材、培训费、考证费以及学习用具等费用) 食宿统一安排,费用自理。
Hadoop大数据平台开发与案例分析课程大纲(3天课程):点击了解详情
大数据建模与分析挖掘应用实战培训班的通知
课程简介
大数据建模与分析挖掘技术已经逐步地应用到新兴互联网企业(如电子商务网站、搜索引擎、社交网站、互联网广告服务提供商等)、银行金融证券企业、电信运营等行业,给这些行业带来了一定的数据价值增值作用。
本次课程面向有一定的数据分析挖掘算法基础的工程师,带大家实践大数据分析挖掘平台的项目训练,系统地讲解数据准备、数据建模、挖掘模型建立、大数据分析与挖掘算法应用在业务模型中,结合主流的Hadoop与Spark大数据分析平台架构,实现项目训练。
结合业界使用最广泛的主流大数据平台技术,重点剖析基于大数据分析算法与BI技术应用,包括分类算法、聚类算法、预测分析算法、推荐分析模型等在业务中的实践应用,并根据讲师给定的数据集,实现两个基本的日志数据分析挖掘系统,以及电商(或内容)推荐系统引擎。
本课程基本的实践环境是Linux集群,JDK1.8, Hadoop 2.7.*,Spark 2.1.*。
学员需要准备的电脑最好是i7三代及以上CPU,8GB及以上内存,硬盘空间预留50GB(可用移动硬盘),基本的大数据分析平台所依赖的软件包和依赖库等,讲师已经提前部署在虚拟机镜像(VMware镜像),学员根据讲师的操作任务进行实践。
本课程采用技术原理与项目实战相结合的方式进行教学,在讲授原理的过程中,穿插实际的系统操作,本课程讲师也精心准备的实际的应用案例供学员动手训练。
培训时间及地点
2018年10月27日-10月31日 贵阳 (27日全天报道)
2018年11月03日-11月07日 西安 (03日全天报到)
2018年11月24日-11月28日 珠海 (24日全天报道)
2018年12月22日-12月26日 北京 (22日全天报道)
2019年01月19日-01月23日 杭州 (19日全天报道)
培训目标
1.本课程让学员充分掌握大数据平台技术架构、大数据分析的基本理论、机器学习的常用算法、国内外主流的大数据分析与BI商业智能分析解决方案、以及大数据分析在搜索引擎、广告服务推荐、电商数据分析、金融客户分析方面的应用案例。
2.本课程强调主流的大数据分析挖掘算法技术的应用和分析平台的实施,让学员掌握主流的基于大数据Hadoop和Spark的大数据分析平台架构和实际应用,并用结合实际的生产系统案例进行教学,掌握基于Hadoop、spark大数据平台的数据挖掘和数据仓库分布式系统平台应用,以及商业和开源的数据分析产品加上Hadoop平台形成大数据分析平台的应用剖析。。
3.让学员掌握常见的机器学习算法,深入讲解业界成熟的大数据分析挖掘与BI平台的实践应用,并以客户分析系统、日志分析和电商推荐系统为案例,串联常用的数据挖掘技术进行应用教学。
培训人群
1.大数据分析应用开发工程师
2.大数据分析项目的规划咨询管理人员
3.大数据分析项目的IT项目高管人员
4.大数据分析与挖掘处理算法应用工程师
5.大数据分析集群运维工程师
6.大数据分析项目的售前和售后技术支持服务人员
培训特色
定制授课+ 实战案例训练+ 互动咨询讨论,共3天
(说明:讲师会提供虚拟机镜像,并把Hadoop,Spark等系统提前部署在虚拟机中,分析挖掘平台构建在Hadoop与Spark之上,学员自带笔记本,运行虚拟机,并利用同样的镜像启动多台虚拟机,构建实验集群,镜像会提前给学员)
师资力量
张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
钟老师,男,博士毕业于中国科学院,获工学博士学位(计算机系统结构方向),曾在国内某高校和某大型通信企业工作过,目前在中国科学院某研究所工作,高级工程师,副研究员,课题组长,团队成员二十余人。大数据、云计算系列课程建设与教学专家,新技术课程开发组长。近八年来带领团队主要从事大数据管理与高性能分析处理(Hadoop、Spark、Storm)、大数据仓库(HIVE)和实时数据仓库(SparkSQL、Shark),大数据建模挖掘与机器学习(Mahout、MLib、Oryx、Pentaho BI、SAS、SPSS、R等)、MPP并行数据仓库(Greenplum etc)、NoSQL与NewSQL分布式数据库(HBase、MongoDB、Cassandra etc)、(移动)电子商务平台、大数据搜索平台(ElasticSearch、Solr、Lucene等)、云计算与虚拟化(OpenStack,VMware,XenServer,CloudStack,KVM,Docker,SaaS服务)、云存储系统、Swift对象存储系统、网络GIS地图服务器、互联网+在线教育云平台方面的项目研发与管理工作。
颁发证书
参加相关培训并通过考试的学员,可以获得:
1.工业和信息化部全国网络与信息技术考试管理中心中心颁发的-大数据挖掘高级工程师职业技能证书(等级高级)。该证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。
注:请学员带二寸彩照2张(背面注明姓名)、身份证复印件一张。
培训费用及须知
培训费7800元/人。(含培训费、资料费、考试费、证书费、讲义费等)。需要住宿学员请提前通知,可统一安排,费用自理。
大数据建模与分析挖掘应用课程大纲(3天课程):点击了解详情
Spark大数据处理与案例分析高级工程师”
实战培训班的通知
各有关单位:
当下是大数据时代,为构建大数据平台,技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架,已经广为人知,且得到了广泛的应用,但MapReduce自身存在很多问题,包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下,不能很好地利用内存资源,编程复杂度较高等。为了克服MapReduce的众多问题,新型计算框架出现了。Spark已经被不少互联网公司采用,大部分数据挖掘算法和迭代式算法在逐步MapReduce平台迁移到Spark平台中,包括阿里巴巴,腾讯,百度,优酷土豆,360,支付宝等互联网公司已经在线上产品中使用spark,且取得了令人满意的效果,另外,部分省份的运营商也正在尝试使用spark解决数据挖掘和分析问题,部分银行,如工商银行,也正在尝试spark平台。因此中国软件产业培训网决定开展“Spark大数据处理与案例分析高级工程师”实战培训班,本次培训由北京天博信通科技有限公司具体承办,望相关单位收到通知后积极参加。相关培训事宜如下:
1
培训时间及地点
2018年10月23日-10月27日 贵阳 (23日报到)
2018年10月30日-11月03日 西安 (30日全天报到)
2018年11月20日-11月24日 珠海 (20日报道)
2018年12月18日-12月22日 北京 (18日报道)
2019年01月15日-01月19日 杭州 (15日报道)
二、课程目标
1、 深入理解Spark计算原理和编程模型,掌握Spark Core和SparkSql、SparkStreaming等上层系统的结合方式
2、深入掌握SparkCore、SparkSql使用调优技巧
3、深入掌握SparkStreaming和SparkMllib使用和调优技巧
4、 深入掌握Spark和其他组件的结合使用
5、 了解Spark与MapReduce分布式计算模型的区别和各自适合的使用场景。
6、 能够使用java、python和scala进行spark应用开发(如果要讲解三种语言开发spark,工作量会非常大,建议只讲解一种(可以根据企业的要求来定,)
7、熟练使用spark、spark streaming、spark SQL、spark mllib
8、深入了解spark在大型互联网的架构和使用场景
三、培训对象
各地企事业单位大数据产业相关人员,运营商 IT信息化和运维工程师相关人员,金融业信息化相关人员,或对大数据spark感兴趣的相关人员。
四、师资介绍
张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
五、颁发证书
参加相关培训并通过考试的学员,可以获得:
1.工业和信息化部全国网络与信息技术项目管理中心颁发的-大数据高级工程师职业技能证书。该证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。
注:请学员带一寸彩照2张(背面注明姓名)、身份证复印件一张。
六、培训特色
本课程基于最新的spark 2讲解,内容涵盖了企业中大数据处理的四大场景:
离线批处理、流式计算、SQL处理、机器学习。Spark是一个广泛应用的分布式内存计算模型,旨在大幅提升的迭代算法和交互低延迟数据挖掘的性能。Spark更适合于迭代运算比较多的ML和DM运算,one stack rule them all!Spark号称一个平台可以适合所有的应用,如SparkSql可以处理结构化数据,SparkStreaming旨在提供实时的计算能力,而SparkMllib则提供了丰富机器学习算法库。
七、培训费用及须知
培训费6800元。(含培训费、资料费、考试费、证书费、讲义光盘费等)。需要住宿学员请提前通知,可统一安排,费用自理。
Spark大数据处理与案例分析高级工程师课程大纲(3天课程):点击了解详情