码农星球大数据培训课程大纲详解(2019)

课程简介

本套课程由码农星球创始人陆敏技,根据2019年互联网企业对大数据开发人才的用人要求,再结合自己20年的开发经验打造的一套实用型大数据系统性培训课程,主要面向零基础学习者。全程共实战10个企业级项目, 毕业主要从事大数据开发工作,也具备从事JAVA开发工作的能力。

适合人群

1. 应届毕业生,特别是计算机专业相关的应届毕业生。课余时间充裕,有大块的时间可以用来学习大数据技术,不仅毕业就能拿到高薪,而且起步早,后续优势更明显。
2. 零基础想学一门互联网技术的在职人士。大数据已经上升到国家战略,前途毋庸置疑,如果想学互联网技术,大数据是不二之选。

学习周期

1. 培训周期:6个月
2. 培训方式:全程面授,周一~周五上课,周六自习,周日休息

授课讲师

陆敏技:码农星球创始人,微软MVP,畅销书作者,20年开发经验,阿里云栖、华为云享技术专家。
谢文兵:前盛大游戏开发主管,十余年开发经验,精通Windows和Linux平台,擅长底层开发,多个大型互联网游戏服务器端开发者、设计者。
党瑞鸽:4年JAVA开发,因对教育的热带,后转入JAVA教学,精通JAVA知识,善于生动明了的将知识点与项目结合起来讲解,对学生细致有耐心负责任。
朱晓光:JAVA助教,3年Java开发经验,对学生耐心负责。

课程特色

内容充实:学习内容涵盖了初中级大数据开发岗位要求的全部技能点,一个不漏。
针对性强:对标一线企业大数据岗位要求,再结合陆敏技老师20年开发经验,打造的课程,毕业可直接胜任大数据开发岗位。

毕业工资

1. 普通本科,月薪8000元起
2. 211、985,月薪9000元起
3. 硕士,月薪10000元起

就业保障

正式学员,将签署《码农星球大数据就业保障协议》,保障最低薪资,毕业未就业,不达到协议最低薪资,全额退还学费。

学习条件

1. 本科及以上学历,年龄20~30
2. 211、985,计算机相关专业优先

大纲概要解读

课程阶段 课时 内容解读 对应岗位和薪资
第一阶段:JavaSE核心技术 29天 本阶段是JAVA基础部分,是学大数据和JAVA的入门阶段,主要学习目标是扎实JAVA编程基础,掌握面向对象的核心的思想。学完并掌握本阶段,你已经步入编程的大门了,今后学任何一门编程语言,你都能快速掌握。 JAVA开发实习生
月薪2000元~3000元
第二阶段:MySQL数据库技术 7天 数据库技术是大数据/JAVA开发工程师必备技术,在本阶段,你将学到主流的数据库MySQL以及相关技术。 JAVA开发实习生
月薪3000元~4000元
第三阶段:JavaWeb开发技术 26天 本阶段主要是学习前端技术,要求你要能独立写出前出交互性的前端页面,一个优秀的JAVA/大数据开发工程师,他的前端能力也是很强的。 JAVA开发实习生
月薪4000元~5000元
第四阶段:流行框架与新技术 12天 学会框架技术,能提高你的开发效率,能快速开发出各种软件。JAVA/大数据开发工程师的大部分的工作,都是在框架下完成的,学完本阶段,你将掌握主流的框架技术。 JAVA开发实习生
月薪5000元~6000元
第五阶段:Linux及应用案例 6天 Linux是三大主流的操作系统之一,主要用于服务器,作为JAVA/大数据开发工程师,你开发的很多项目都是部署在Linux服务器上,所以本阶段你将学习到Linux技术。 JAVA开发工程师
月薪8000元~15000元
第六阶段:大数据开发核心技术 11天 学会了JAVA开发之后,从本阶段起,你将学到大数据开发相关技术,再结合JAVA技术,你已经能从事JAVA大数据开发工作。 大数据开发工程师
月薪10000元~15000元
第七阶段:项目实战 24天 这部分是实战项目汇总,包含了课程上实战的部分项目和学完所有理论知识后的综合实战项目,共10个,都是商业项目,只有做过真正的商业项目开发,才能算是有开发经验。 大数据开发工程师
月薪10000元~18000元
第八阶段:就业指导/工作推荐 6天 只学会理论知识和项目还不够,你还需要掌握面试技能,简历优化技能,才能赢得更好的就业单位和更高的薪资。本阶段将对你进行沟通技能训练,模拟面试训练,简历优化训练,让你成为一名真正合格的大数据开发工程师。 大数据/JAVA开发工程师
月薪8000元~20000元

课程内容解读

第一阶段:JavaSE核心技术
核心内容 详细知识点 核心内容解读解读
Java入门前的准备 计算机基础、Java编程语言概述、Java编程语言发展简史、Java编程语言主要特征、Java技术体系平台、Java核心机制与JVM运行原理、 搭建 Java开发环境与JDK 的安装与配置、Java程序分类、第一个 Java 应用程序HelloWorld、Java 程序文件、编译和执行、Java代码的风格与注释
课堂项目:第一个 Java 应用程序HelloWorld
在真正开始学习Java编程之前,你需要掌握一些计算机基础,学会自己安装开发环境和配置,了解Java技术体系和运行原理,熟悉Java程序的整个执行流程,并开发出第一个Java应用程序HelloWorld。
Java程序基本语法 Java标识符与关键字、变量、进制与位运算、if、switch、for、while、跳转语句、方法的声明与调用、参数的值传递、方法的重载、数组 课堂项目:猜拳游戏与万年历 语法是编写程序的基本规则,是编程的基础,必须完全掌握,并能利用Java语法,独立写出小案例。
面向对象编程思想 类、对象、属性、方法、构造方法、this关键字、static关键字、内存管理、垃圾回收、单例模式、封装、继承、多态、final关键字、super关键字、instanceof 运算符、抽象类、内部类、接口、包 课程项目:金融车超市利息计算器和阶段性测试 语法是编写程序的基本规则,是编程的基础,必须完全掌握,并能利用Java语法,独立写出小案例。
内部类与Java API 字符串类概述、String 类的使用与内存原理、String 类的算法分析、StringBuffer 与 StringBuilder、Object类详解、基本数据类型包装类、装箱与拆箱、System类、Date类 、SimpleDateFormat类、、Calendar类、Math类、BigInteger类、BigDecimal类 Java内部类和API为你提供了程序开发所需的基本函数,你要能熟练使用它们,这样可以大大简化开发难度。
集合与泛型 集合框架概述、Collection 系列集合层次结构、Map集合的层次结构、Iterator 与 ListIterator、List 系列集合与Set系列集合、Map 系列集合与数据结构分析、HashMap与Hashtable、TreeMap、Properties、Collections 工具类、Arrays工具类、集合中使用泛型、自定义泛型类、泛型接口、泛型方法、泛型中使用通配符 Java使用集合来组织和管理对象,泛型允许在定义类、接口和方法时使类型成为参数,主要用于集合中。必须熟练掌握。
Java IO流 流的概念、IO流结构体系、IO流原理分析、File类详解IO流的分类、字节IO流操作、字节IO流的装饰模式与缓冲流、文件的复制与性能对比、对象流实现对象的序列化与反序列化、控制台IO的标准输入流与标准输出流、字符IO流操作、桥接器与流的转换、RandomAccessFile类
课程项目:企业HR管理系统
Java的IO是实现输入和输出的基础,可以方便的实现数据的输入和输出操作。是Java的基础内容,必须熟练掌握。
Java多线程 线程与进程概述、继承Thread 类与实现 Runnable 接口创建线程、线程的启动、线程的生命周期、用户线程与守护线程、线程的调度、线程的优先级、线程通信、多线程的安全问题与解决办法、线程的同步、线程同步案例——票务业务实现、互斥锁、线程的死锁问题、生产者与消费者案例、TheadLocal与线程间数据共享、线程池 多线程是Java语言的重要特征之一,通过使用多线程,你可以分别用不同的线程完成特定的行为,而不需要采用全局的事件循环机制,这样就很容易实现网络上的实时交互行为,还能达到充分利用 CPU 的目的。必须熟练掌握。
网络编程 网络编程基础知识、网络编程的主要问题、如何实现网络中主机的相互通讯、网络通讯要素、网络通信协议、TCP/IP参考模型(或TCP/IP协议)、数据的封装与拆封、InetAddress 类解析、TCP 协议与UDP协议、Socket 的TCP编程、了解UDP协议的网络编程、URL与URI详解、URL编程针对HTTP协议的URLConnection、URLDecoder与URLEncoder类
课程项目:简易版的网络聊天室
计算机网络是通过传输介质、通信设施和网络通信协议,把分散在不同地点的计算机设备互连起来,实现资源共享和数据传输的系统。网络编程就是编写程序使联网的两个(或多个)设备(例如计算机)之间进行数据传输。Java语言对网络编程提供了良好的支持,通过其提供的接口你可以很方便地进行网络编程。必须熟练掌握。
Java 反射与代理 Java 反射机制的研究与应用、反射的原理分析、JVM与类、类的加载、初始化、类初始化的时机、类加载器 ClassLoader简介、类加载机制、创建并使用自定义的类加载器、Class类详解、获取 Class 实例的方式、从 Class 中获取信息、Proxy 和 InvocationHandler 创建动态代理、动态代理和AOP、泛型和Class类 反射机制是Java语言提供的一种基础功能,通过反射你可以直接操作类或者对象。代理就是给某个对象提供一个代理对象,并由代理对象控制对于原对象的访问,即客户不直接操控原对象,而是通过代理对象间接地操控原对象。反射和代理都是Java的基础知识,必须完全掌握它。
Lambda 表达式 函数式编程 Lambda表达式原理与实现、Lambda最佳实践、函数式编程 Java8引入了函数式编程,它对Java是一个极大的扩展,帮助你减少业务逻辑和代码的分歧。Lambda表达式,也可称为闭包,应用于函数式编程,它是推动 Java 8 发布的最重要新特性。掌握函数式编程,你的代码会更简洁紧凑。
总结 知识点归纳串讲、重点难点面试题串讲 JavaSE综合项目实训/JavaSE阶段结业考试 第一阶段学完,对Java基础的重新梳理,归纳总结,结合项目综合实训和阶段性考试,查缺补漏,做到学完并能灵活运用。
第二阶段:数据库技术
核心内容 详细知识点 核心内容解读解读
MySQL MySQL的安装和使用、图解MySQL程序结构、MySQL服务器的配置、MySQL 客户端使用、用户权限管理、MySQL数据库的使用 MySQL数据库是Java开发者必学技术,学会了MySQL你才能很好的管理你的数据,比如图片、文本、视频、声音等等数据。所以你必须掌握它。
SQL SQL概述与应用、创建和管理表、约束、数据查询与分页、数据添加、数据修改、数据删除、事务与事务管理 对数据库进行各种操作,那么SQL就是必学的内容。SQL是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。
MySQL存储过程 函数与触发器 存储过程、系统函数与自定义函数、触发器 掌握数据的存储过程,系统提供的函数,你能更好的管理你的数据。
JDBC JDBC概述、获取数据库连接、数据库连接池C3P0与DBCP、使用JDBC完成数据库CRUD操作、批量处理与元数据 JDBC(Java数据库连接)是一种用于执行SQL语句的Java API,可做三件事:与数据库建立连接、发送 操作数据库的语句并处理结果。是重要的Java技术,你需要掌握它。
DBUtils 使用QueryRunner、可插拔式结果集处理、批量处理、大数据结果集处理、自定义结果集处理、利用DBUtils编写通用 DAO DbUtils是一个对JDBC进行简单封装的开源工具类库,使用它能够简化JDBC应用程序的开发,同时也不会影响程序的性能。以后你会常用到它。
总结 JDBC综合案例项目实战/阶段性考试 第二阶段学完,对数据库技术点重新梳理,归纳总结,通过一个综合案例和阶段性考试来考察你对技术的掌握情况,查缺补漏,做到能灵活运用。
第三阶段:JavaWeb开发
核心内容 详细知识点 核心内容解读解读
HTML/CSS B/S架构、HTML标记详解、HTML DOM、CSS选择器、常用样式、盒子模型与布局、HTML5新特性、CSS3新特性
课程项目:猿装备商城
HTML/CSS是写静态网页的基本技术,学会了它,你就能写出所有静态网页。
JavaScript JavaScript基本语法、JavaScript流程控制、数组、函数、JavaScript内置对象的使用与面向对象、JavaScript事件机制(绑定/触发)、JavaScript事件冒泡、JavaScript DOM模型与BOM模型、表单的JavaScript验证 JavaScript是一种运行在浏览器中的解释型的编程语言,学会它,你就能写出炫酷的动态网页和用户交互性网页。
Web服务器 TCP/IP网络协议简介、HTTP协议、Tomcat服务器搭建、Tomcat目录结构解析、Tomcat端口配置、Tomcat启动与停止、Tomcat与Eclipse整合、Web工程创建与部署 Web服务器的相关知识,是学JavaWeb的基础,你得很好的掌握它。
Servlet详解 Servlet概念与作用、Servlet创建、配置与访问、Servlet生命周期、HttpServletRequest与HttpServletResponse、中文乱码解决方案、ServletConfig与ServletContext、重定向与转发、项目路径问题 Java Servlet 是运行在 Web 服务器或应用服务器上的程序,它是作为来自 Web 浏览器或其他 HTTP 客户端的请求和 HTTP 服务器上的数据库或应用程序之间的中间层。
Cookie与Session Cookie机制、Cookie创建与使用、Session原理、Session失效、URL重写
课程项目:Token令牌应用
Cookie和Session都是缓存技术,Cookie是存储在本地浏览器,而session存储在服务器。
JSP基本语法 JSP语法、JSP原理、JSP脚本片段与表达式、JSP声明与指令、JSP九大内置对象、域对象使用、JSP指令与动作标签 JSP全名为Java Server Pages,中文名叫java服务器页面,其根本是一个简化的Servlet设计。Java Servlet是JSP的技术基础,而且大型的Web应用程序的开发需要Java Servlet和JSP配合才能完成。JSP具备了Java技术的简单易用,完全的面向对象,具有平台无关性且安全可靠,主要面向因特网的所有特点。
EL EL表达式简介、EL使用、EL取值原理、EL的11大隐含对象、EL2.2与3.0规范、EL逻辑运算、函数库深入 ET它提供了在 JSP 中简化表达式的方法,让Jsp的代码更加简化。
JSTL JSTL简介、JSTL-核心标签库、JSTL-函数标签库、JSTL-fmt标签库、自定义标签库使用、自定义标签库原理、JSP两种开发模式 JSP标准标签库(JSTL)是一个JSP标签集合,它封装了JSP应用的通用核心功能,它简化了JSP和WEB应用程序的开发。
Filter与Listener Filter原理、Filter声明周期、Filter链、Filter登录验证、Filter事务控制、Listener原理、八大监听器使用、Listener监听在线用户 Filter是Javaweb中的过滤器,可以拦截所有访问web资源的请求或响应操作。Listener是JavaWeb监听器,用于监听web常见对象HttpServletRequest,HttpSession,ServletContext。
Servlet3.0与文件上传下载 Servlet3.0新特性、文件上传原理、commons-io与commons-fileupload、文件上传参数控制、文件上传路径浏览器兼容性解决、文件下载原理、文件下载响应头、文件下载中文乱码与浏览器兼容性 Servlet搭配JSP技术,就可以实现Java中的上传下载。
AJAX与JSON AJAX技术概述、Ajax原理与XMLHttpRequest使用、Get请求与Post请求、JSON语法、Java JSON转换、JavaScript JSON转换 AJAX 是与服务器交换数据并更新部分网页的技术,Json是一种轻量级的数据交换格式。
JQuery jQuery快速入门、jQuery语法详解、jQuery对象/JavaScript对象转换、jQuery选择器、jQuery事件与事件冒泡、事件合成jQuery与CSS、jQuery动画特效、jQuery操作数组、jQuery 基本AJAX方法、底层$.ajax使用 JQuery是前端框架,掌握它,开发前端会变得非常容易。
Bootstrap bootstrap快速使用、栅格系统、表单、表格、按钮、图片、下拉菜单、按钮组使用、导航条、分页、进度条 Bootstrap也是一个流行的前端框架,可以开发出响应式布局的网页。
总结 中国商用车金融超市/项目验收阶段测试 第三阶段主要是JavaWeb相关知识,也是通往JAVA开发工程师的必学知识,你将通过一个实战项目和阶段测试来巩固你所学到的技术。
第四阶段:流行框架与新技术
核心内容 详细知识点 核心内容解读解读
Spring框架 Spring框架入门、Spring框架概述、SpringIOC与DI机制、Spring配置式组件管理、Spring注解式自动装配 Spring 框架是 Java 应用最广的框架,它解决了企业应用开发的复杂性,使得开发Java大型应用软件变得简单,每个Java学习者都应该掌握。
SpringAOP SpringAOP与动态代理、SpringJDBC使用、Spring声明式事务、Spring单元测试 AOP为Aspect Oriented Programming的缩写,意为:面向切面编程,通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。AOP是Spring框架中的一个重要内容。利用AOP可以对业务逻辑的各个部分进行隔离,从而使得业务逻辑各部分之间的耦合度降低,提高程序的可重用性,同时提高了开发的效率。
SpringMVC SpringMVC配置与运行流程、SpringMVC数据绑定与数据转换、模型处理与@ModelAttribute、表单标签与静态资源处理、基于RestFul风格的CRUD原理与实现、拦截器与异常、Ajax与文件上传下载、数据格式化与JSR303数据校验、整合与父子容器 SpringMVC是一种基于Java,实现了Web MVC设计模式,请求驱动类型的轻量级Web框架,是目前主流的Web MVC框架之一。
MyBatis MyBatis入门、MyBatis配置与Mybatis的运行原理、MyBatis全局配置文件、MyBatis映射文件、Mybatis数据CRUD、MyBatis进阶、关联查询、动态sql、分页插件与存储过程调用、MyBatis缓存机制与整合ehcache、MyBatis逆向工程、MyBatis、Spring、SpringMVC整合MyBatis进阶、关联查询、动态sql、分页插件与存储过程调用、MyBatis缓存机制与整合ehcache、MyBatis逆向工程、MyBatis、Spring、SpringMVC整合 MyBatis 是一款优秀的持久层框架,它支持定制化 SQL、存储过程以及高级映射。MyBatis是让你写的Java程序对数据库进行增删改查的一个工具,目前各大互联网公司Java项目多是使用mybatis。也是目前主流的Java框架之一。
Maven Maven环境搭建、Maven构建与自动化构建、本地仓库与中央仓库、maven创建web工程、pom.xml、依赖管理、坐标、依赖、生命周期等、eclipse下的maven使用、继承与聚合、maven构建SSH/SSM应用、自动部署与持续集成与持续部署 Chapter08:SVN Maven是一个项目管理和综合工具。Maven提供了开发人员构建一个完整的生命周期框架。开发团队可以自动完成项目的基础工具建设,Maven使用标准的目录结构和默认构建生命周期。
SVN SVN简介、SVN服务器搭建、SVN创建版本库、Eclipse整合svn插件、使用SVN更新提交、SVN仓库分析、SVN协同修改与冲突解决、SVN权限管理、TortoiseSVN SVN是subversion的缩写,是一个开放源代码的版本控制系统,通过采用分支管理系统的高效管理,简而言之就是用于多个人共同开发同一个项目,实现共享资源,实现最终集中式的管理。它是最流行的一个开放源代码的版本控制系统。
SpringData SpringData快速入门、SpringData_Repository接口、Repository查询规范、@Query与@Modifying、CrudRepository、PagingAndSortingRepository、JpaRepository、JpaSpecificationExecutor、自定义Repository Spring Data是一个用于简化数据库访问,并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷。
WebService WebService简介、WebService主流框架、cxf的使用、SOAP协议、WSDL讲解、JAX-WS、WebService与Spring整合 Web Service技术, 能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件, 就可相互交换数据或集成。
Springboot 配置和maven、核心注解、核心配置、消息转换器、拦截器、MyBatis整合、事务支持 Spring Boot是一个全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。现在越来越多的互联网企业在使用它。
SpringCloud Eureka注册中心、Ribbon负载均衡、Hystrix熔断机制、Feign声明式调用、网管服务、分布式配置、Stream消息驱动、RabbitMQ第三方整合 Spring Cloud是在Spring Boot基础之上构建的,用于快速构建分布式系统的通用模式的工具集。已经在国内众多大中小型的公司有实际应用案例。
总结 阶段性测试 第四阶段,主要学习的是SSM三大主流框架技术,学完你将通过阶段性测试来检测你的学习成果,学完Linux后你将做一个综合项目
第五阶段:Linux及应用
核心内容 详细知识点 核心内容解读解读
Linux Linux系统-基础、Linux在VMware下的安装、Linux网络基础、Linux基本命令详解、Linux安装其它软件、Linux下Java环境的搭建、Linux下Tomcat安装和配置、Linux下 Oracle/MySQL 安装与配置 Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux的基本思想有两点:第一,一切都是文件;第二,每个软件都有确定的用途。
IDEA 开发环境安装、IDEA+MAVEN+SSM、IDEA+SpringBoot、Linux下Nginx的安装与配置 IDEA 全称 IntelliJ IDEA,是java编程语言开发的集成环境。IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(git、svn等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能可以说是超常的。
Redis NoSQL与Redis入门、Redis/memcache/MongDB对比、Redis安装与启动、Redis五大数据类型和基本操作命令、Jedis、Redis事务控制、Redis总体配置Redis.conf、Redis持久化(RDB和AOF)、Redis发布和订阅、Redis集群与Redis(Master/Slave)主从复制、Redis与Spring整合、Redis与数据缓存 Redis是一个开源(BSD许可),内存存储的数据结构服务器,一个key-value存储系统,可用作数据库,高速缓存和消息队列代理。
Git与Git Hub Git与Git Hub、Git安装配置、Git本地库搭建、Git常用操作命令、Github注册与配置、Github与Git协同办公、TortoiseGit安装配置、Egit操作push/pull、Git工作流、集中式与GitFlow与Forking Git,是一个开源的分布式版本控制系统,可以有效、高速地处理从很小到非常大的项目版本管理。GitHub是一个面向开源及私有软件项目的托管平台,因为只支持git 作为唯一的版本库格式进行托管,故名GitHub。
总结 华夏银行贷款审批系统/阶段性测试 第五阶段主要是Linux技术及其应用,你将结合前面所学的JavaWeb 和框架技术做一个综合项目,来检验你的学习成果。
第六阶段:大数据开发
核心内容 详细知识点 核心内容解读解读
服务中间件Dubbo与资源管理Zookeeper 分布式服务框架简介、Dubbo主要核心部件、Dubbo-RPC基本功能、Dubbo-高级功能、Linux 上 Dubbo 的部署、Zookeeper简介及组件、Zookeeper的工作流程,leader select过程、搭建Zookeeper为分布搭建、集群搭建、Zookeeper Cli、Zookeeper实现netty分布式架构的高可用 Dubbo是阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和Spring框架无缝集成。它提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
缓存功能的实现 Redis服务器搭建、向业务逻辑中添加缓存、使用redis做缓存、缓存同步、Solr服务器安装、Solrj使用测试、把数据库中的数据导入索引库 Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。
消息队列实现商品信息同步 什么是MQ、MQ的应用场景、ActiveMQ的使用方法、使用消息队列实现商品同步 消息队列(MQ)是一种跨进程的通信机制,用于上下游传递消息。MQ是互联网分层架构中的解耦利器。
python python开发环境、python语法及实践、爬虫及存储、实战 Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。
大数据处理思想 数据挖掘、MapReduce思想、大数据业务架构 数据挖掘、MapReduce思想、大数据业务架构是处理大数据重要的思想,是必须掌握的内容。
Hadoop Hadoop的主要模块、为Hadoop安装SSH、运行Hadoop、基于web的集群管理界面、Kafka架构、Flume分布式 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。
HDFS HDFS架构、HDFS API、HDFS虚拟机、HDFS分布式、HDFS集群、实战 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是Apache Hadoop Core项目的一部分。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
YARN YARN架构、资源管理详解、Container、集群的安全性 Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
MapReduce应用开发 MapReduce编程模型、Shuffle执行流程、MapReduce程序剖析、WordCount开发、MapReduce程序实践 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。
HIVE HIVE架构、HIVE安装部署、HIVE运行配置、HIVE表与数据类型、HIVE UDF编程 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
Storm Storm基本概念、工作原理、架构详解 Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。
Spark Scala、Spark Job、Spark RDD、spark job部署与资源分配、Sparkshuffle、Spark SQL、SparkStreaming、Spark ML、azkaban Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。现在形成一个高速发展应用广泛的生态系统。
总结 中企动力大数据实战项目/阶段性测试 第六阶段主要是大数据技术,学完以上知识点,你将做一个综合大数据项目来巩固你所学的技术。
第七阶段:项目实战
项目序号 项目名称 项目解读
实战项目一 猿装备 通过该项目巩固JavaWeb技术
实战项目二 素源P2P投资 通过该项目巩固JavaWeb技术
实战项目三 福田金融超市 通过该项目巩固JavaWeb技术
实战项目四 Linux高可用负载均衡集群 通过该项目巩固Linux高可用负载均衡集群技术
实战项目五 Linux全栈开发系统搭建 通过该项目巩固Linux全栈系统搭建
实战项目六 数据库主从搭建与备份恢复 通过该项目巩固数据库技术
实战项目七 中科水务云平台 通过该项目巩固JavaSE/JavaWeb/框架/数据库/等技术/Linux技术
实战项目八 SpringGateway企业级监控系统搭建 通过该项目巩固JavaSE/JavaWeb/框架/数据库/等技术/Linux技术
实战项目九 Docker容器ELK收集Nginx日志 通过该项目巩固微服务实战项目
实战项目十 中企动力大数据实战项目 通过该项目巩固大数据技术
实战项目库 除了上面的项目外,还有更多的商业项目可以提供给你积累实战经验 点击查看更多大数据实战项目
第八阶段:就业指导/工作推荐
就业流程 具体事项 流程解读
就业指导 沟通礼仪、职业规划、简历指导、项目指导、面试技巧、模拟面试 课程全部学完,并通过了毕业考核,你就已经达到了用人单位的技术要求,接下来就是面试相关的训练。在本阶段,你将学会职场基本沟通礼仪,学会写一份月薪过万的简历,掌握面试过程中的各种技巧。
工作推荐 毕业考核通过,可直接推到合作企业面试或留在码农星球研发中心工作 通过上一步的训练,你已经具备了一名合格大数据工程师的各项要素,包括技术水平和面试技能。我们将给你推荐到合适的企业工作,或者你也可以选择留在码农星球做开发。
售后服务 持续的技术支持和跳槽工作推荐 你工作以后,我们将持续为你提供技术支持和跳槽时的工作推荐,你不用担心在工作中,遇到技术困难不知所措,也不用担心跳槽找不到合适的工作单位。