java大数据开发是做什么的

众所周知，java编程语言普遍用于Web开发、Android开发、游戏开发、桌面应用相关领域开发，在大数据时代的今天，java又在大数据开发中广泛应用，因此，很多小部分称为java大数据工程师，那么java大数据工程师平时的工作都做些什么呢？

java大数据开发是做什么的

大数据开发的编程语言，以Java为主，因为主流的开源框架，基本上都是Java语言，或者提供Java API，掌握Java是进行大数据开发的基础，Java大数据的说法也由此而来。

另外，Java大数据开发，分为平台开发和应用开发两个方向。

1、大数据平台开发，就是针对于大数据系统平台本身进行开发，比如说国内的BAT为代表的头部企业，以及一些独角兽企业，都是有自身的大数据平台的。

2、大数据应用开发，则是基于开源的Hadoop、Spark等基础架构，进行具体的应用开发，满足企业级的数据平台的各种实际数据需求。

java大数据开发可以胜任什么岗位？

1、大数据分析师：负责数据挖掘工作，运用Hive、Hbase等技术，专门对从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。

2、大数据工程师：大数据基础设施的设计者、建设者和管理者，他们开发出可根据企业需要进行分析和提供数据的架构。同时，他们的架构还可确保系统能够平稳运行。

3、大数据架构师：擅长处理散乱数据、各类不相干的数据，精通统计学的方法，能够通过监控系统获得原始数据，在统计学的角度上解释数据。

4、Android工程师：Android是一种基于Linux的自由及开放源代码的操作系统，其源代码是java。所以市场上见到的手机系统例如MIUI，阿里云，乐蛙等，都是修改源代码再发行的。

java大数据工程师主要学什么？

1、分布式计算框架

掌握hadoop和spark分布式计算框架，了解文件系统、消息队列和Nosql数据库，学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等；

2、算法和工具

学习了解各种数据挖掘算法，如分类、聚类、关联规则、回归、决策树、神经网络等，熟练掌握一门数据挖掘编程工具：Python或者Scala。目前主流平台和框架已经提供了算法库，如hadoop上的Mahout和spark上的Mllib，你也可以从学习这些接口和脚本语言开始学习这些算法。

3、数学

补充数学知识：高数、概率论和线代

4、项目实践

1)开源项目：tensorflow：Google的开源库，已经有40000多个star，非常惊人，支持移动设备；

2)参加数据竞赛

3)通过企业实习获取项目经验

如果你仅仅是做大数据开发和运维，则可以跳过第2和第3，如果你是侧重于应用已有算法进行数据挖掘，那么第三步也可以先跳过。