《大数据宝典》第四集:3分钟破解大数据岗位误区

发表时间: 2023-10-21 20:09

很多JAVA程序员在工作几年后都想转行大数据,但是却没有搞清楚大数据都包含哪些岗位也不知道该学习哪些技能,就盲目的转行。这样会导致在找工作时花费半年甚至一年都没有转行成功。

甚至绝大多数兄弟在被各种培训班忽悠半年之后以为大数据就是写SQL,就这样稀里糊涂成为了一名SQL Boy,一头扎进去再也出不来。正所谓白了少年头空悲切。

在这里给想转行的小伙伴们普及一些大数据的岗位划分,重点介绍5个岗位,包括离线数据仓库工程师,实时数据仓库工程师,实时开发工程师,离线开发工程师,数据挖掘工程师。

·一、离线数仓和实时数仓。

→首先离线数据仓库工程师和实时仓库工程师都统称为数仓,听名字就知道肯定是和数据打交道的。

→其次再细分为离线场景和实时场景。这两个岗位是面向业务型的,只不过一个偏离线一个偏实时。但都需要掌握一门技术那就是SQL,通过SQL对数据进行分析,然后向业务产生价值。

比如老板今天想看一个在线实时监控广告的点击量转化率指标,那你就需要应聘实时数仓。再比如老师想根据学生的学习成绩,考试成绩进行数据分析,统计学生的行为习惯,那这个时候就需要学生以往的数据来进行计算了。就需要应聘离线数仓。

·二、离线开发和实时开发。离线开发和实时开发都可以理解为数据平台开发,一个面向离线,一个面向实时。在大数据场景中,数据平台的主要作用是为企业提供一个统一的可扩展的基础架构。数据平台可以支持多种数据处理方式,包括离线批处理、实时流处理,交互式查询等。

而数据仓库是作为数据平台中的一个组成部分,所以对于数据平台开发人员来说,不仅需要掌握最基本的JAVA开发语言,大数据组件技术还需要掌握数据仓库的相关理论和技能。

·三、数据挖掘工程师。对于数据挖掘工程师来说,他作为业务最上层的人员,一般会通过数据使用算法对业务进行赋能。当数据仓库人员通过在数据平台上应用批量对数据进行离线实时计算后,会输出各种实时离线报表,这时就需要挖掘人员会基于这些报表训练模型,然后使用各种算法进行推荐和预测,比如推荐商品。

了解上述5种岗位后,那对于java,想转行大数据岗位的小伙伴来说,数仓和平台其实都特别容易入手的。因为工程师掌握了全面的后端开发技术,在转平台开发时,只需要学习相关的SparkFlink引擎组件技术,并且了解数仓的理论知识即可转型成功,而且还不会抛弃之前的Java技能。但如果java小伙伴SQL写的贼溜,也可以直接转型数据仓库,那样会更简单。

青,取之于蓝,而青于蓝,冰,水为之,而寒于水。有人觉得自己脑子不行,没办法学大数据。希望大家不要去做那个聪明但是悲观的人,而是要做那个仿佛反应慢一些但是乐观的人。因为任何一件事情的成功,都是需要长期去坚持和奋斗。

我希望我出现在你的生命里,能够让你多年以后回忆起来是一件庆幸的事情。我希望你在70-80岁的时候,回忆起自己的青春,回忆起那些年跟着土哥学习大数据的日子,回忆起你的峥嵘岁月,能够骄傲的跟着你的孙子说:爷的青春,回来了。

关注我,在你不想学习的时候,来看看我。