你好,游客 登录
背景:
阅读新闻

现在学习大数据晚吗?

[日期:2017-10-26] 来源:ppvke.com  作者:ppvke.com [字体: ]

作为一门对数学和计算机都有较高要求的一门交叉学科,从事大数据是有一定门槛的,但相对于10年以上的职业生涯(国外顶尖数据科学家50-60岁仍然十分活跃),预备半年的时间来学习这个最炙手可热的技能还是很划算的。

PPV课网站上经常有人问这个问题,在回答这个问题之前,先看一段对话:

 

Q:你好老师,我想问下现在从事大数据相关的行业是不是有点晚了,
现在大数据这块就业就是开发吗?市场需求大吗?
A:现在学不晚,大数据人才供不应求

 

Q:但是从智联搜大数据也就是就是几千个岗位
A:这个职位大部分行业都需要,市场、营销、运营相关的需求很多。
大数据不是职位,你要搜数据分析师、大数据工程师、算法工程师、数据建模师
Q:哦这样啊 


Q:那请问 我想搞BI,现在和大数据结合的一般是怎样呢

要会哪些技术呢?是在北京还是上海呢?
A:BI工程师和大数据工程师的要求差不多,需要熟悉数据库,同时掌握开发工具。相对于传统的BI工程师,大数据工程师还需要掌握数据仓库和NoSql,你可以看下这篇文章
http://www.ppvke.com/Blog/archives/23987

北京提供的大数据相关职位基本占到了全国的40%以上,是最多的,上海也超过了20%

(数据来源:LinkedIn:2016年中国互联网最热职位人才库报告)

 

Q:我底子很差 做数据分析师好像没戏哈哈
高数学的都忘记了,自己做算法开发没戏
A:数学往后学比较重要,入门用到了再去补吧.很多算法不需要知道原理,刚开始知道怎么用就可以了.

 

Q:嗯 但是这样 面试人家一问 就露馅了 用入门的人的公司多吗?
A:入门理解业务场景和掌握分析方法很重要,工具是其次,数学再次之。
但如果数学功底不行,会限制你到达的高度。

 

现在,让我们再回到到第一个问题:现在学大数据晚吗?这个问题我想从三个方面回答。第一个问题:

大数据是否过热了?


很多时候我们急于回答问题,却忽略了问题本身。Big Data这个词翻译过来就是大数据,在脱离了语境的情况下,这个词可能代表“大数据技术”、“大数据集”、“大数据应用”等各种含义,所以要想回答这个问题,并不是件容易的事情。

就 这个问题而言,我们可以把它分为“大数据技术是否过热”和“大数据应用(或者大数据产业)”是否过热?我们都知道技术和应用相辅相成,技术是基础,应用是 商业价值变现。他们有着各自的发展轨迹,彼此并不完全重合。让我们先看一下大数据技术和大数据应用的发展阶段和历史趋势:

 

  • 概念阶段

2011年,麦肯锡全球研究院发布的《大数据:下一个创新、竞争和生产力的前沿》研究报告最早提出词汇“Big Data”。

2012年,维克托·舍恩伯格《大数据时代:生活、工作与思维的大变革》的宣传推广,大数据概念开始风靡全球。

  • 技术突破阶段

2003 至2006年,处于围绕非结构化数据自由探索阶段。非结构化数据的爆发带动大数据技术的快速突破,以2004年Facebook创立为标志,社交网络的流 行直接导致大量非结构化数据的涌现,而传统处理方法难以应对。此时的热点关键词较为分散,包括了“Systems”(系统)、“Networks”(网 络)、“Evolution”(演化)等,高被引文献也很少,说明学术界、企业界正从多角度对数据处理系统、数据库架构进行重新思考,且尚未形成共识。

2006 至2009年,大数据技术形成并行运算与分布式系统,为大数据发展的成熟期。Jeff Dean在BigTable基础上开发了Spanner数据库 (2009)。此阶段,大数据研究的热点关键词再次趋于集中,聚焦“Performance”(性能)、“CloudComputing”(云计算)、 “MapReduce”(大规模数据集并行运算算法)、“Hadoop”(开源分布式系统基础架构)等。

  • 应用阶段

2010 年以来,随着智能手机的应用日益广泛,数据的碎片化、分布式、流媒体特征更加明显,移动数据急剧增长。 近年来大数据不断地向社会各行各业渗透,使得大数 据的技术领域和行业边界愈来愈模糊和变动不居,应用创新已超越技术本身更受到青睐。大数据技术可以为每一个领域带来变革性影响,并且正在成为各行各业颠覆 性创新的原动力和助推器。

2012 年,美国政府在白宫网站发布《大数据研究和发展倡议》,这一倡议标志着大数据已经成为重要的时代特征。之后美国政府宣布2亿美元投资大数据领域,大数据技 术从商业行为上升到国家科技战略。联合国在纽约发布大数据政务白皮书,总结了各国政府如何利用大数据技术更好地服务和保护人民。

2013年,英国政府宣布注资6亿英镑发展8类高新技术,其中,1.89亿英镑用来发展大数据技术。欧盟实施开放数据战略,旨在开放欧盟公共管理部门的所有信息。

2014 年5月,美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据:抓住机遇、守护价值》。全球大数据产业的日趋活跃,技术演进和应用创新的加速 发展,使各国政府逐渐认识到大数据在推动经济发展、改善公共服务,增进人民福祉,乃至保障国家安全方面的重大意义。

2014年,数据开放运动已覆盖全球44个国家。国务院通过《企业信息公示暂行条例(草案)》,要求在企业部门间建立互联共享信息平台,运用大数据技术等手段提升监管水平。

2015年,五中全会的“十三五”规划中将大数据作为国家级战略。

 

Gartner是一家领先的市场和技术研究公司,在Gartner 2015新兴技术发展周期报告。自动驾驶汽车与物联网处在顶峰部位,而大数据技术并未列入其中。

image001

在2014年的报告中,我们却可以清晰的看到大数据刚刚过了新兴技术的顶峰。

image003

许 多人以此为依据,说大数据已近过时了,事实是,Gartner这张图反应的是新兴技术的发展趋势,也就是说经过10年的发展,大数据的相关技术已近十分成 熟,已近退出了新兴技术的范畴。其实,早在2013年5月,麦肯锡全球研究所(McKinsey Global Institute)发布了一份名为《颠 覆性技术:技术进步改变生活、商业和全球经济》的研究报告。报告确认的未来12种新兴技术,有望在2025年带来14万亿至33万亿美元的经济效益。令人 惊讶的是,最为热门的大数据技术也未被列入其中。麦肯锡专门解释称,大数据技术已成为这些可能改变世界格局的12项技术中许多技术的基石,包括移动互联网、知识工作自动化、物联网、云计算、先进机器人、自动汽车、基因组学等都少不了大数据应用。

所以,大数据应用不存在所谓“过热”和“虚火”的问题,事实恰恰相反,伴随着大数据技术的成熟,大数据应用的普及和发展才刚刚开始,我们预计未来10年,甚至更长一段时间都是大数据黄金发展阶段,相关的行业将引来巨大的发展机遇。

 

第二个问题是:

大数据相关职位需求多吗?


不管是国内还是国外,大数据相关的人才都是供不应求的局面。根据麦肯锡报告,仅仅在美国市场,2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。

image005

根据根据Linkedin《2016年中国互联网最热职位人才库报告》,数据分析人才被列为Top6的热门职位。

image006

 

可以看出,这些职位都是当下任何互联网公司要建立发展必不可少的岗位,尤其是数据分析人才,伴随着大数据在互联网行业更多的应用而愈加重要。

在这份报告中,数据分析人才的供给指数最低,仅为0.05,相当于20个职位同时在竞争一个求职者。这在一定程度上反映了行业现状,很多互联网公司 都逐渐意识到了数据的重要性,但却缺乏相关的专业人才来分析和管理数据。

image008

数据来源:LinkedIn:2016年中国互联网最热职位人才库报告

 

第三个问题

入行的学习时间?


这个问题其实是没有标准答案的,取决于你的专业基础和要从事的职位。以数据分析师为例,先看一下国内知名互联网数据分析师的招聘要求:

1. 计算机、统计学、数学等相关专业本科及以上学历; 
2. 具有深厚的统计学、数据挖掘知识,熟悉数据仓库和数据挖掘的相关技术,能够熟练地使用SQL;
3. 三年以上具有海量数据挖掘、分析相关项目实施的工作经验,参与过较完整的数据采集、整理、分析和建模工作;
4. 对商业和业务逻辑敏感,熟悉传统行业数据挖掘背景、了解市场特点及用户需求,有互联网相关行业背景,有网站用户行为研究和文本挖掘经验尤佳;
5. 具备良好的逻辑分析能力、组织沟通能力和团队精神; 
6. 富有创新精神,充满激情,乐于接受挑战

前三个属于硬件要求,一般而言,有专业基础(计算机、统计学、数学等相关专业)入行需要3个月以上的学习,而要成为一个熟手(企业用工需求最多)则需要2-3年以上的项目经验和行业经验。对于非专业背景的同学,入行的时间可能需要的更长,建议给自己预留6-12月的时间。

Anyway,作为一门对数学和计算机都有较高要求的一门交叉学科,从事大数据是有一定门槛的,但相对于10年以上的职业生涯(国外顶尖数据科学家50-60岁仍然十分活跃),预备半年的时间来学习这个最炙手可热的技能还是很划算的。

在 职业规划这个问题上有位哲学家说过,最重要的人际关系就是自己和自己的关系,知道自己要什么,不要什么。在转行的问题上也是一样。 有人会说,转行是让自己之前几年的经验积累全都作废了,其实社会经验和人生理念是不管改到哪一行都能发挥效用的。而之前的人际关系也是属于“山不转水转” 的问题,你很难说哪一类人际关系是有用的,哪一类是没有用——基于这个道理,应该统统视作为有用的。 不怕失去,才可能会有更多收获。只要有明确的发展规划,当然应该义无反顾地去投入新的开始。人生的机会并不多,即使你已经到了30岁,对大多数人来说,只 是职业生涯的前半部分,完全不必缩头缩脑患得患失。

收藏 推荐 打印 | 阅读: