科百科
当前位置: 首页 科技资讯

数据分析的套路和方法(从事数据分析需要掌握工具到何种程度)

时间:2023-05-24 作者: 小编 阅读量: 2 栏目名: 科技资讯

R更加偏向于统计分析与绘图,一般在学术研究中应用较多。Eviews主要在时间序列分析中有较多应用;而Sas主要在银行及金融业应用较多,属于付费软件。04数据展示产出数据结论后,往往需要配合图表进行展示,Excel、PythonMatplotlib基本就可满足需求。一般公司内部会有自己的BI平台,而至于外部软件,Tableau应用较为广泛。05数据汇报数据对于业务的价值,需要通过汇报让更多人知晓。

如果你对数据分析感兴趣,希望学习更多的方法论,希望听听经验分享,

欢迎移步宝藏公众号「小火龙说数据」,无广告、无软文、纯干货,更多精彩原创文章与你分享!


00 序言

数据分析,横向来看,属于计算机与统计学的结合;纵向来看,始于数据、终于业务。因此需要掌握的工具/技能跨度还是比较大的,从数据流转角度来看,涵盖从「数据仓库→数据提取→数据分析→数据展示→数据汇报」几个模块,小火龙为大家梳理了各模块涉及的工具内容,并标注重要性,供大家参考。

01 数据仓库

数据分析岗位,一般不会涉及数据仓库的搭建及维护,但对数据仓库的了解,有助于下游数据提取,以及做一些ADS层的数仓建设,有益于自身成长。其中涉及到的工具/技巧主要涵盖:SQL、Python、Java、Flink等。

其中SQL是最为重要的,会在下文详细展开;Python、Java在数据处理层会应用到,Python会在下文展开,Java的优先级不高,大家了解即可;Flink在处理实时流时会应用到,优先级同样不高,了解即可。

02 数据提取

数据提取是数据分析的首个环节,将数据从数据库中,按照指定的格式输出出来。在这个过程中,SQL是必备工具。

SQL「重要性:五星」

非常重要!非常重要!非常重要!建议掌握程度如下。

  • 熟练掌握增、删、查、改等基础语句。
  • 熟练掌握基础函数,在遇到问题时,能够快速检索出用什么类型函数来解决问题。
  • 熟练掌握语法结构,能够写出相对复杂的嵌套语句。
  • 有清晰的代码逻辑,在遇到不同类型需求时,能够快速在脑海中形成输出结构。

在之前文章中,小火龙分享过一些SQL文章,感兴趣的同学可以戳蓝字部分:

  • 「干货」SQL常用函数及避坑点汇总『Hive系列1』
  • 「干货」SQL常用10大应用技巧『Hive系列2』
  • 「求职」7道常考的数据分析SQL面试题
03 数据分析

数据提取后,分析是日常工作的核心环节,将数据加工处理,探索其中的业务价值。这里涉及的工具比较多,包含但不限于:Excel、Python、R、Spss、Eviews、Sas等。

Excel「重要性:五星」

虽然不高端,但仍然是数据分析最好用、最常用的工具。建议掌握程度如下。

  • 熟练掌握常用函数。例如:sum、average、vlookup等。可参考文章「Excel函数汇总」
  • 熟练掌握常用操作技巧。例如:行列转置、选择性粘贴等。可参考文章「Excel应用技巧」
  • 熟练掌握常用快捷键。例如:快速删除行列、快速筛选内容等。
  • 了解VBA,能够简单实现Excel自动化。这一点不是必须,但对提高工作效率会有帮助。

Python「重要性:四星」

Python并不是数据分析必备工具,但却能够决定你的发展上限。主要应用场景涵盖:创建SQL中应用的UDF函数、通过脚本快速产出分析报告、通过数据挖掘产出模型。建议掌握程度如下。

  • 熟练掌握Python基础语法、函数,能够看懂别人写的代码。
  • 熟练掌握分析及挖掘常用工具包。例如:numpy、pandas、Matplotlib、sklearn等。
  • 熟悉通用的Python项目目录结构。

R「重要性:三星」

从功能角度来说,R与Python很多功能是交叉的。R更加偏向于统计分析与绘图,一般在学术研究中应用较多。对于数据分析同学,Python与R二选一即可,个人推荐前者,应用方向更广一些。

Spss「重要性:三星」

Spss是一款数据统计与应用软件,在处理「离线 中小数据量」的统计分析时比较好用。通过「可视化界面 点选方式」选择不同类型的统计分析,例如:概率统计、相关分析、回归分析等,甚至还包含了机器学习算法与文本分析等,应用方向较广。建议掌握程度如下。

  • 熟练掌握常用的统计学原理,并了解各原理中的参数含义。可参考文章「数据分析中常用的统计学方法」
  • 了解工具能解决哪些问题,至于具体的操作细节,可在用到的时候查询。

Eviews、Sas「重要性:两星」

Eviews和Sas在非经济学领域出现频次不太高。Eviews主要在时间序列分析中有较多应用;而Sas主要在银行及金融业应用较多,属于付费软件。这两个工具,大家了解就好,用到的时候再深入研究。

04 数据展示

产出数据结论后,往往需要配合图表进行展示,Excel、Python Matplotlib基本就可满足需求。但如果希望配置成例行图表,则需要通过BI软件来完成。一般公司内部会有自己的BI平台,而至于外部软件,Tableau应用较为广泛。

BI平台操作相对比较简单,但如果之前没有应用过,建议下载Tableau用一用,了解一下BI平台的一般功能,并能够实现一些简单的看板搭建(Tableau是付费的)。

05 数据汇报

数据对于业务的价值,需要通过汇报让更多人知晓。这里PPT是最常用的工具。

PPT「重要性:五星」

只有一个原则,汇报的PPT「思路清晰 内容简洁 突出结论」即可。


以上就是本期的内容分享

如果你也对数据分析感兴趣,那就来关注我吧,更多「原创」文章,与你分享!!

小火龙说数据

    推荐阅读
  • 武林外传白展堂被冤枉第几集(武林外传删减剧情曝光)

    观众们则是在第四面墙的位置,观看这出情景喜剧。于是,白展堂凭借自己的身手,挟持住导演,要其拿出解药,治好同福众人的疯病。甚至直言要把沙溢辞了,让其来演白展堂。白展堂则不耐烦,掐住导演,问其为何让李大嘴怀孕。此人认为,对付白展堂这种精神病人,最好是按照他的思路走下去。在拍戏时,沙溢明显心不在焉,被导演怒斥。只有死亡,才能反抗所谓的剧本。连扇几巴掌后,白展堂放弃自杀的念头,这才恢复了对自己身体的控制。

  • 女人取什么名字财运好(女孩招财的名字推荐)

    下面内容希望能帮助到你,我们来一起看看吧!金媛“金”字既能作为姓氏也可以用作名字里,代表着高贵、财运好的意思,而“媛”常用作女孩名字里指为温柔、有气质的意思。晓元“晓”字常指为晓得、明白的意思,后来用作人名为美丽、大方的意思,而“元”在古时经常是元宝的意思,代表着金钱。

  • 吃什么头发长得快又密 吃什么头发长得快又密又多

    补充植物蛋白脱发者的头发中氮氨酸、胱氨酸明显减少。因此,患者应多吃大豆、黑芝麻、玉米等富含蛋氨酸、胱氨酸的食品。所以要少吃肝类、肉类等食品,因这些食品中的酸性物质容易引起酸毒素过多。蔬菜和水果是碱性食物,能中和酸性毒素,可以适当多吃。补碘女性头发的光泽与甲状腺的作用有关,补碘能增强甲状腺的功能,有利于头发健美。脱发女性可多吃海带、紫菜、牡蛎等食品。

  • 内马尔跟姆巴佩为什么闹掰了(姆巴佩诚恳发言引热议)

    关于姆巴佩和内马尔之间的矛盾,从上赛季就关注大巴黎的球迷应该都明白。而到了本赛季姆巴佩获得了顶级合约成为了大巴黎老大之后,更是公开希望俱乐部能够清洗掉内马尔。至少在这个赛季下半段,姆巴佩还是想要好好的和内马尔合作搭档,两人一起带领大巴黎在欧冠上取得好成绩。但前提是在拜仁的第二轮欧冠比赛中两人需要及时复出带队取胜。

  • 防溺水条幅内容(防溺水条幅标语)

    下面更多详细答案一起来看看吧!防溺水条幅内容严密防范,坚决遏制学生溺水事故发生。强化教育,增强青少年儿童的安全意识。加强领导,切实落实预防溺水安全措施。生命只有一次,安全伴君一生。生命仅一次,水火无情谊。强化安全教育,防止溺水事件发生。珍爱生命,坚决不下水游泳。关爱生命旅程,预防溺水,注意交通安全。如果你想变成死鱼一条,就请在此处下水。

  • 女儿哭着不想上幼儿园(孩子哭着说不想去幼儿园)

    鼓励学生说出在学校遇到的不开心的事,并及时给学生做心理疏导,如果学生在学校被欺负,学生家长要想办法让他们表达出来,这样学生家长才能知道如何疏导学生,避免学生以后对上学产生厌烦的心理。如果发现学生不适合这所学校,及时为学生更换学校,这种事情学生家长最好不要犹豫,换一个环境,给学生带来的伤害会更小。

  • 成为产品经理之前的那些事(产品经理成长的)

    而对应的成本线则是“交付可用产品”。如果我们把产品质量分为“可用、好用、易用”,那“可用”就是最低要求。所以,满足“可用”要求的产品,至少要保证合理的流程设计、严谨的信息架构、满足基本体验的交互设计以及完整的功能结构。

  • 张翰和古力娜扎一路坎坷(古力娜扎张翰分手)

    就像当年以国外街头一吻高调宣布恋情一样,古力娜扎和张翰今天由双方工作室出面,宣布已于今年10月中旬和平分手。古力娜扎和张翰作为事业正处于上升期的男女明星,双方各自对自己的事业有追求,今年,二人皆在娱乐圈交出了不错的成绩单。对于二人的决定,古力娜扎的粉丝们率先表态:艺人,只是娜扎的职业,并不是她人生的全部。

  • 亚马逊品牌备案需要什么(关于亚马逊品牌备案相关卖家常见问题答疑)

    关于亚马逊品牌备案相关卖家常见问题答疑最近有不少卖家在询问关于品牌备案相关的问题,我们今天就整理了卖家关心的关于品牌备案的相关问题那么卖家问到的问题是什么呢?情况分析:卖家的名字是A,拥有品牌B1,B2,两个品牌,都是用法人名字进行注册的。

  • 桃胶泡多久才能煮 桃胶泡多久才能煮熟

    桃胶泡多久才能煮建议最少泡12个小时最好。女性吃桃胶有什么好处美容养颜桃胶中含有大量的植物胶原蛋白以及维生素,这些物质具有很好的防衰老作用,适量食用可以是人体皮肤细嫩有光泽,女性食用之后具有一定美容养颜的作用。降血糖桃胶中含有大量的不饱和脂肪酸、多糖等营养成分,其中不饱和脂肪酸与多糖中的单糖具有很好的控制人体血糖的作用,女性适量食用具有一定降血糖作用。