科百科
当前位置: 首页 科技资讯

数据分析的套路和方法(从事数据分析需要掌握工具到何种程度)

时间:2023-05-24 作者: 小编 阅读量: 2 栏目名: 科技资讯

R更加偏向于统计分析与绘图,一般在学术研究中应用较多。Eviews主要在时间序列分析中有较多应用;而Sas主要在银行及金融业应用较多,属于付费软件。04数据展示产出数据结论后,往往需要配合图表进行展示,Excel、PythonMatplotlib基本就可满足需求。一般公司内部会有自己的BI平台,而至于外部软件,Tableau应用较为广泛。05数据汇报数据对于业务的价值,需要通过汇报让更多人知晓。

如果你对数据分析感兴趣,希望学习更多的方法论,希望听听经验分享,

欢迎移步宝藏公众号「小火龙说数据」,无广告、无软文、纯干货,更多精彩原创文章与你分享!


00 序言

数据分析,横向来看,属于计算机与统计学的结合;纵向来看,始于数据、终于业务。因此需要掌握的工具/技能跨度还是比较大的,从数据流转角度来看,涵盖从「数据仓库→数据提取→数据分析→数据展示→数据汇报」几个模块,小火龙为大家梳理了各模块涉及的工具内容,并标注重要性,供大家参考。

01 数据仓库

数据分析岗位,一般不会涉及数据仓库的搭建及维护,但对数据仓库的了解,有助于下游数据提取,以及做一些ADS层的数仓建设,有益于自身成长。其中涉及到的工具/技巧主要涵盖:SQL、Python、Java、Flink等。

其中SQL是最为重要的,会在下文详细展开;Python、Java在数据处理层会应用到,Python会在下文展开,Java的优先级不高,大家了解即可;Flink在处理实时流时会应用到,优先级同样不高,了解即可。

02 数据提取

数据提取是数据分析的首个环节,将数据从数据库中,按照指定的格式输出出来。在这个过程中,SQL是必备工具。

SQL「重要性:五星」

非常重要!非常重要!非常重要!建议掌握程度如下。

  • 熟练掌握增、删、查、改等基础语句。
  • 熟练掌握基础函数,在遇到问题时,能够快速检索出用什么类型函数来解决问题。
  • 熟练掌握语法结构,能够写出相对复杂的嵌套语句。
  • 有清晰的代码逻辑,在遇到不同类型需求时,能够快速在脑海中形成输出结构。

在之前文章中,小火龙分享过一些SQL文章,感兴趣的同学可以戳蓝字部分:

  • 「干货」SQL常用函数及避坑点汇总『Hive系列1』
  • 「干货」SQL常用10大应用技巧『Hive系列2』
  • 「求职」7道常考的数据分析SQL面试题
03 数据分析

数据提取后,分析是日常工作的核心环节,将数据加工处理,探索其中的业务价值。这里涉及的工具比较多,包含但不限于:Excel、Python、R、Spss、Eviews、Sas等。

Excel「重要性:五星」

虽然不高端,但仍然是数据分析最好用、最常用的工具。建议掌握程度如下。

  • 熟练掌握常用函数。例如:sum、average、vlookup等。可参考文章「Excel函数汇总」
  • 熟练掌握常用操作技巧。例如:行列转置、选择性粘贴等。可参考文章「Excel应用技巧」
  • 熟练掌握常用快捷键。例如:快速删除行列、快速筛选内容等。
  • 了解VBA,能够简单实现Excel自动化。这一点不是必须,但对提高工作效率会有帮助。

Python「重要性:四星」

Python并不是数据分析必备工具,但却能够决定你的发展上限。主要应用场景涵盖:创建SQL中应用的UDF函数、通过脚本快速产出分析报告、通过数据挖掘产出模型。建议掌握程度如下。

  • 熟练掌握Python基础语法、函数,能够看懂别人写的代码。
  • 熟练掌握分析及挖掘常用工具包。例如:numpy、pandas、Matplotlib、sklearn等。
  • 熟悉通用的Python项目目录结构。

R「重要性:三星」

从功能角度来说,R与Python很多功能是交叉的。R更加偏向于统计分析与绘图,一般在学术研究中应用较多。对于数据分析同学,Python与R二选一即可,个人推荐前者,应用方向更广一些。

Spss「重要性:三星」

Spss是一款数据统计与应用软件,在处理「离线 中小数据量」的统计分析时比较好用。通过「可视化界面 点选方式」选择不同类型的统计分析,例如:概率统计、相关分析、回归分析等,甚至还包含了机器学习算法与文本分析等,应用方向较广。建议掌握程度如下。

  • 熟练掌握常用的统计学原理,并了解各原理中的参数含义。可参考文章「数据分析中常用的统计学方法」
  • 了解工具能解决哪些问题,至于具体的操作细节,可在用到的时候查询。

Eviews、Sas「重要性:两星」

Eviews和Sas在非经济学领域出现频次不太高。Eviews主要在时间序列分析中有较多应用;而Sas主要在银行及金融业应用较多,属于付费软件。这两个工具,大家了解就好,用到的时候再深入研究。

04 数据展示

产出数据结论后,往往需要配合图表进行展示,Excel、Python Matplotlib基本就可满足需求。但如果希望配置成例行图表,则需要通过BI软件来完成。一般公司内部会有自己的BI平台,而至于外部软件,Tableau应用较为广泛。

BI平台操作相对比较简单,但如果之前没有应用过,建议下载Tableau用一用,了解一下BI平台的一般功能,并能够实现一些简单的看板搭建(Tableau是付费的)。

05 数据汇报

数据对于业务的价值,需要通过汇报让更多人知晓。这里PPT是最常用的工具。

PPT「重要性:五星」

只有一个原则,汇报的PPT「思路清晰 内容简洁 突出结论」即可。


以上就是本期的内容分享

如果你也对数据分析感兴趣,那就来关注我吧,更多「原创」文章,与你分享!!

小火龙说数据

    推荐阅读
  • 卡卡退役后还会看足球吗(卡卡随基普乔格跑完柏林全马)

    在9月25日进行的2022柏林马拉松赛上,37岁的肯尼亚名将基普乔格以2小时1分9秒的成绩夺冠,并创造了全新的世界纪录。后半程,卡卡的速度有所下降,但最终以3小时38分06秒完赛的成绩,在业余马拉松选手中还是算相当不错的。而且,这次卡卡参加柏林马拉松也有为父亲打气、鼓劲的原因。2016年镇江马拉松,李铁又以1小时45分的成绩完成半马比赛。

  • 学校预防新冠肺炎防控知识(复课防控小知识)

    对其它地区返校师生要做好体温监测及症状筛查。高校应设置集中隔离医学观察区,对来自或经停湖北以及疫情高发地区的师生和被判定为密切接触者进行集中医学观察。要配合辖区疾病预防控制中心做好疑似或确诊病例的流行病学调查、密切接触者排查。在辖区疾病预防控制中心和中小学卫生保健科的工作人员指导下进行消毒。所使用消毒剂应在有效期内。

  • 按部就班造句(按部就班造句一年级)

    7、即使是您认为应该按部就班,直截了当的技术决策,也会有政治参杂其中,特别是您处于决定是否批准购买某企业工具的职位。

  • 15分钟快速退烧(我娃快速退烧)

    我娃快速退烧昨天晚上10点半才回家,刚回到家里,老人家就说,娃发烧了,我赶紧到房里看娃,发现他还在被窝里打冷战急忙用手探他额头,哇!挺烫的,问他哪里不舒服?头疼头晕发热发冷������,用探热针测出来事38.9℃。

  • 产后怎么缩阴效果好

    运动法阴道本身有一定的修复功能,产后出现的扩张现象在产后3个月即可恢复。产后妈妈可以通过一些锻炼来加强弹性的恢复,促进阴道紧实。练习骨盆运动女人半蹲,两膝微屈,两足分开60厘米左右,两手叉腰。吸气,将骨盆前推;呼气,将骨盆拉回,同时臀部尽量向后撅起。练习展腿运动女人运动躯干、大腿时,腹压作用于阴道,产生快感,同时阴道口开张,利于局部气血通畅。女人坐姿,两手后撑,左腿屈立,右腿屈膝外展,平放垫上。

  • 手机新浪微博怎么取消关注(手机新浪微博如何取消关注)

    以下内容希望对你有帮助!手机新浪微博怎么取消关注打开新浪微博手机客户端,点击页面底部“我”菜单,在展开的页面中,点击“关注”选项。打开微博账号当前关注的用户之后,点击“关注的人”菜单按钮。接下来,可以看到当前已经关注的用户,想要取消关注的话,点击“已关注”按钮,在弹出的对话框中,点击“确定”按钮即可。

  • 广州人口(广州的介绍)

    广州人口广州人口数量:1530.59万人。广州是首批国家历史文化名城,广府文化的发祥地,从秦朝开始一直是郡治、州治、府治的所在地,华南地区的政治、军事、经济、文化和科教中心。广州被全球权威机构GaWC评为世界一线城市,每年举办的中国进出口商品交易会吸引了大量客商以及大量外资企业、世界500强企业的投资,国家高新技术企业达8700多家,总量居全国前三,集结了全省80%的高校、70%的科技人员,在校大学生总量居全国第一。

  • 夏天的租房市场(北京租房夏理银)

    2012年2月,女儿参加“国考”被录取到了国家机关。7月,接通知到单位报到上班。也就是说,租户与房东并无直接联系。我们签订的租期为一年,中介先收一个月的房租即3600元为中介费,另外还要一次性地交付“押二付三”的费用。所谓“押二付三”,就是将两个月的房租作为押金,另预付三个月的房租。如果合同到期双方无什么纠纷时则押金退回。合同签订后我们和中介按合同上的内容对室内设施进行查看清点,完毕后中介将钥匙交付我们。

  • 麻酱秋葵的做法凉拌(简单版凉拌(麻酱秋葵的做法)

    以下内容大家不妨参考一二希望能帮到您!麻酱秋葵的做法凉拌原料:秋葵、橄榄油、盐、芝麻酱、大蒜。秋葵洗干净入煮锅焯水后捞出沥干水。大蒜碎放入碗中加盐。加橄榄油搅拌均匀成芝麻酱汁。秋葵放入盘中,添加芝麻酱汁,稍加搅拌即可享用。

  • 稍的拼音和组词(稍的拼音和组词是怎样的)

    稍的拼音和组词稍的拼音和组词:稍许、稍微、稍纵即逝、稍稍、稍麦、脱稍、手稍、稍地、花稍、枝稍、稍伯、秩稍、稍芟、稍房、稍子、稍麻寺、稍属、眼稍、稍杀、稍问、四稍、稍黩筐篚、稍安勿躁、稍倾、上稍、俸稍、稍麄胆壮、稍长胆壮、乡稍、稍迁、拉稍寺、头稍自领、竿稍、稍绿、稍挽稍、稍侵、饩稍、稍天、奉稍、没下稍。稍有shāo和shào两种读音。作shāo时本义为禾末,引申为略微。作shào时〔~息〕军事或体操的口令。