设为首页 - 加入收藏 延边站长网 (http://www.0433zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: 2018 财报 Note
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

清理数据成数据科学家最大挑战

发布时间:2018-09-01 23:06 所属栏目:[教程] 来源:佚名
导读:数据分析师花费一半以上的时间清理和转换数据,而不是从中提取商业智能,这并不稀奇。数据储存的规模不断增大,数据类型也在激增。新一代的工具蜂拥而至,并承诺把复杂的工具送到不依赖数据的科学家的手上。 技术领域最热门的职位之一是数据科学家,或许只

数据分析师花费一半以上的时间清理和转换数据,而不是从中提取商业智能,这并不稀奇。数据储存的规模不断增大,数据类型也在激增。新一代的工具蜂拥而至,并承诺把复杂的工具送到不依赖数据的科学家的手上。

清理数据成数据科学家最大挑战

技术领域最热门的职位之一是数据科学家,或许只有最新出现的首席高管职位:首席数据科学家能超越他们。显而易见,人们对这种趋势一直存在质疑,来自美国科技网站InfoWorld的 Yves de Montcheuil曾引用过一则笑话,数据学家就是住在加利福尼亚州的商业分析师。

每个公司都需要把公司的数据转换为商业智能,这并不是什么有趣的事,这就是数据科学家承担主导责任的时候。但随着数据数量和种类的激增,数据科学家发现,他们大部分的时间都花费在清理和转换数据,而不是分析数据,并把它们告诉给企业经理。

最近,IT项目众包公司CrowdFlower的数据科学家进行了一项调查(需要注册可查看)。调查发现,三分之二的分析人员认为清理和组织数据是它们最费时的工作,52%称他们最大的障碍是数据质量差。受访者说出了在它们工作中使用的48种不同的技术,最受欢迎的是Excel(55.6%),其次是开源语言研究(43.1%),和Tableau数据可视化软件(26.1%)。

清理数据成数据科学家最大挑战
▲来源:CrowdFlower公司

数据科学家认为它们最大的挑战是清理数据花费时间,数据质量差,缺少分析时间,以及无效的数据建模。

是什么抑制了数据分析的发展?被调查的数据科学家列举出,包括缺少有效满足他们工作需要的工具(54.3%),组织没有清楚地说明目标和宗旨(52.3%),以及培训投资不足(47.7%)。

清理数据成数据科学家最大挑战
▲来源:CrowdFlower公司

缺乏工具,目标不明确,不注重培训被报告为影响数据科学家效率的主要障碍。

承诺将满足大数据分析师需要的新工具

在技术领域有一个基本的课题:早期只有少数精英需要理解和使用知识、工具,随着时间的推移,产品日益改进,价格降低,企业适应,技术逐渐成为了主流。新的数据分析工具蜂拥而至,承诺把技术的效益带给非科研人员。

2014年8月17日,Steve Lohr在纽约时报上刊登了几种产品的简介。例如,ClearStory Data公司的软件结合多个来源的数据,并转换成图表、地图和其他图形。在数据准备问题上Paxata公司采取了不同方式,他们的软件通过各种可视化工具对数据进行检索、清理,和混合用于分析。

这家不以营利为目的的知识开放实验室,号称是一个为“公民骇客、数据管理者,以及对技术和资讯结合的可能性产生兴趣的普通公民”提供的社区。这个组织正在招募“数据管理员”志愿者,来维护核心数据集,例如国内生产总值和ISO代码。空军总司令部的Rufus Pollock于2015年1月3日对该项目进行了描述。

清理数据成数据科学家最大挑战
▲来源:知识开放实验室

知识开放实验室正在寻找志愿者程序员,策划核心数据集并作为零阻力数据计划的一部分。

没有比使用Morpheus更简单和直接的方式来管理异构MySQL、MongoDB、Redis和ElasticSearch数据库。仪表板上的一次单击,Morpheus能使你在混合云上无缝提供、监控和分析SQL、NoSQL和内存数据库。你创造每个的数据库实例都包括一个内置的容错和故障的完整副本集。

【编辑推荐】

  1. 别跟风了!你的公司根本不需要数据科学家
  2. 掌握这五类数据科学项目,找到一份好工作
  3. 想当数据科学家的你这13个错误可别犯
  4. Google首席决策师告诉你AI和数据科学团队需要哪10种角色?
  5. 深度解析数据分析、大数据工程师和数据科学家的区别
【责任编辑:未丽燕 TEL:(010)68476606】
点赞 0

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章