0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是数据工程?数据工程师需要了解的事情

工程师人生 来源:百家号 作者:读芯术 2020-12-15 15:16 次阅读

“这一刻你正在应对什么挑战?”这位前研究学者回应道:“嗯,我好像应聘成为首席数据科学家了,在一个没有数据的公司里。”

这件事让人啼笑皆非。离开了数据,数据科学家的存在毫无意义。这可不是件个例。本文将讨论一些胸怀大志的数据科学家们(以及他们将来的雇主)真正需要了解的事情。

什么是数据工程?

如果数据科学是让数据变得有用的一门学科,那么可以想像数据工程是将数据变得能用的一门学问。数据工程师们是提供幕后基础设施支持的英雄们,这些基础设施让机器能够记录工作,让海量的数据与数据科学工具包兼容储存。

图源:LinkedIn

与数据科学家不同,数据工程师们更倾向于不花费那么多的时间研究数据。与此相反,他们研究并处理那些承载数据的基础设施。数据科学家是数据的管理者,而数据工程师们是对数据管道进行管理的人。

图源:hackernoon

数据工程有三种主要工作方式:

· 使数据大规模地储存(数据库)和传输(数据管道)。

· 维护那些支持企业运作的数据流。

· 为数据科学提供数据集。

如果没有数据,你无法研究数据科学。如果你被一个没有数据和数据工程的机构聘用为数据科学总监,猜猜谁将会成为一名数据工程师?

数据工程的艰难之处在哪?

食品进购是件简单的事,如果你只是煮你一个人的晚餐还好说,但规模扩大会将这件琐事变得复杂无比——你该如何获得,存储和处理20吨的冰淇淋,且让它一点都没有融化?

相似地,“数据工程”在你为学校项目下载一个小的电子数据表时是相当容易的,但当你在处理千万亿字节规模的文件时就会让人头晕眼花。规模使其本身成为一个复杂的工程学科。

不幸的是,了解这两个学科其中之一并不代表着你就对另一个的知识有所了解。

如果你有了跑去学习两个学科的冲动,你可能成为了那个(令人倍有压力且适得其反的)信念的受害者——数据专家们必须对数据的所有事项都有所了解。数据宇宙正在飞速地扩展着,现在是时候让人们意识到这个领域有多么广阔了,在数据领域的某个领域工作并不自动要求人们去成为全知全能的专家。

讲这么多就是为了说明,这门学科包含了太多的知识,以至于最有决心的天才也无法全部理解和掌握。与其希望数据工程师们全知全能,不如问问彼此(也问问自己),“你是哪一类人?”让我们齐心协力一起工作,而不是在这条路上孤军奋斗。

但这不是一个绝佳的学习机会吗?可能是。这取决于你对已知的学问有多大的感情。数据工程不同于数据科学,所以如果你是个未经受过数据工程训练的数据科学家,那么你得从零开始。

这可能正是你所寻求的乐趣——只要你带着开放的眼光一路前行。建立你的数据工程团队可能要花费好几年的时间。当然,有理由去学习新事物是件好事,但相同的是,你的数据科学“肌肉”可能会因此萎缩。

作为一个类比,想象你是一位能流利使用英日两语的译者。你被提供了一个叫做“译者”的职位。当你来到岗位工作时,你发现你被聘来进行将普通话译为斯瓦希里语的工作,而这两种语言你都不会说。抓住机会成为一个四语达人可能是一件振奋人心且有益的事情,但请从现实的角度来思考你该如何有效地利用初级培训。

换句话来说,如果一个公司没有任何的数据或者数据工程师,那么接受首席数据科学家的工作会在你组建数据工程团队时,为了成为一个数据工程师(你很可能还未达标),将你的数据科学家生涯搁置好几年的时间。

最终,你会很骄傲地看着你所建的团队,然后意识到你不再需要亲自去处理那些细枝末节。那时你的团队已经能够成熟应对那些绝妙的神经网络或者你读博时研究的复杂巧妙的贝叶斯定理推论,你就只能袖手旁观,看着他人完成目标。

给你一些小建议

· 弄清你正在接手的事物

如果你在考虑接受一个成为数据科学总管的工作,你第一个应该提出的问题是:“谁来保证我的团队有数据能研究?”如果答案是你,嗯,至少你将知道自己的签约将意味着什么。

· 请记住你是顾客

既然数据科学受数据支配,只有数据工程师们作为同事可能并不够。如果那些同事们没能将你认定为他们工作的一个关键客户,你将面对的是一个艰难的斗争。如果他们的态度让你更多的感受到自己是一个博物馆策展人,为了数据而保存数据,那这可不是一个好兆头。

· 要有全局观

诚然你是数据工程师们的关键客户,但很可能你并不是他们的唯一客户。现代企业使用数据推动业务发展,通常情况下,无需人为干预,数据就能很好地运转。当你对公司的贡献只是“可有可无”时,表现得好像世界都是围绕着你和你的团队转的,这是不明智的。

· 坚持问责

在登记你新的十亿字节之前,考虑与数据工程同事协商,让他们对与你的合作负责。如果他们没有将你拒之门外的反应,你的团队就不太可能蓬勃发展。
编辑:hfy

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7015

    浏览量

    88984
  • 数据工程师
    +关注

    关注

    0

    文章

    8

    浏览量

    1188
收藏 人收藏

    评论

    相关推荐

    FPGA算法工程师、逻辑工程师、原型验证工程师有什么区别?

    逻辑工程师和 FPGA 原型验证工程师在工作重点和职责上存在一定的区别: FPGA 算法工程师: 主要关注算法的设计和优化,以在 FPGA 平台上实现高效的计算和处理。他们需要深入理
    发表于 09-23 18:26

    需要无刷电控硬件工程师

    需要无刷电控硬件工程师,地点东莞松山湖。最好有5-10年经验,大功率电摩电控。有意私聊。
    发表于 09-11 22:51

    正是拼的年纪|65岁电子工程师上班VLOG #65岁退休 #电子工程师 #搞笑 #上班vlog

    电子工程师
    安泰小课堂
    发布于 :2024年07月25日 11:31:02

    用二创,1:1复刻工程师的职场现状

    工程师
    扬兴科技
    发布于 :2024年07月19日 18:30:07

    嵌入式软件工程师和硬件工程师的区别?

    要求。 总的来说,嵌入式软件工程师和嵌入式硬件工程师在工作中各有侧重,相互依赖。嵌入式软件工程师需要了解和适应硬件限制,而嵌入式硬件工程师
    发表于 05-16 11:00

    大厂电子工程师常见面试题#电子工程师 #硬件工程师 #电路知识 #面试题

    电子工程师电路
    安泰小课堂
    发布于 :2024年04月30日 17:33:15

    模拟工程师电路设计指导手册:数据转换器

    模拟工程师电路设计指导手册:数据转换器
    发表于 03-07 14:39 6次下载

    企业老工程师和高校老师有啥区别

    电子工程师硬件
    电子发烧友网官方
    发布于 :2024年02月28日 17:50:00

    优秀电源工程师需要哪些必备技能?

    提升电源开发效率。电源新手在学习初期,如果实验设备不足,可以利用仿真软件进行电路模型搭建,从而快速、直观地了解电源的工作原理。2、器件参数选型参数选型时,需要工程师进行电路关键参数的计算,计算方法可以
    发表于 01-29 11:29