数据工程和软件工程是两个在技术领域内经常被提及的角色，它们在某些方面相似，但在关键点上存在明显差异。本文旨在阐述这些差异，以便为读者提供清晰的认识。

数据工程的新兴领域

数据工程作为一个相对较新的领域，其定义和职责范围并不总是那么明确。为了更好地理解，我们可以通过比较两个领域中的项目实例来探讨它们的不同之处。

软件工程的项目实例：

• 构建实时事件处理系统
• Web服务器
• 前端用户界面
• 飞行器控制系统

数据工程的项目实例：

• 在不同位置之间移动数据
• 从第三方系统提取数据
• 转换和标准化原始数据集
• 收集和维护分析数据

共同点与差异

两个领域的共同点在于它们都编写代码来操作和存储数据。软件工程师可能从用户输入、网络请求或硬件传感器获取输入数据，但无论是软件工程还是数据工程项目，都需要摄取和解释数据以实现某种功能。

然而，关键的区别在于这两个学科如何处理数据。软件工程师以行为基础进行操作，添加新行、更新这些行、删除这些行，因为应用程序的状态是随着实时事件的到来而逐步构建的。

如果出现问题，可以通过“关闭并重新启动”来解决，即如果程序的状态出现问题，可以清除状态，让程序重新构建一个良好的状态。

相比之下，数据工程师以列为基础看待数据。创建新列、删除列、使用该列连接这些表，因为他们试图重塑和组织现有的状态。

如果出现问题，希望你已经保存了备份或能够从上游源重新提取数据，因为你无法独自重建一个良好的状态。

工具选择与项目面向

SQL是数据工程师的首选工具，因为它以列的方式查看和转换数据。数据工程师通常会在每次刷新时重建整个表，而不是仅对更改的记录使用增量更新。这样做可以更容易地确保整个列的一致性，只有在数据集过大无法一次性处理时才使用增量更新。

软件工程师绝不会容忍每次值更改就重建整个表，或等待几个小时进行下一次计划刷新。因为软件工程师需要他们的程序快速运行，并始终保持程序状态的最新。这就是为什么我们只在数据工程中看到批处理的原因，通常可以容忍结果延迟几个小时或几天。

项目服务对象的差异

软件工程项目通常是面向客户的，意味着它们处于关键的前线，面临确保程序按预期工作的巨大压力，因为任何失误都直接影响所有客户，并可能损害公司的声誉和利润，特别是在SaaS公司。

现在围绕数据产品而非软件产品建立公司的案例较少，因此数据工程项目通常是面向内部的。这意味着任何失误不会直接影响公司的声誉或利润。这意味着工作可能压力较小，但也可能意味着你的收入不如软件工程同行。