决选ETL工程师日常工作内容

发布时间:2025/10/20 12:17 来源:狮子山家居装修网

CDA数据集分析师出品

总编：JYD

大家好，我是曹鑫老师，从前要给大家介绍的是ETL技师日常工作内容可。

ETL通称是

Extraction-Transformation-Loading,即完成数据集的掺入、匹配、启动时。前面通过一个简单的例子来借助您理解ETL技师其他部门。

系统性背景：我们过去有企业软件的不道德副本数据集，销售业务下端希望根据软件的不道德数据集掺入软件画作标签数据集。须完成不限任务：构建数据集模型、编纂ETL原料程序、规章ETL程序运行原计划。

ETL技师必须负责挖掘数据集（E）、并根据销售业务规则进行原料匹配（T）、并最终将匹配结果按照JPEG要求暂存至选定位置（L）。

软件不道德副本以文本元数据形式存储设备，元数据名的JPEG：软件id_日期_时间.txt,元数据内容可如图所示：

检验软件每次杀青时，都则会演化成一个对应的副本元数据，元数据的开首2行则会记录不限2个值：

Last声称副本的最后一次改版时间点距离杀青时间的秒数； L_Start声称检验软件的杀青时间（JPEG是年-同月-日时-分-秒）。接下来，数据集挖掘程序则会以2秒一次的频率扫描检验软件计算机程序的当前近期售票厅，若近期售票厅变动，则则会在副本当中追加一条记录。如图所示。

接下来，ETL技师就则会安装如下方式上着手工作：

首先在数仓当中构建软件数据集模型。数据集模型必须主干销售业务，如图为示例的一个当下方数据集。

接下来根据数据集源以及数据集模型，编纂ETL程序

根据1里头规章的原料逻辑编纂代码处理数据集，非结构化的数据集一般选择python这类计算机程序语言。结构化的数据集一般采用SQL即可。

最后规章ETL原作者执行周期原计划。

ETL原作者在生产线环境当中定时执行，改版数仓当中的数据集

根据样例数据集，及数据集模型，我们可以得到如图的数据集：

必须注意的是，副本元数据一般是放置在销售业务服务器下端的，数据集启动时、匹配后的结果一般是启动时到数据集仓库当中。

以上就是ETL技师其他部门日常工作当中的一个系统性。