补数据
例如，电商公司在2023年08月07日至2023年08月14日、2023年08月17日至2023年08月24日两个时间段进行促销活动，其可以在任务编排的单实例SQL节点中使用时间变量startTime、endTime，那么补数据时业务时间选择2023年08月07日，就可以分析第一...
公共汇总粒度事实层（DWS）
asale_itm_slr_td（A电商公司卖家粒度商品截至当日存量汇总表）dws_asale_itm_slr_hh（A电商公司卖家粒度商品小时汇总表）-维度为小时 dws_asale_itm_slr_mm（A电商公司卖家粒度商品分钟汇总表）-维度为分钟 DWS层数据存储及生命周期管理...
公共汇总粒度事实层（DWS）
asale_itm_slr_td（A电商公司卖家粒度商品截至当日存量汇总表）dws_asale_itm_slr_hh（A电商公司卖家粒度商品小时汇总表）-维度为小时 dws_asale_itm_slr_mm（A电商公司卖家粒度商品分钟汇总表）-维度为分钟 DWS层数据存储及生命周期管理...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
电话号码函数
示例 电商公司A通过访问日志中的 mobile 字段和 client_ip 字段，分析哪些客户的电话号码所在地和其访问公司网站的IP地址所在地不同。字段样例 mobile:1881111*client_ip:192.168.2.0 查询和分析语句*|SELECT mobile,client_ip,count(*)as ...
定义维度与构建总线矩阵
以本教程中A电商公司的营销业务板块为例，在交易数据域中，我们重点考察确认收货（交易成功）的业务过程。在确认收货的业务过程中，主要有商品和收货地点（本教程中，假设收货和购买是同一个地点）两个维度所依赖的业务角度。从商品维度...
定义维度与构建总线矩阵
以本教程中A电商公司的营销业务板块为例，在交易数据域中，我们重点考察确认收货（交易成功）的业务过程。在确认收货的业务过程中，主要有商品和收货地点（本教程中，假设收货和购买是同一个地点）两个维度所依赖的业务角度。从商品维度...
分析-销售系统日志
成交账单是电商公司的核心数据，是一系列营销和推广活动最终的转化成果。这些数据包含了很多有价值的信息，从这些数据出发，可以描绘出用户画像，为下一步的营销提供方向。账单数据还能提供货物的受欢迎程度，为下一步备货提供准备。账单...
定义维度与构建总线矩阵
本教程中，以A电商公司的营销业务板块为例，在交易主题域中，我们重点分析确认收货（交易成功）的业务过程。在确认收货的业务过程中，维度所依赖的业务角度主要有两个，即商品和收货地点（地域）。本教程中，假设收货和购买是同一个地点。...
规范定义最佳实践
案例说明 A电商公司，销售某品牌多种零食。商品种类 单价 干果类 10元/500g 膨化类 8元/袋 饮品类 15元/瓶 买家和卖家可以通过电商平台进行交易。订单ID 买家ID 买家姓名 商品种类 支付金额 支付方式 29296 1001 张三 干果类 34 花呗 29297...
规范定义最佳实践
案例说明 A电商公司，销售某品牌多种零食。商品种类 单价 干果类 10元/500g 膨化类 8元/袋 饮品类 15元/瓶 买家和卖家可以通过电商平台进行交易。订单ID 买家ID 买家姓名 商品种类 支付金额 支付方式 29296 1001 张三 干果类 34 花呗 29297...
十分钟迁移自建Harbor至容器镜像服务企业版
如果Harbor的后端存储为IDC数据存储，需要使用OSS的在线迁移服务将IDC中的数据迁移到云上OSS，详细介绍请参见 某电商公司本地IDC数据迁移到OSS的案例。如果Harbor的后端存储为阿里云OSS，请跳过此步骤。步骤二：自定义OSS Bucket 容器镜像...
分析Log4j日志
例如某电商公司，希望通过分析用户行为习惯数据（例如用户登录方式、上线的时间点及时长、浏览页面、页面停留时间、平均下单时间、消费水平等）、平台稳定性、系统报错、数据安全性等信息获取平台的最佳运营方案。针对此需求，日志服务提供...
从自建Harbor同步镜像到ACR企业版
如果Harbor的后端存储为IDC数据存储，需要使用OSS的在线迁移服务将IDC中的数据迁移到云上OSS，详细介绍请参见 某电商公司本地IDC数据迁移到OSS的案例。如果Harbor的后端存储为阿里云OSS，请跳过此步骤。步骤二：自定义OSS Bucket 容器镜像...
公共维度汇总层（DIM）
本教程以A电商公司的营销业务板块为例，在交易数据域中，我们重点考察确认收货（交易成功）的业务过程。在确认收货的业务过程中，主要有商品和收货地点（本教程中，假设收货和购买是同一个地点）两个维度所依赖的业务角度。从商品角度可以...
公共维度汇总层（DIM）
本教程以A电商公司的营销业务板块为例，在交易数据域中，我们重点考察确认收货（交易成功）的业务过程。在确认收货的业务过程中，主要有商品和收货地点（本教程中，假设收货和购买是同一个地点）两个维度所依赖的业务角度。从商品角度可以...
明细数据层（DWD）
维度建模理论建议在事实表中只保存这些维表的外键，而A公司电商交易事务事实表在维度建模基础之上做了进一步的优化，将买卖家星级、标签、店铺名称、商品类型、商品特征、商品属性、类目层级等维度都关联到事实表中，提高对事实表进行过滤...
通过Logtail跨阿里云账号采集日志
例如某电商公司拥有两个电商应用，部署在阿里云杭州地域的ECS集群上，并使用杭州地域的日志服务进行日志管理。应用A部署在阿里云账号A（12*456）下的ECS集群（Linux系统）上，并使用该账号下的日志服务进行日志管理。应用B部署在阿里云账号...
通过Logtail跨阿里云账号采集容器日志
背景信息 例如某电商公司拥有两个电商应用，部署在阿里云杭州地域的Kubernetes集群中，并使用杭州地域的日志服务进行日志管理。应用A部署在阿里云账号A（12*456）下的Kubernetes集群中，并使用该账号下的日志服务进行日志管理。应用B部署在...
明细粒度事实层（DWD）
例如：dwd_asale_trd_ordcrt_trip_di（A电商公司航旅机票订单下单事实表，日刷新增量）及dwd_asale_itm_item_df（A电商商品快照事实表，日刷新全量）。本教程中，DWD层主要由三个表构成：交易商品信息事实表：dwd_asale_trd_itm_di。交易...
明细粒度事实层（DWD）
例如：dwd_asale_trd_ordcrt_trip_di（A电商公司航旅机票订单下单事实表，日刷新增量）及dwd_asale_itm_item_df（A电商商品快照事实表，日刷新全量）。本教程中，DWD层主要由三个表构成：交易商品信息事实表：dwd_asale_trd_itm_di。交易...
比较运算符
查询和分析语句*|SELECT*FROM log WHERE_time_(current_date)AND_time_>to_unixtime(date_add('day',-1,current_date))查询和分析结果 示例2：电商公司A通过访问日志中的 mobile 字段和 client_ip 字段，分析哪些客户的电话号码所在地和其...
分析业务过程
本教程中，经过业务过程调研，我们了解到A公司电商营销业务的交易订单功能模块的业务过程如下。这是一个非常典型的电商交易业务过程图。在该业务过程中，有 创建订单、买家付款、卖家发货、确认收货 四个核心业务环节。确认收货即表示交易...
划分数据域
例如A公司电商营销业务板块可以划分为如下数据域，数据域中每一部分都是实际业务过程经过归纳抽象之后得出的。数据域 业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、单击 交易域 下...
划分数据域
例如A公司电商营销业务板块可以划分为如下数据域，数据域中每一部分都是实际业务过程经过归纳抽象之后得出的。数据域 业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、点击 交易域 下...
数据引入层（ODS）
举例如下：1月1日，用户A访问了A公司电商店铺B，A公司电商日志产生一条记录t1。1月2日，用户A又访问了A公司电商店铺C，A公司电商日志产生一条记录t2。采用增量存储方式，t1将存储在1月1日这个分区中，t2将存储在1月2日这个分区中。1月1日，...
数据引入层（ODS）
举例如下：1月1日，用户A访问了A公司电商店铺B，A公司电商日志产生一条记录t1。1月2日，用户A又访问了A公司电商店铺C，A公司电商日志产生一条记录t2。采用增量存储方式，t1将存储在1月1日这个分区中，t2将存储在1月2日这个分区中。1月1日，...
划分主题域
划分示例 例如，A公司电商营销业务板块可以划分为如下表所示的主题域。主题域中的每一部分，都是根据实际业务过程进行归纳、抽象得出的。主题域 业务过程举例 会员和店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 ...
明确统计指标
确定指标 本教程中，用户是A公司电商营销部门的营销数据分析师。数据需求为最近一天厨具类目的商品在各省的销售总额、该类目销售额前10的商品名称、各省用户购买力分布（人均消费额）等，用于营销分析。基于规范定义，确认业务过程为确认收...
零售电商数据建模
通过对数据进行建模，平台可以发现数据中的规律和趋势，更好地进行数据分析和挖掘，因此零售电商公司需要搭建一套完整数据模型。我们会在DataWorks智能建模产品上完成整套模型的开发和管理，模型可以直接对接DataWorks其他模块，基于数仓云...
助力企业灰度上云产品实践
问题三：需敏捷，需要解决灰度及回退的敏捷性问题 A公司电商平台的在线用户数量虽然不多，但所有用户本质上都是渠道代理商，客单价较高。DCDN作为流量入口，不仅是精细维度的切换开关，还承载着交易、下单等用户核心业务接口的加速职责，...
DCDN助力企业灰度上云产品实践
问题三：需敏捷，需要解决灰度及回退的敏捷性问题 A公司电商平台的在线用户数量虽然不多，但所有用户本质上都是渠道代理商，客单价较高。DCDN作为流量入口，不仅是精细维度的切换开关，还承载着交易、下单等用户核心业务接口的加速职责，...
确定需求
数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表包含该数据功能模块，N代表不包含。本教程中，假设用户是电商营销部门的营销数据分析师。数据需求为最近一天某个类目（例如，厨具）...
确定需求
数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表包含该数据功能模块，N代表不包含。本教程中，假设用户是电商营销部门的营销数据分析师。数据需求为最近一天某个类目（例如，厨具）...
确定需求
业务流程 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y表示包含该功能模块，N表示不包含。本教程中，假设用户是电商营销部门的营销数据分析师。数据需求为最近一天某个商品类目（例如厨具）在各省的...
产品优势
经历实战检验 支撑阿里集团及关联公司在电商、社区、直播、音视频播放、支付等业务场景中，经历双11等大规模业务实战检验，具备海量的特征样本及丰富的数据模型开发与持续迭代经验，提供稳定和丰富的多场景多风险监测服务。即接即用 以API...
长周期指标的计算优化方案
实验背景 电子商务公司在电商数据仓库和商业分析场景中，经常需要计算最近N天的访客数、购买用户数、老客数等类似的指标。这些指标需要根据一段时间内的累积数据进行计算。通常，这些指标的计算方式为从日志明细表中查询数据进行计算。例如...
维度层（DIM）
例如，电商公司的商品维度可能有近百个维度属性，为下游的数据统计、分析、探查提供了良好的基础。尽可能多的给出包含一些富有意义的文字性描述。属性不应该是编码，而应该是真正的文字。在阿里巴巴维度建模中，通常是编码和文字同时存在，...
安全警示-网络信息侵权，导致商业纠纷
案例一：仿冒品牌购物网站诱导用户登录下单，侵犯权利人商标权 案例简介 2023 年 5 月，阿里云收到某购物网站 A 举报，发现阿里云客户名下网站*ng.shop 仿冒了其官方电商网站，诱导网民通过虚假网站登录和购买商品。阿里云根据举报方提供的...
成都信通使用EDAS从容应对大流量和高并发场景
公司简介 成都信通信息技术有限公司重点聚焦在金融科技、产业数字化、产业互联网、网信服务等领域深耕发展。公司自主研发、投资和运营成都市跨境电商公共服务平台，年通关货值超过10亿元；与蚂蚁金服开展深度合作，通过互联网数据、政务...
- 产品推荐
- 这些文档可能帮助您