构建SaaS平台的事件总线
为了帮助商家高效地利用聚石塔电商数据，在聚石塔SaaS平台上孵化出了大量的ISVs，这些ISVs为商家开发了一些应用，帮助商家消化电商数据。如上图所示，链路中引入 事件总线EventBridge 可以加速ISVs创新，ISVs可以通过 事件总线EventBridge ...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、...60分钟 零售电商数据建模 DataWorks、MaxCompute 以电商场景为例，进行数据建模、分析。60分钟 DataWorks模块使用说明 为您汇总DataWorks核心子模块，便于您了解各个子模块的主要功能。15分钟
快速体验
本文使用阿里电商数据集（commerce_ali_e_commerce 表），带您快速体验数据分析的相关功能。阿里电商数据集介绍：统计淘宝不同时间段的订单详情。表中记录了 2017年11月25日 至 2017年12月3日 之间，约100万用户的随机行为（包括点击、购买...
准备工作
说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格）和timestamp（订单时间）。DataV数据可视化 登录DataV的用户名和密码...
ETL工作流快速体验
案例相关文档：零售电商数据建模。GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在...
大数据AI公共数据集分析
单击左侧导航栏的 大数据体验>公共数据集，单击 阿里电商数据集，进入 阿里电商数据集 详情页。单击右上角的 开始分析，选择您需要体验的引擎类型。本教程使用的是 MaxCompute。在新打开的 DataWorks SQL查询 页面中，会创建一个新的SQL...
长周期指标的计算优化方案
实验背景 电子商务公司在电商数据仓库和商业分析场景中，经常需要计算最近N天的访客数、购买用户数、老客数等类似的指标。这些指标需要根据一段时间内的累积数据进行计算。通常，这些指标的计算方式为从日志明细表中查询数据进行计算。例如...
AnalyticDB PostgreSQL助力彩数实现全文检索加工及...
背景信息 彩数（上海）商务咨询有限公司是韩国三星集团旗下第一企划公司全资控股中国子公司，上海市专精特新企业，主要业务是从社交媒体、新闻和电子商务网站采集分析数据，包括社交数据分析，电商数据分析，问卷分析，埋点数据分析等，...
测试数据样例
新闻行业 bhv表：行为数据 item表：物品数据 user表：用户数据 内容行业 bhv表：行为数据 item表：物品数据 user表：用户数据 电商行业 bhv表：行为数据 item表：物品数据 user表：用户数据
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
行业分析器
行业-电商通用分析 分析器介绍 行业-电商通用分析器（chn_ecommerce_general）是根据集团多年积累的电商行业数据并借助达摩院先进的智能语言处理技术，贴合行业痛点与需求，推出的适用于电商行业场景的分析器。例如：原始内容：小金管遮瑕...
行业分析器
行业-电商通用分析 分析器介绍 行业-电商通用分析器（chn_ecommerce_general）是根据集团多年积累的电商行业数据并借助达摩院先进的智能语言处理技术，贴合行业痛点与需求，推出的适用于电商行业场景的分析器。例如：原始内容：小金管遮瑕...
安全联邦学习-任务模式FL
适用场景：纵向安全联邦学习，适用于参与者训练样本ID重叠较多，而数据特征重叠较少的情况，例如某银行和某电商平台，分别拥有一部分客户数据，拥有的客户特征不一样，银行拥有客户的金融信用数据，电商拥有客户的电商消费数据，期望联合两...
向量分析器
特点：针对电商行业特点进行优化，适用于大多数电商搜索场景。注意：仅适用于TEXT文本类型。仅电商行业模板可选。向量－教育向量通用 介绍：适用于面向教育行业的通用性内容的128维向量分析器。特点：针对教育行业特点进行优化，适用于...
安全联邦学习-工作流FL
适用场景：纵向安全联邦学习，适用于参与者训练样本ID重叠较多，而数据特征重叠较少的情况，例如某银行和某电商平台，分别拥有一部分客户数据，拥有的客户特征不一样，银行拥有客户的金融信用数据，电商拥有客户的电商消费数据，期望联合两...
API概览
GetTitleGenerate 标题优化 基于电商大数据，自动优化商品标题。GetTitleIntelligence 标题智能生成 通过类目、平台、关键词，自动生成商品标题。管理 API 标题 API概述 使用场景 OpenAlimtService 商品服务开通 商品服务开通。开通商品...
应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
准备工作
电商行业：按照 电商行业 数据规范。新闻行业：按照 新闻行业 数据规范。如果想要先测试功能或接口，则可通过上传如下的测试数据。测试数据 智能推荐服务提供了可以用来测试的数据，您可以从下面的链接中下载对应的数据。下载链接：测试...
维度建模概述
例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家ID、卖家ID等）、用户维度（性别、出生日期等）、商品维度（包括商品ID、商品名称、商品上架时间）等，此时您就可以将这些维度和属性...
标题优化调用指南
基于电商大数据，自动优化商品标题。注意事项 该接口已计划下线，不建议继续调用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
StarRocks概述
具体的业务场景如下所示：OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的...
通过 HyperLoglog 实现高性能多维数据透视
本文通过电商类数据透视示例，介绍了使用 AnalyticDB PostgreSQL 通过HLL预计算，实现毫秒级多维数据透视的方法。关于HyperLogLog的用法，请参考 使用HLL。实践总结 本文介绍的操作方法，涉及以下最佳实践。如您已了解操作方法，可以直接...
规范定义最佳实践
基于Dataphin建模理论和业务需求，明确并规范...定义指标 业务数据 数据板块 电商业务 主题域 交易域 维度 商品种类 业务过程 下单购买 业务限定 商品种类为干果类 时间周期 最近1天 原子指标 销售总额 派生指标 最近1天干果类商品销售总额
规范定义最佳实践
基于Dataphin建模理论和业务需求，明确并规范...定义指标 业务数据 数据板块 电商业务 主题域 交易域 维度 商品种类 业务过程 下单购买 业务限定 商品种类为干果类 时间周期 最近1天 原子指标 销售总额 派生指标 最近1天干果类商品销售总额
维度建模
英文缩写 主题域名称 所属数据集市 备注 ec360 电商360 电商集市-open_red 开门红 电商集市-rfd 退款 电商集市-lgt 物流 电商集市-flow 流量通道 电商集市-act 活动 电商集市-byr 买家 电商集市-brand 品牌 电商集市-cate 品类 电商集市-...
应用介绍
涉及到淘宝、天猫、1688、其他三大类，分为商品管理、商品数据、电商售后、电商退款、订单数据、订单信息、风险监测、客户消息、售后发货、售后退货、售后退款、数据处理、物流管理、图片处理、活动运营、alikey专区等17个小类 2....
创建逻辑模型：维度表
例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家ID、卖家ID等）、用户维度（性别、出生日期等）、商品维度（包括商品ID、商品名称、商品上架时间）等，此时您就可以将这些维度和属性...
冷热分层
冷数据特点 数据量大：相对于热数据，冷数据通常需要保存较长时间，甚至永久保存。成本管控：数据量大且访问频率较低，不宜投入过多成本。性能要求低：相较于普通的TP请求查询，无需在毫秒级别返回。冷数据的查询可以接受数十秒甚至更长...
产品架构
时序引擎 LindormTSDB 是面向海量时序数据设计的分布式时序引擎，兼容开源OpenTSDB等标准接口，其基于时序数据特点和查询方式，采用Timerange+hash结合的分区算法，时序专向优化的LSM架构和文件结构，支持海量时序数据的低成本存储、预降...
ID-Mapping在游戏领域的解决方案
在电商业务中，可以将本地购物行为数据和电商网站上的行为数据合并，补全用户购物链路来分析用户喜好。发现黑灰产团伙 在电商营销领域，常常会遇到“刷单党”等，他们拥有多个设备和多个用户ID，用于赚取电商佣金、抢优惠券、刷好评等电商...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
电商行业
概述 电商行业数据规范，历史数据及实时数据的上传均需要遵守此规范 数据描述 如果您当前业务形态属于电商行业，启用智能推荐服务需要准备3张数据表。物品表（item）：此处即指商品。最近推荐场景内全部可以被推荐商品的全量表。由于item...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
应用场景
本节主要介绍 OceanBase 数据库的主要应用场景。交易支付透明拆分 交易支付是蚂蚁集团最核心的一个业务，最初...由于 OceanBase 数据库的原生分布式数据库特点，可以完美地解决传统数据库的单点性能瓶颈问题，而且还可以节省扩容带来的成本。
公开数据集概述
TPCx-BB 10GB性能测试集 TPCx-BB 100GB性能测试集 TPCx-BB 1TB性能测试集 TPCx-BB 10TB性能测试集 tpcbb_10g tpcbb_100g tpcbb_1t tpcbb_10t 数字商业 包括淘宝广告、淘宝购物、阿里电商等数据。数字商业数据集 commerce 生活服务 包括二手...
数据模型架构规范
您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当的冗余，即宽表化处理。公共汇总粒度事实层：以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段来物理化...
- 产品推荐
- 这些文档可能帮助您