互联网、电商行业离线大数据分析
应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以...
ID-Mapping在游戏领域的解决方案
在电商业务中，可以将本地购物行为数据和电商网站上的行为数据合并，补全用户购物链路来分析用户喜好。发现黑灰产团伙 在电商营销领域，常常会遇到“刷单党”等，他们拥有多个设备和多个用户ID，用于赚取电商佣金、抢优惠券、刷好评等电商...
统计功能介绍
百度数据抓取：指百度搜索引擎的数据抓取访问您的网站的次数。Google数据抓取：指Google（谷歌）搜索引擎的数据抓取访问您的网站的次数。其他数据抓取：指其他搜索引擎（如搜搜、搜狗等）的数据抓取访问您的网站的次数。3.栏目统计 3.1 在...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
电商网站智能推荐
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
构建SaaS平台的事件总线
为了帮助商家高效地利用聚石塔电商数据，在聚石塔SaaS平台上孵化出了大量的ISVs，这些ISVs为商家开发了一些应用，帮助商家消化电商数据。如上图所示，链路中引入 事件总线EventBridge 可以加速ISVs创新，ISVs可以通过 事件总线EventBridge ...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、...60分钟 零售电商数据建模 DataWorks、MaxCompute 以电商场景为例，进行数据建模、分析。60分钟 DataWorks模块使用说明 为您汇总DataWorks核心子模块，便于您了解各个子模块的主要功能。15分钟
产品架构
如果源数据库为RDS MySQL，那么数据抓取模块通过Binlog dump协议连接源库。日志回放模块：日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步到...
快速体验
本文使用阿里电商数据集（commerce_ali_e_commerce 表），带您快速体验数据分析的相关功能。阿里电商数据集介绍：统计淘宝不同时间段的订单详情。表中记录了 2017年11月25日 至 2017年12月3日 之间，约100万用户的随机行为（包括点击、购买...
创建压测场景
例如，电商网站的登录、查询商品详情、提交订单等，分别对应一次用户行为中的多个请求API。串联链路是一组压测API的有序集合（类似于事务），具有业务含义。以下示例说明了串联链路和API之间的关系。淘宝网需要压测两个业务，要求两个业务...
准备工作
说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格）和timestamp（订单时间）。DataV数据可视化 登录DataV的用户名和密码...
创建压测场景
例如，电商网站的登录、查询商品详情、提交订单等，分别对应一次用户行为中的多个请求API。业务会话是一组压测API的有序集合（类似于事务），具有业务含义。以下示例说明了业务会话和API之间的关系。淘宝网需要压测两个业务，要求两个业务...
测试数据样例
新闻行业 bhv表：行为数据 item表：物品数据 user表：用户数据 内容行业 bhv表：行为数据 item表：物品数据 user表：用户数据 电商行业 bhv表：行为数据 item表：物品数据 user表：用户数据
大数据AI公共数据集分析
单击左侧导航栏的 大数据体验>公共数据集，单击 阿里电商数据集，进入 阿里电商数据集 详情页。单击右上角的 开始分析，选择您需要体验的引擎类型。本教程使用的是 MaxCompute。在新打开的 DataWorks SQL查询 页面中，会创建一个新的SQL...
长周期指标的计算优化方案
实验背景 电子商务公司在电商数据仓库和商业分析场景中，经常需要计算最近N天的访客数、购买用户数、老客数等类似的指标。这些指标需要根据一段时间内的累积数据进行计算。通常，这些指标的计算方式为从日志明细表中查询数据进行计算。例如...
负载说明
DBGateway按照TCP/IP协议解析抓取的网络数据包，过滤其他端口的数据包，只对流入MySQL端口的数据包进行分析。流入MySQL端口的数据包按照MySQL通讯协议拼成完整的SQL。DBGateway将多条SQL打包压缩后，加密上传到DAS的存储集群中。负载说明 ...
网络抓包
云防火墙提供网络抓包工具，允许您通过特定的IP和端口捕获互联网边界的流量数据包，便于您快速分析数据包内容、诊断网络问题以及审查潜在的攻击行为，进而揭示网络通信的安全隐患。本文介绍如何有效使用该网络抓包工具。限制说明 云防火墙...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
全增量同步任务常见问题
如何处理：参见 PolarDB数据源 的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
安全联邦学习-任务模式FL
适用场景：纵向安全联邦学习，适用于参与者训练样本ID重叠较多，而数据特征重叠较少的情况，例如某银行和某电商平台，分别拥有一部分客户数据，拥有的客户特征不一样，银行拥有客户的金融信用数据，电商拥有客户的电商消费数据，期望联合两...
行业分析器
行业-电商通用分析 分析器介绍 行业-电商通用分析器（chn_ecommerce_general）是根据集团多年积累的电商行业数据并借助达摩院先进的智能语言处理技术，贴合行业痛点与需求，推出的适用于电商行业场景的分析器。例如：原始内容：小金管遮瑕...
行业分析器
行业-电商通用分析 分析器介绍 行业-电商通用分析器（chn_ecommerce_general）是根据集团多年积累的电商行业数据并借助达摩院先进的智能语言处理技术，贴合行业痛点与需求，推出的适用于电商行业场景的分析器。例如：原始内容：小金管遮瑕...
安全联邦学习-工作流FL
适用场景：纵向安全联邦学习，适用于参与者训练样本ID重叠较多，而数据特征重叠较少的情况，例如某银行和某电商平台，分别拥有一部分客户数据，拥有的客户特征不一样，银行拥有客户的金融信用数据，电商拥有客户的电商消费数据，期望联合两...
API概览
GetTitleGenerate 标题优化 基于电商大数据，自动优化商品标题。GetTitleIntelligence 标题智能生成 通过类目、平台、关键词，自动生成商品标题。管理 API 标题 API概述 使用场景 OpenAlimtService 商品服务开通 商品服务开通。开通商品...
应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
维度建模概述
例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家ID、卖家ID等）、用户维度（性别、出生日期等）、商品维度（包括商品ID、商品名称、商品上架时间）等，此时您就可以将这些维度和属性...
AnalyticDB PostgreSQL助力彩数实现全文检索加工及...
背景信息 彩数（上海）商务咨询有限公司是韩国三星集团旗下第一企划公司全资控股中国子公司，上海市专精特新企业，主要业务是从社交媒体、新闻和电子商务网站采集分析数据，包括社交数据分析，电商数据分析，问卷分析，埋点数据分析等，...
标题优化调用指南
基于电商大数据，自动优化商品标题。注意事项 该接口已计划下线，不建议继续调用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否...
StarRocks概述
具体的业务场景如下所示：OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的...
通过 HyperLoglog 实现高性能多维数据透视
本文通过电商类数据透视示例，介绍了使用 AnalyticDB PostgreSQL 通过HLL预计算，实现毫秒级多维数据透视的方法。关于HyperLogLog的用法，请参考 使用HLL。实践总结 本文介绍的操作方法，涉及以下最佳实践。如您已了解操作方法，可以直接...
搭建电商平台网站流程
搭建电商平台，享受科技带来的效率。无需担心各类资质办理，阿里云专业服务人员全程代办。专业平台云·速成美站，搭建网站就和做PPT一样简单。参考如下流程，建设属于自己的电商平台网站吧。网站建设流程.aliware-img-container { position...
搭建电商平台网站流程
搭建电商平台，享受科技带来的效率。无需担心各类资质办理，阿里云专业服务人员全程代办。专业平台云·速成美站，搭建网站就和做PPT一样简单。参考如下流程，建设属于自己的电商平台网站吧。网站建设流程.aliware-img-container { position...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
应用场景
电商网站 某些应用，如抢红包应用、优惠券发放应用、电商网站和票务网站，访问量可能会在短时间内产生巨大的波动。您可以配合使用弹性伸缩，自动化实现在请求高峰来临前增加ECS实例，并在进入请求低谷时减少ECS实例。满足访问量达到峰值时...
创建逻辑模型：维度表
例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家ID、卖家ID等）、用户维度（性别、出生日期等）、商品维度（包括商品ID、商品名称、商品上架时间）等，此时您就可以将这些维度和属性...
表操作
如果在系统设计中存在要使用主键列自增的场景（例如电商网站的商品ID、大型网站的用户ID、论坛帖子的ID、聊天工具的消息ID等），请创建带自增主键列的数据表。更多信息，请参见 主键列自增。如果要落盘加密表中数据，请在创建数据表时配置...
- 产品推荐
- 这些文档可能帮助您