MySQL分库分表同步至Hologres（方案1.0）
正常处理：源端DML消息将会继续下发给目标数据源，由目标数据源来处理。忽略：直接丢弃该消息，不再向目标数据源发送对应的DML消息，对应数据不会改变。有条件的正常处理：选择后，您可以配置过滤条件，同步任务将按照您配置的过滤表达式对...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
应用介绍
涉及到淘宝、天猫、1688、其他三大类，分为商品管理、商品数据、电商售后、电商退款、订单数据、订单信息、风险监测、客户消息、售后发货、售后退货、售后退款、数据处理、物流管理、图片处理、活动运营、alikey专区等17个小类 2....
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
JDBC 连接池配置示例
OceanBase 的 JDBC 驱动在默认情况下会无视 executeBatch()语句，把批量执行的一组 SQL 语句拆散，一条一条地发给数据库，此时批量插入实际上是单条插入，直接造成较低的性能。要想实际执行批量插入，需要将该参数置为 TRUE，驱动才会批量...
API概览
GetTitleGenerate 标题优化 基于电商大数据，自动优化商品标题。GetTitleIntelligence 标题智能生成 通过类目、平台、关键词，自动生成商品标题。管理 API 标题 API概述 使用场景 OpenAlimtService 商品服务开通 商品服务开通。开通商品...
标题优化调用指南
基于电商大数据，自动优化商品标题。注意事项 该接口已计划下线，不建议继续调用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
应用场景
大数据 大数据具有数据规模大、数据类型多样、生成速度快、价值巨大但密度低的特点，如何高性价比存储海量持续增长的数据以及快速从海量数据中获取有价值的信息成为大数据领域的关注重点。表格存储 数据湖架构能有效的解决大数据领域面临的...
使用Redis搭建电商秒杀系统
秒杀活动是绝大部分电商选择的低价促销、推广品牌的方式。不仅可以给平台带来用户量，还可以提高平台知名度。一个好的秒杀系统，可以提高平台系统的稳定性和公平性，获得更好的用户体验，提升平台的口碑，从而提升秒杀活动的最大价值。本文...
跨境SaaS:深圳市易仓科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳市...
多元索引介绍
索引同步 用户为数据表创建了多元索引后，当在数据表中写入数据时，数据会先写入数据表中，数据写成功后会立即返回用户写成功，同时另一个异步线程会从数据表中读取写入的数据然后写入到多元索引，采用异步方式创建多元索引不会降低表格...
热点行优化
在前面提到的对更新操作进行分组的机制中，只有每组的Leader遍历索引定位数据行，之后把更新后的数据行缓存（Row Cache）在内存中，同组的Follower加锁成功后，直接从内存中读取目标数据行，而不需要再次遍历索引。这样一来，从整体上减少...
通过仪表板分析数据
本入门教程使用Quick BI专业版，通过Quick BI连接外部数据源，进行数据分析和报表搭建，为您展示如何快速上手Quick BI。入门概述 Quick BI 是一款专为云上用户和企业量身打造的新一代自助式智能BI服务平台，其简单易用的可视化操作和灵活...
多主集群（库表）商业化
汇聚库场景：更加低成本且方便的汇聚多个写入节点的数据 场景特点：传统的集群架构下，需要有多个独立的支持业务OLTP读写请求的前端集群，然后再有一套用来汇聚所有数据的集群，汇聚库和前端集群通过DTS等数据同步工具定期同步数据。...
边缘函数在手淘App前端优化和小程序场景下的应用
常规情况下，有2种渲染技术：CSR客户端渲染：由客户端去发起，把整个异步的请求去拿到动静态的数据，最后回到客户端生成动静态数据，然后把这些动静态的数据渲染成最终的1个HTML的结果。这种渲染技术的缺点是客户端压力大、请求多延迟不可...
边缘函数在手淘App前端优化和小程序场景下的应用
常规情况下，有2种渲染技术：CSR客户端渲染：由客户端去发起，把整个异步的请求去拿到动静态的数据，最后回到客户端生成动静态数据，然后把这些动静态的数据渲染成最终的1个HTML的结果。这种渲染技术的缺点是客户端压力大、请求多延迟不可...
长周期指标的计算优化方案
您可以通过增量累计方式计算长周期指标的方式，不需要读取N个分区的数据，而是把N个分区的数据压缩合并成一个分区的数据，让一个分区的数据包含历史数据的信息。场景示例 计算最近1天店铺商品的老买家数。老买家是指过去一段时间有购买的...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
零售电商数据建模
层级 描述 数据引入层 ODS（Operational Data Store）ODS层用于存放 未经过处理的原始数据 至数据仓库系统，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。公共维度层 DIM（Dimension）DIM层使用维度...
电商行业
概述 电商行业数据规范，历史数据及实时数据的上传均需要遵守此规范 数据描述 如果您当前业务形态属于电商行业，启用智能推荐服务需要准备3张数据表。物品表（item）：此处即指商品。最近推荐场景内全部可以被推荐商品的全量表。由于item...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
通过选投策略配置，快速搭建推荐场景
数据规范参考：电商行业。 此处，我们选择同时满足以下3个条件的商品： 1、物品类目：点击下拉框选择相应的类目。 注：此选项和 item表中category_path字段对应。 2、发布时间天的商品。 注：此选项和 item表中pub_time字段对应...
通义千问大模型数据推理和交互
本文介绍了如何通过扩展的SQL在 PolarDB 上使用通义千问大模型，并通过模型生成的数据来和数据库中的数据进行交互。简介 通义千问大模型基于Transformer大语言模型，在超大规模的预训练数据上进行训练。预训练数据类型多样，覆盖广泛，包括...
RecognizeBasic-电商图片文字识别
接口说明 本接口适用场景 阿里云电商图片文字识别，是阿里云官方自研 OCR 文字识别产品，支持电商商品宣传图片、社区贴吧图片、网络 UGC 图片识别，针对电商海量图片内容核查就场景进行特定优化，只输出文字块内容及坐标，极大提升识别效率...
PolarDB for AI助力菜鸟实现一站式数据智能
公司介绍 菜鸟是全球电商物流行业领导者，全球跨境电子商务物流提供商，也是中国顶尖的电商综合供应链提供商。凭借出色的“电商和科技”基因，构建了一张全球智慧物流网络，通过不断创新解决方案，满足高速增长的复杂电商物流需求。通过...
维度建模
英文缩写 主题域名称 所属数据集市 备注 ec360 电商360 电商集市-open_red 开门红 电商集市-rfd 退款 电商集市-lgt 物流 电商集市-flow 流量通道 电商集市-act 活动 电商集市-byr 买家 电商集市-brand 品牌 电商集市-cate 品类 电商集市-...
调用问题
各产品QPS限制如下表，如有扩展需求，请与我们联系钉钉群号：23369411 产品名称 QPS 通用版翻译引擎 50 专业版翻译引擎 50 定制版翻译引擎 3 文档翻译 5 通用图片翻译 20 电商图片翻译 20 身份证翻译 10 驾照翻译 40 语种识别 50 跨境电商...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
ID-Mapping在游戏领域的解决方案
发现黑灰产团伙 在电商营销领域，常常会遇到“刷单党”等，他们拥有多个设备和多个用户ID，用于赚取电商佣金、抢优惠券、刷好评等电商活动，极大的破坏电商的健康生态，给商户和平台带来极大困扰。使用ID-Mapping技术，可以将不同ID关联...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
使用do-while节点实现复杂的数据分析
本文示例：原始数据 在电商行业中，由于每天的订单量可能很大，因此在DataWorks中已创建了一个按天（下单时间的年月日）分区的订单表。即：每天创建的订单放在同一个分区，分区字段值为下单时间的年月日缩写。例如：分区 20220901 中存放...
适用场景
业务波动大的用户 互联网电商或发送通知的一些服务，由于运营的需要，短期需要进行大额的交易或者通知，这一类服务，如果提前准备大量的节点资源或者进行容量预估，就会费时费力费资金，Serverless Hbase 应用形态同样适合此类客户。如下图...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
应用场景
由于大数据类型实例规格采用了本地存储的架构，云服务器ECS在保证海量存储空间、高存储性能的前提下，可以为云端的Hadoop集群、Spark集群提供更高的网络性能。更多详情，请参见 大数据型实例规格族。图形渲染 异构GPU具有优异的GPU计算加速...
大数据安全治理的难点
大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，难免会出现遗漏的...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数...
- 产品推荐
- 这些文档可能帮助您