文档修订记录
2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，计费项明细账单、计费项账单按天汇总等。订阅成功后，账单数据会定时同步至MaxCompute，您可使用...
功能更新动态（2024年）
新建及管理数据标准 新建及管理标准集 新建和管理标准代码（码表）新建和管理词根 有效映射关系管理 无效映射关系管理 数据质量 质量监控告警配置升级：支持给不同的规则配置不同的告警方式以实现区分告警，告警范围包括所有规则、所有强...
文档更新动态（2024年）
更新说明 新建及管理数据标准 新建及管理标准集 新建和管理标准代码（码表）新建和管理词根 有效映射关系管理 无效映射关系管理 资产质量-质量监控-质量规则 质量监控告警配置升级：支持给不同的规则配置不同的告警方式以实现区分告警，告...
模型配置
算法模型使用的行为数据集、商品标签数据集的数据要求与一般数据集有所不同，请分别参见 行为数据集样例、商品标签数据集样例 准备数据。行为数据集、商品标签数据集数据均存储于同一个ADB3.0类型的数据源中，且数据源已接入Quick Audience...
Insight 更新日志
未启用报表服务的代码库弹窗中增加搜索代码库，方便查找需要开启报表服务；扩展代码度量指标卡的使用场景，丰富创建代码度量报表、Codeup-仓库内报表修改时可选的指标卡；流水线运行记录明细数据时间精确到秒、并增加结果状态信息；普通...
基本概念
事件 事件用于记录用户在 App 内的一个动作。您可以在任意动作（如按钮点击）触发时，埋入一个自定义事件。事件 ID 用于唯一标识一个事件。事件是 App 全局的，因此，同一个 mPaaS 应用中事件 ID 必须唯一。事件分析 事件及其属性信息会以...
创建调度任务
路由策略 选择执行任务的路由策略，可选值：随机：每次执行都随机分发到客户端服务器上。定向：每次执行都分发到同一个客户端服务器上。暂不支持指定客户端服务器 IP。轮询：每次执行依次分发到每台客户端服务器上。通信方式 选择任务的...
数据开发概述
流程管控：任务在开发过程可结合数据开发（DataStudio）自带的 代码评审、冒烟测试 等功能，以及 数据治理中心 预设的检查项、开放平台 基于扩展程序实现自定义逻辑校验等功能，保障开发任务符合规范。说明 不同工作空间模式涉及的流程管控...
2023年
新说明 使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行环境，以及提供部分场景下的解决方案。PyODPS DataFrame的代码运行...
公开数据集概述
TPC-DS 100GB性能测试集 TPC-DS 1TB性能测试集 TPC-DS 10TB性能测试集 tpcds_10g tpcds_100g tpcds_1t tpcds_10t TPC-H TPC-H是一个面向决策支持的基准，它由一套面向业务的即席查询和并发数据修改组成，在大数据量下执行高度复杂的查询，...
创建调度任务
}.} 路由策略 选择执行任务的路由策略，可选值：随机：每次执行都随机分发到客户端服务器上。定向：每次执行都分发到同一个客户端服务器上。暂不支持指定客户端服务器 IP。轮询：每次执行依次分发到每台客户端服务器上。通信方式 选择任务...
列存索引如何实现高效数据过滤
列存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝，以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝（pruning or data skipping）技术。背景与作用 在HTAP场景中，PolarDB IMCI...
内网DNS日志
rrset 权威资源记录集 additional_rrset 其他资源记录集 2、应答日志示例 日志字段 说明 示例数据（仅做格式参考）user_id 阿里云账号ID xxxxxxxxxxxxxxxx region_id 地域 cn-shanghai vpc_id VPC实例ID vpc-xxxxxxxxxxxxxxxxxxxxx src_...
内网DNS解析日志转存SLS
什么是内网DNS解析日志 内网DNS解析日志（Intranet DNS Resolution Log)记录了指定阿里云UID下所有VPC网络内终端产生的DNS域名解析请求和应答（包括请求的地域、请求的VPC ID、源IP地址、目的IP地址（DNS服务地址）、查询的域名、记录类型...
X-Engine最佳实践
在用户量持续爆炸性增长的前提下，聊天记录的永久保存给钉钉业务带来极大的成本压力，同时在数据爆炸性增长的前提下保证聊天记录的读写性能不降低也是一个极大的挑战。在初期采用InnoDB引擎并面临存储的压力时，钉钉考虑了多种候选方案，...
快速体验
在临时查询文件的代码编辑区域，编辑并运行如下代码。基于公共数据集，统计淘宝不同时间段订单数量并排序。SET odps.namespace.schema=true;SELECT CASE WHEN CAST(SUBSTR(behavior_time,12)AS BIGINT)>=0 AND CAST(SUBSTR(behavior_time,...
列存索引中TopK算子的实现
在没有索引的情况下，此类查询在数据库中是通过基于堆的经典TopK算法来实现的，逻辑如下：在内存中维护一个大小为K的堆，堆顶元素是最小的元素，将遍历到的数据与堆顶元素比较，如果比堆顶元素大，替换堆顶元素，并重建堆。遍历完数据后，...
货品推荐概述
基于算法模型进行预测时，可预测的用户、商品和周期范围取决于行为数据集：可预测用户范围：算法模型使用的行为数据集涉及的用户，且用户在该行为数据集中必须在近1年内有购买行为，即近1年内没有购买行为的用户不可预测。其中，近1年是指...
使用SQL分析连接
内置公共数据集Demo，您可以直接打开公共数据集Demo的SQL文件，直接执行代码，基于公开数据集体验及测试MaxCompute。使用场景 SQL分析的使用场景如下：初次体验及测试MaxCompute的使用者：可以通过SQL分析，使用公开数据集快速体验...
基本概念
工作流快照（SnapShot）每次运行PipelineDraft（包括完整运行、单节点运行、部分节点运行），都会记录完整PipelineDraft的配置信息，包括节点配置、运行参数、执行方式等，这些信息可以用于PipelineDraft的版本记录及配置回滚。工作流任务...
快速入门
任务调度产品支持多种任务类型，包括简单任务、集群任务，您可以根据业务的需求，选择其一实现业务。本文以简单任务为例，介绍如何快速完成一个简单任务的本地开发以及控制台任务配置等。说明 若您需要任务调度工程示例代码，请下载 示例...
产品月度更新总览
可通过自动化规则设置实现评审完成需求自动流转到下一个状态（如待开发）状态。项目协作更新日志 功能优化 进度字段支持0-100区间合法性校验。自动化规则复制命名优化。云效测试管理 Testhub 测试计划支持导出执行结果 测试计划的管理员...
配置do-while节点
DataWorks为您提供循环节点（do-while节点），您可以重新编排do-while节点内部的业务流程，将需要循环执行的逻辑写在节点内，再编辑end循环判断节点来控制是否退出循环。同时您也可以结合赋值节点来循环遍历赋值节点传递的结果集。本文通过...
如何设计Rowkey
最佳设计示例：在有限的查询方式下如何实现复杂查询？以下方法可以帮您实现。再新建一张表作为索引表。使用Filter在服务端过滤不需要的数据。使用二级索引。使用反向scan方法实现倒序（将新数据排在前面），scan.setReverse(true)。说明 ...
Spec细则
如果您希望在控制台的执行结果中看到Custom Runtime的运行日志，需要在代码中记录请求开始和结束的日志。日志内容 是否必选 代码 启动Runtime 否 说明 该内容为函数冷启动的标志。FunctionCompute${runtime} runtime inited.说明${runtime}...
迁移说明
旧版：一行仅记录一种属性，若一行记录了品牌，就不能同时记录品类、商品等其他属性，导致一次用户行为保存多行记录才能满足业务需要，造成额外占用计算资源。新版：支持在一行中记录任意多个属性，一次用户行为仅需保存一行记录，计算效率...
功能更新动态（2023年）
提交SPARK_JAR_ON_MAX_COMPUTE计算任务时，系统自动去除从Windows操作系统下复制的代码的开头和末尾的控制字符（\r、）。MaxCompute新增支持qualify和tablesample语法。MaxCompute SQL支持表字段名称使用系统保留字和关键词，但不推荐使用...
如何设计宽表主键
最佳设计示例：在有限的查询方式下如何实现复杂查询？以下方法可以帮您实现。再新建一张表作为索引表。查询条件给定非主键列范围，服务端会使用Filter过滤不需要的数据。使用二级索引。使用 ORDER BY 方法实现倒序（将新数据排在前面），...
mysqlclient 连接 OceanBase 数据库
定义函数 select_all，该函数主要实现了查询指定表中的所有记录的功能。使用 with 语句管理数据库连接和游标对象的生命周期，保证了数据库连接和游标对象的安全关闭，避免了内存泄漏等问题。定义 SQL 语句，执行查询操作并遍历查询结果，...
文档更新动态（2023年）
提交SPARK_JAR_ON_MAX_COMPUTE计算任务时，系统自动去除从Windows操作系统下复制的代码的开头和末尾的控制字符（\r、）。MaxCompute新增支持qualify和tablesample语法。MaxCompute SQL支持表字段名称使用系统保留字和关键词，但不推荐使用...
构建审计日志的分析方案
DOWNLOAD 自助取数（包括表格上创建的取数任务）操作目标类型（targetType）操作目标类型 操作目标对应的中文名称 DIRECTORY 文件夹 DATASOURCE 数据源 CUBE 数据集 PAGE 仪表板 WORKSHEET 工作表 DASHBOARDOFFLINEQUERY 自助取数 ...
Tair持久化与备份恢复
数据恢复 从备份集恢复至新实例 Tair 支持从指定的备份集创建新实例，新实例中的数据将和该备份集中的数据一致，可用于数据恢复、快速部署业务或数据验证等场景。通过数据闪回按时间点恢复数据 开启数据闪回功能（基于 AOF）后，在备份文件...
使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
基本概念
安全断言标记语言 安全断言标记语言（SAML 2.0）是实现企业级用户身份认证的标准协议，它是SP和IdP之间实现沟通的技术实现方式之一。SAML 2.0已经是目前实现企业级SSO的一种事实标准。单点登录 阿里云支持基于SAML 2.0的单点登录SSO...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
解析记录分组管理
概述 解析记录分组管理：可以将解析记录通过分组的方式进行归类和管理。设置方法 登录 云解析控制台。在 域名解析 页面，权威域名 页签下，单击目标域名，进入 解析设置 页面。在 解析设置 页面，单击 全部记录 下拉框，单击“+”图标，...
公告
2024年02月27日-Dataphin新版本发布 Dataphin于2024年02月27日发布V3.13版本，本次升级相比较历史版本：新增排他编辑锁功能，支持在锁定期内不被其他用户抢锁，保障内容的安全性。新增Amazon S3、TDengine数据源；MySQL数据源新增RDS ...
数据湖集群
部署集 可以在创建集群 硬件配置 页面的 实例 区域，选择是否开启部署集开关。可以在新增Core节点组时，选择是否开启部署集开关。功能受限。节点组状态 支持。不支持。混合节点 支持同规格的不同机型混合。仅支持同规格机型。弹性伸缩节点...
FMT 模式参与者
这样就可以被分布式事务的发起方进行调用，来保证分布式场景下的数据一致性。假设该应用数据访问服务实现如下：public class DataServiceImpl implements com.xxx.DataService{ //服务实现 } 基于 SOFARPC 的服务发布 如果需要发布为 ...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
- 产品推荐
- 这些文档可能帮助您