公共规范
公共字段定义规范 数据统计日期的分区字段按以下标准：按天分区：ds(YYYYMMDD)。按小时分区：hh(00~23)。按分钟：mi(00~59)。is_{业务}：表示布尔型数据字段。以 Y 和 N 表示，不允许出现空值域。原则上不需要冗余分区字段。数据冗余 一个...
数据模型
当您需要在不同业务场景中使用 云数据库 SelectDB 版 时，深入了解其数据模型对于您的业务设计具有重要帮助。本文档将指导您了解其数据模型，以帮助您设计出更优的数据存储方案。基本概念 在 云数据库 SelectDB 版 中，数据以表（Table）的...
命令行界面介绍
Influx的命令行界面（CLI），它是一个用来跟数据库进行交互的轻量级工具。有关如何下载使用CLI，可参考文档命令行界面。CLI默认通过端口3242向TSDB For InfluxDB® HTTP API发送请求，直接与TSDB For InfluxDB®通信。说明 也可以向数据库...
通过DataWorks实现MaxCompute跨项目迁移
本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。前提条件 请您首先完成教程《简单用户画像分析（MaxCompute版）》的全部步骤，详情请参见 简单用户画像分析（MaxCompute版）。背景信息 本文使用的被迁移的原始项目为教程《简单...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
通过DataWorks实现MaxCompute跨项目迁移
本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。前提条件 请您首先完成教程《简单用户画像分析（MaxCompute版）》的全部步骤，详情请参见 简单用户画像分析（MaxCompute版）。背景信息 本文使用的被迁移的原始项目为教程《简单...
配置并管理实时同步任务
忽略：直接丢弃该消息，不再向目标数据源发送对应的DML消息，对应数据不会改变。有条件的正常处理：选择后，您可以配置过滤条件，同步任务将按照您配置的过滤表达式对源端数据进行过滤，满足过滤条件的数据会被正常处理，不满足的会被忽略...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
技术原理
当提交一个分布式事务时，PolarDB-X 1.0 服务器会作为事务管理器的角色，等待所有数据节点（MySQL服务器）PREPARE成功，之后再向各个数据节点发送COMMIT请求。全局二级索引 全局二级索引（Global Secondary Index，GSI）支持按需增加拆分...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
配置规则：按模板（批量）
定义规则触发方式：关联调度 您可以单击 推荐关联调度 或 手动关联调度，为单个或多个数据质量规则关联产出表数据的调度节点（运维中心中产出表数据的节点，包括自动调度的周期实例，手动触发的补数据实例，测试实例），当节点任务执行时便...
文档更新动态（2022年）
新功能 补数据 补数据实例支持批量操作：新增一键重跑整个补数据实例、一键重跑、一键终止单个补数据任务下某个业务日期对应的所有实例。更新说明 补数据实例 批量操作升级：逻辑表实例列表、补数据实例列表批量操作内容优化。更新说明 ...
监控与报警
公网限速丢弃流出数据包 超过IPv6公网限速被丢弃的IPv6网关发送到公网的数据包数量。公网限速丢弃流入数据包 超过IPv6公网限速被丢弃的公网发送到IPv6网关的数据包数量。公网丢弃流出数据包 IPv6网关发送到公网被丢弃的数据包数量。公网...
批量或异步插入数据
批量插入数据 默认情况下，每个发送到云数据库ClickHouse的插入操作都会导致云数据库ClickHouse立即在存储中创建一个包含插入的数据以及其他需要存储的元数据信息。因此，相比较发送包含较少数据的大量插入操作，发送包含更多数据的较少...
查看并管理已生成实例
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层，如下图所示。区域 描述 ① ...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
查看并管理已生成实例
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层，如下图所示。区域 描述 ① ...
C100快速入门
本文介绍了购买C100数据库审计实例后，通过配置向导快速部署和使用数据库审计服务的具体操作。前提条件 已购买数据库审计实例。具体操作，请参见 购买数据库审计实例。背景信息 数据库审计服务支持审计自建数据库和阿里云原生数据库。具体...
补数据
解决措施 选择不并行，一个补数据实例下的多个业务日期串行执行，即上一个业务日期的补数据实例执行完，下一个业务日期的补数据实例才会执行。选择并行，您可以设置同时使用2组、3组、4组或5组等多个补数据实例进行补数据，即多个补数据...
D100快速入门
添加订阅报表任务后，数据库审计系统会定期向您指定的邮箱发送订阅的数据库审计报表，帮助您了解数据库状态。请参见以下步骤，创建订阅任务。在左侧导航栏，选择 报表中心>报表订阅。在 报表订阅 页面，单击 添加。在 添加订阅任务 面板，...
查看并管理已提交实例
③ 已提交实例列表 已提交实例页面以列表形式为您展示周期任务生成的已提交实例，包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息，请参见 查看已提交...
查看并管理已提交实例
③ 已提交实例列表 已提交实例页面以列表形式为您展示周期任务生成的已提交实例，包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息，请参见 查看已提交...
一键MaxCompute任务出错恢复
重要 执行全量补数据前，需要确认补数据的业务日期，是否可能和正在运行或者即将运行的Merge任务实例产生冲突（同时运行时，如果业务日期相同，分区数据或者表数据可能会相互覆盖）。您可以在DataWorks 运维中心 的 查看周期实例 页面查看...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
运行及排错
选择业务日期 选择补数据的业务日期，业务日期为 运行日期-1。当前任务 默认为当前节点，不可以更改。是否并行 可以选择 不并行 或指定允许几组任务同时运行。自动跳转至 补数据实例 页面，单击相应的实例，即可看到实例DAG图。右键单击...
设置数据风控
业务代码重写页面的请求发送方法或自定义请求提交，例如重写表单提交、重写XHR、自定义ajax提交等情况。业务代码中存在hook相关请求提交的内容。如果您的业务中可能存在不兼容问题，建议您在接入数据风控功能初期，选用预警模式并结合Web...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
全增量同步任务运维
执行全量补数据前，需要确认补数据的业务日期，是否可能和正在运行或者即将运行的Merge任务实例产生冲突（同时运行时，如果业务日期相同，分区数据或者表数据可能会相互覆盖）。您可以在DataWorks 运维中心 的 查看周期实例 页面查看该同步...
申请、续期和交还数据源权限
本文为您介绍如何申请和交还数据源权限。申请数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 申请数据源权限 对话框。在 申请数据源权限 对话框，配置参数。参数 描述 数据源 选择所需申请的数据源。如需...
申请、续期和交还数据源权限
本文为您介绍如何申请和交还数据源权限。申请数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 申请数据源权限 对话框。在 申请数据源权限 对话框，配置参数。参数 描述 数据源 选择所需申请的数据源。如需...
配置监控报告模板
报告模板管理页面支持动态配置报告模板，数据质量根据您配置的报告模板定时生成并发送报告。前提条件 您需要购买DataWorks企业版及以上版本，才可以使用报告模板管理功能。新增报告模板 登录 DataWorks控制台，切换至目标地域后，单击左侧...
治理分析
在 治理分析 页面，选择具体的报告日期展示基于该日期的业务数据（图示①），您也可以查看 存储 和 计算 的健康分（图示②）、分数的明细（图示③）及项目治理明细（图示④）。治理健康分 治理健康分包括 存储健康分 和 计算健康分 两部分...
治理分析
在 治理分析 页面，选择具体的报告日期展示基于该日期的业务数据（图示①），您也可以查看 存储 和 计算 的健康分（图示②）、分数的明细（图示③）及项目治理明细（图示④）。治理健康分 治理健康分包括 存储健康分 和 计算健康分 两部分...
交互分析管理
新建SQL参数 添加日期/时间类型 说明 创建一个日期区间（起始时间/截止时间）的变量，适用于使用日期列筛选数据源。单击 添加参数，打开 新建SQL参数 窗口。选择 日期/时间类型，单击 下一步。请根据表格内容，填写配置项。模块 参数 说明 ...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
StarRocks数据源
StarRocks数据源为您提供读取和写入StarRocks的双向通道，本文为您介绍DataWorks的StarRocks数据同步的能力支持情况。支持的版本 支持EMR Serverless StarRocks 2.5和3.1版本。支持EMR on ECS：StarRocks 2.1版本。详情请参见：StarRocks...
调度参数支持的格式
调度参数支持的格式 通常，调度参数用于获取不同的时间数据，您可根据业务需求，选择基于业务日期或定时时间获取相应时间数据。说明 DataWorks提供了部分 内置变量，其格式固定，为了使用更加灵活，建议您通过以下方式自定义时间格式。取值...
MapReduce
Map Worker在输出数据时，需要为每一条输出数据指定一个Key，这个Key值决定了这条数据将会被发送给哪一个Reduce Worker。Key值和Reduce Worker是多对一的关系，具有相同Key的数据会被发送给同一个Reduce Worker，单个Reduce Worker有可能会...
管理明细及汇总表任务字段
补数据：在指定的历史业务日期内对字段（指标）进行数据回刷。更多信息，请参见 周期任务补数据。修改运维负责人：汇总逻辑表支持修改当前指标的运维负责人。查看生产链路：查看单个逻辑表字段的生产链路。当某个字段被冗余到多个物化节点...
管理明细及汇总表任务字段
补数据：在指定的历史业务日期内对字段（指标）进行数据回刷。更多信息，请参见 附录：周期任务补数据。修改运维负责人：汇总逻辑表支持修改当前指标的运维负责人。查看生产链路：查看单个逻辑表字段的生产链路。当某个字段被冗余到多个...
- 产品推荐
- 这些文档可能帮助您