迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
如何设计宽表主键
查询的数据存在只有时间一个维度或某一个维度数据量巨大的情况，主键设计为 long bucket=timestamp%numBuckets;[bucket][timestamp][hostname][log-event]。交易类数据。列举出四个场景设计主键。查询某个卖家某段时间内的交易记录，主键...
绑定企业微信
预留其他登录方式 重要 阿里云 IDaaS 将尽最大努力保证您的企业微信通讯录数据同步、身份验证的可用性，但是由于企业微信的可信域名、可信 IP 等校验方式和风险管控等规则并未具体公开，阿里云无法保证您能持续、稳定地通过企业微信账号...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
您可以选择一个或多个库的表、视图作为迁移对象。数据传输支持通过文本导入对象，并支持对目标端对象进行重命名、设置、移除单个或全部迁移对象等操作。操作 步骤 导入对象 在选择区域的右侧列表中，单击右上角的 导入对象。在对话框中，...
设备接入引导
SL 651协议 SL 651是国家水文局制定的用于水文监测数据通信的协议，它规定了水文监测数据采集与传输的格式、内容、传输方式等技术参数，支持通过TCP（安全性低，不推荐）和TLS两种方式将遥测站设备接入物联网平台。认证方式 一方认证：需要...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
大数据上云及巡检服务内容说明
根据乙方提供的需求调研表格，提供现有业务概况，如所用组件，数据源类型，数据源数量，迁移作业数，作业类型,作业运行方式，了解用户迁移所用阿里云组件，数据迁移方式（存量迁移方式/增量迁移方式），作业迁移方式，一致性校验标准等作为...
数据开发概述
进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。数据开发主要功能 数据开发（DataStudio）的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。...
CreateProduct
只校验设备数据的idetifier和dataType字段，不校验其他字段，可流转全量数据。校验通过的数据展示在物联网平台控制台对应设备的 设备详情 页 物模型数据 页签。校验不通过的数据则不展示。通过流转数据中的参数 checkFailedData，可查看...
创建数仓分层
背景信息 数据仓库是所有数据的集合，包括日志信息、数据库数据、文本数据、外部数据等都集成在数据仓库中。数仓分层、数据域、业务过程、数据集市、主题域等要素，共同确定了您此次建模的逻辑数仓架构。其中，数据域及业务过程位于公共层...
表设计规范
23个省，5个自治区，4个直辖市，2个特别行政区，50个地区（州、盟），661个市（其中直辖市4个、地级市283个、县级市374个），1636个县（自治县、旗、自治旗、特区和林区），按照最细粒度县进行分区后，不应再按照更细粒度的小时进行分区。...
内存型
性能对比 云数据库Redis版 实例采用与原生Redis相同的单线程模型，每个数据节点支持8万到10万的QPS；Tair 内存型采用多线程模型，由IO线程、Worker线程和辅助线程共同完成数据处理，单节点性能为云数据库Redis版实例的3倍左右。下表展示了...
CreateProject-创建项目
设置为 true，表示选择忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。注意 选择忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多数据的场景，...
创建指标质量规则
如需变更其中的某一条告警配置，可修改已有配置。自定义范围可选择当前监控对象下已配置的所有规则，不超过200条。告警配置名称 单个监控对象下告警配置名称唯一；不超过256字符。告警接收人 配置告警接收人及告警方式。需选择至少一种告警...
创建指标质量规则
如需变更其中的某一条告警配置，可修改已有配置。自定义范围可选择当前监控对象下已配置的所有规则，不超过200条。告警配置名称 单个监控对象下告警配置名称唯一；不超过256字符。告警接收人 配置告警接收人及告警方式。需选择至少一种告警...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
DMS分类分级扫描原理介绍
例如某一字段命中了多个识别模型，只要该规则的识别模型中包含其中一种即可。识别范围：筛选元数据。识别范围之间的关系包含AND或OR，若为AND，则字段的元数据必须符合所有的识别范围；若为OR，则字段元数据符合其中一种即可。相关文档 ...
GetDataCorrectOrderDetail-获取数据变更工单详细信息
获取数据变更工单详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
开通DataWorks服务
背景信息 为帮助您快速体验大数据平台的核心场景，每个地域首次开通DataWorks时，平台默认自动在相应地域为您开通MaxCompute按量付费产品（该产品不使用则不收费），并创建服务关联角色 AliyunServiceRoleForDataWorksEngine、...
计费逻辑说明
例如，一张表配置了两个分区表达式，每个表达式分别配置了两个数据质量校验规则，关联调度后，该调度任务运行时将同时运行该任务关联的数据质量表规则。如果任务最终执行成功，则运行一次任务将产生4个数据质量实例费。数据地图的数据探查...
config配置说明
eventInDataContainer 绑定了跟数据相关事件的组件，必须放置在数据容器内 { type:'object',format:'eventInDataContainer',description:'组件放置错误，该组件需放置在数据容器内，以便于进行数据传递',propName:'props.eventAction',...
从ECS上的自建Redis同步至Tair实例
数据传输服务DTS（Data Transmission Service）支持从ECS上的自建Redis同步至 云原生内存数据库Tair。警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的架构类型，否则会导致数据同步失败。前提条件 已创建源自建Redis实例和...
从ECS上的自建Redis同步至云数据库Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
云数据库Redis间的单向同步
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。前提条件 已创建目标Redis实例，创建方式，请...
快速配置SSL加密
步骤二：下载CA证书 开启云端证书后，RDS PostgreSQL数据库提供数据库CA证书供您下载，当您通过客户端远程连接RDS PostgreSQL数据库时，使用数据库CA证书可以对数据库真伪进行校验。切换证书来源为 使用云端证书，单击 下载CA证书。解压...
无锁结构变更方案对比
锁表变更对业务甚至是致命的，DDL无锁变更通过引入非触发器的方式可以解决大表无锁变更这个难题。本文介绍几种无锁结构变更方案的对比。线上业务不建议直接进行DDL操作，通常有几种做法来避免影响业务：业务低峰期变更：合适的变更窗口以及...
多选
多选为基础控件，选项菜单中可选择多个数据，用于数据 选项较多 且需要同时选择多个值的场景。应用场景 多选 控件常用于数据选项较多的场景。例如 满意度调研表。效果图 控件配置 基础配置 配置项 描述说明 ①显示标题：选择是否显示下拉多...
云数据库Redis间的迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service，简称DTS），实现 云数据库Redis 间的迁移。前提条件 已创建源和目标 云数据库Redis。说明 源和目标 云数据库Redis 的创建方式，请参见 创建Redis实例。支持的版本，请参见 ...
术语表
可用区 可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（实例）PolarDB-X采用多节点集群的架构，集群中有多个CN和DN，集群也称为实例。计算节点（Compute Node，简称CN）PolarDB-X实例...
企业版和标准版功能对比
不支持 支持 一写多读集群 PolarDB 采用分布式集群架构，一个集群版集群包含一个主节点和最多15个只读节点（可以只包含一个主节点），多个数据库节点构成数据库引擎层。主节点处理读写请求，只读节点仅处理读请求。主节点和只读节点之间...
创建实时元表规则
元表规则说明 规则类型 描述 统计趋势监测 统计趋势监测校验数据值及数据变化趋势。实时多链路对比 在业务有强保障场景中，可以通过实时双链路或实时三链路质量规则，监测数据。如果有异常，运维人员能够及时切换或备份数据。实时多链路...
创建实时元表规则
元表规则说明 规则类型 描述 统计趋势监测 统计趋势监测校验数据值及数据变化趋势。实时多链路对比 在业务有强保障场景中，可以通过实时双链路或实时三链路质量规则，监测数据。如果有异常，运维人员能够及时切换或备份数据。实时多链路...
X-Engine简介
如前文所述，X-Engine将每一层的数据划分为固定大小的Extent，一个Extent相当于一个小而完整的排序字符串表（SSTable），存储了一个层次中的一个连续片段，连续片段又进一步划分为一个个连续的更小的片段Data Block，相当于传统数据库中的...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
新功能发布记录
数据库迁移 新版数仓开发 新增 数仓开发通过项目空间、业务场景和任务流三级目录讲行项目管理，同时支持数仓分层管理，有利于清晰地管理某一情景下的数据仓库管理需求，充分满足各类复杂的数仓开发和管理需求。创建项目空间 01月 功能名称 ...
跨云账号迁移云数据库Redis实例
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS专属集群。...
自建PostgreSQL迁移至PolarDB PostgreSQL版
单个数据迁移任务只能迁移一个数据库，如需迁移多个数据库，您需要为每个数据库配置数据迁移任务。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会...
测试与发布API
开发的API只有通过测试并发布至数据服务市场中，用户才可以在数据服务市场中查询并申请调用该API的权限。本文为您介绍如何测试与发布API至数据服务市场中。前提条件 在开始执行操作前，请确认您已完成API的创建。更多信息，请参见 API任务...
- 产品推荐
- 这些文档可能帮助您