小版本升级
PolarDB 集群架构共三层：数据库代理Proxy、数据库内核引擎DB和数据库分布式存储Store。您可以根据实际情况单独升级Proxy或内核引擎，也可以绑定一起升级。关于版本或者主动运维升级的相关问题，可加钉钉群咨询，群号：51685000218。注意...
版本管理
PolarDB 集群架构共三层：数据库代理Proxy、数据库内核引擎DB和数据库分布式存储Store。您可以根据实际情况单独升级Proxy或内核引擎，也可以绑定一起升级。注意事项 版本升级一般不超过30分钟，升级过程中会重启数据库代理Proxy或内核引擎...
版本管理
PolarDB 集群架构共三层：数据库代理Proxy、数据库内核引擎DB和数据库分布式存储Store。您可以根据实际情况单独升级Proxy或内核引擎，也可以绑定一起升级。注意事项 版本升级一般不超过30分钟，升级过程中会重启数据库代理Proxy或内核引擎...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
多账号统一管理
便于企业有效地执行数据安全管理任务，如自动发现敏感数据、数据分类分级、以及对潜在安全威胁的监测和报警。本文介绍如何使用多账号统一管理功能。使用须知 使用多账号统一管理功能的阿里云账号和被管理的阿里云账号必须同属于一个资源...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
批量新增离线数据同步任务
本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务...
中国国家边界
填充颜色：数据中最大、最小及为数据为空的value值对应区域的颜色，请参见 颜色选择器说明 进行修改。说明 填充颜色 配置项功能，对应数据面板中的 fillColor 字段。如果两者都进行了配置，DataV优先使用数据中的配置。线样式 参数 说明 ...
使用DataWorks
如果您需要导出多张表数据，需要创建多个离线数据同步节点。操作流程 通过数据集成导出MaxCompute数据的流程如下：添加MaxCompute数据源 将MaxCompute数据源添加至DataWorks的数据源列表。添加目标数据源 将目标数据源添加至DataWorks的...
我的看板
数据来源 在工作台中创建并发布的数据看板内容，会同步在此处展示，若数据看板仅编辑完成，但是未发布，则在此处不展示。如需编辑某一看板内容，请单击页面右上角的 前往可视化工作台，编辑并发布对应数据看板后，刷新当前页面即可。操作...
飞线层
type 对应数据中的 type 字段，如果飞线类型的 type 与数据中 type 字段不一致时，飞线层会使用 默认颜色 进行渲染。图 1.飞线类型样式 图 2.飞线数据 数据面板 配置字段说明 字段 说明 from 飞线起始位置的经纬度，经纬度之间用半角逗号...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
任务中心
任务中心对数据资源平台中的数据同步、数据开发、标签加工等任务和实例进行运维管理。数据资源平台各模块发起的任务，如数据同步、数据开发、标签加工等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务流程，任务流中...
概述
任务中心对 企业数据智能平台 中的数据同步、数据开发、标签同步、质量评估等任务和实例进行运维管理。企业数据智能平台 各模块发起的任务，如数据同步、数据开发、标签加工 等，都会发到对应的任务流，不同的任务来源通过业务类型区分。...
概述
任务中心对 数据资源平台 中的数据同步、数据开发、标签同步、质量评估等任务和实例进行运维管理。数据资源平台 各模块发起的任务，如数据同步、数据开发、标签加工 等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务...
添加 MySQL 数据源的白名单
复制 OMS 控制台 添加数据源 对话框中显示的 OceanBase 数据传输服务器的 IP 地址。在安全组详情页面的 访问规则>入方向 区域，单击 快速添加。您也可以选择 手动添加，手动输入 端口范围、授权对象 等信息。在 快速添加 对话框，粘贴复制...
按自定义时间列冷热分离
Lindorm宽表引擎支持按自定义时间列归档冷热...Q：如果在一行数据中未写入自定义时间列，那么这一行数据还会冷热分离吗？A：不会。自定义时间列是系统对数据冷热分离存储的依据。如果一行数据未写入时间，那么这行数据会被保留在热存储区。
创建数据源
概述 您可以通过以下方式创建 OceanBase 开发者中心（OceanBase Developer Center，ODC）数据源：ODC 首页中创建数据源：进入 ODC 首页后，单击 新建数据源 按钮创建数据源。公有云实例中创建数据源：公有云的实例中，单击 登录数据库，...
TSDB全量迁移至时序引擎
100 splitInterval:6h mem:Xms6G-Xmx6G 1.5 MB 230000 12分钟30秒 CPU占比为30%2 总时间线数据为600万 总数据点数为2592000000 1 channel:10 oidCache:true oidBatch:100 splitInterval:6h mem:Xms8G-Xmx8G 292 MB 200000 2小时55分钟30秒 ...
增量数据同步
在 离线数据同步 管理页面，选择新增的全量离线数据同步任务，操作列中单击 上线。预期结果 在 离线数据同步 管理页面，选择上线状态的“信用卡客户数据上云_增量”同步任务，操作列中单击 监控，跳转至 运维监控，单击左侧导航栏中的 离线...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
DBS沙箱功能概览
您可以在DBS沙箱功能中快速创建DBS沙箱实例（RDS应急实例），让您的备份数据快速可用，且在沙箱中的读写不会影响到源数据库，同时还可以进行恢复演练、开发测试、查询分析和应急容灾等其他操作。背景信息 在海量数据场景下，传统数据库备份...
导入MongoDB数据
说明 如果迁移过程中需要对某些数据进行处理，例如对MongoDB数据中主键进行MD5散列，需要按照如下步骤操作：通过DataWorks将MongoDB数据迁移至MaxCompute（ODPS）。在MaxCompute（ODPS）上执行SQL处理数据。通过DataWorks将MaxCompute数据...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
添加TableStore数据源
本文档介绍在DataV中添加TableStore数据源的方法，以及相关参数配置说明。前提条件 已准备好待添加的TableStore数据源。添加TableStore数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表...
集成与开发概览
产品优势 流批一体技术，支持20多种数据实时、离线集成。低代码开发。100%兼容Flink、Spark。支持链路及开发过程中的数据安全。分钟级调度。多环境管理。应用场景 数据集成 运维：数据容灾、异地多活、数据归档、数据迁移、测试数据生成、...
添加TableStore数据源
本文档介绍在DataV中添加TableStore数据源的方法，以及相关参数配置说明。前提条件 已准备好待添加的TableStore数据源。添加TableStore数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 ...
备份集查询功能概览
您需要选择目标备份集并创建数据湖，就可以在离线数据湖中通过SQL语句查询到该表在不同备份集中的数据。应用场景 高效查询备份集：在不恢复数据库的情况下，仅需简单的SQL语句即可查询到备份数据。搭建离线数据仓库：您可以将DBS备份数据...
案例介绍
本案例以某公司的零售事业群为例，为您介绍在构建数据中台时，如何规划业务模型中的业务板块、项目、数据域和指标等，帮助您更好的理解Dataphin的核心概念。案例场景简介 某公司是一家横跨多个行业领域的大型企业，以零售商超起家，逐步...
功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...
添加 Oracle 数据源的白名单
复制 OMS 控制台 添加数据源 对话框中显示的 OceanBase 数据传输服务器的 IP 地址。在安全组详情页面的 访问规则>入方向 区域，单击 快速添加。您也可以选择 手动添加，手动输入 端口范围、授权对象 等信息。在 快速添加 对话框，粘贴复制...
数据加工过程卡点校验
因此，保障数据加工过程中的质量是保障离线数据仓库整体数据质量的重要环节。您可以通过DataWorks、MaxCompute Studio、MaxCompute SDK提交各种任务加工MaxCompute中的数据。无论您使用什么工具，都会经历代码开发、测试、发布、运维及变更...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
飞线层
type 对应数据中的type字段，如果飞线类型的 type 与数据中type字段不一致时，飞线层会使用 默认颜色 进行渲染。数据源面板 字段 说明 from 飞线起始位置的经纬度，经纬度之间用半角逗号分隔。to 飞线终点位置的经纬度，经纬度之间用半角...
数据库管理
包括冷热分界线，数据存活期间等。SQL语法请参见 ALTER DATABASE。Database的属性查询 在时序引擎中查看一个已有Database的属性元数据。SQL语法请参见 DESCRIBE DATABASE。在管理控制台上管理Database 在Lindorm实例的管理控制台上也可以对...
什么是数据资源平台
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
数仓开发任务流
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的...历史离线数据存放于MaxCompute，实时分析数据存放于交互式分析。基于阿里云Quick BI或第三方数据分析工具（如Tableau）执行数据可视化，以及构建各业务板块数据服务门户应用。
- 产品推荐
- 这些文档可能帮助您