管理数据目录
数据目录是数据湖构建（Data Lake Formation）的元数据最上层实体，可以包含若干个数据库。在EMR Serverless Spark中，您可以通过该功能来查看绑定的数据目录中的数据库和表，还可以添加已有的数据目录。该功能适用于需要实现元数据隔离的...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
ALIYUN:ResourceManager:ControlPolicy
ALIYUN:ResourceManager:ControlPolicy类型用于创建自定义管控策略。语法 {"Type":"ALIYUN:ResourceManager:ControlPolicy","Properties":{"Description":String,"PolicyDocument":String,"ControlPolicyName":String,"EffectScope":String...
CreateControlPolicy-创建自定义管控策略
调用CreateControlPolicy创建自定义管控策略。接口说明 本文将提供一个示例，创建一个名为 ExampleControlPolicy 的管控策略，禁止修改 ResourceDirectoryAccountAccessRole 角色及其权限。调试 您可以在OpenAPI Explorer中直接运行该接口...
产品优势
更多信息，请参见 什么是数据库网关。提供数据库平滑迁移工具：DMS提供了DTS数据迁移工具，覆盖数据库迁移的全生命周期。更多信息，请参见 DTS。数据库管理：可进行数据库实例信息的查看、录入、编辑，对实例、库、表、数据列、行级进行...
DataHub通过数据集成批量导入数据
本文以Stream同步数据至DataHub的脚本模式为例，为您介绍如何通过数据集成导入离线DataHub数据。前提条件 准备阿里云账号，并创建账号的访问密钥。详情请参见 开通DataWorks服务。开通MaxCompute，自动产生一个默认的MaxCompute数据源，并...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
AttachControlPolicy-绑定管控策略
调用AttachControlPolicy绑定管控策略。接口说明 绑定成功后，资源夹或成员将会立即受到管控策略的管控。请务必确定绑定操作的结果是符合预期的，以免影响您的业务正常运行。系统会默认为资源夹和成员绑定系统策略 FullAliyunAccess。管控...
1.1.9版本
新功能发布 数字工厂 边缘数据集成 新增支持数据总线类型的数据源 服务模型支持异步服务对接方式 区域/行业平台 1）企业集中管控，物联设备集中管控，新增支持选择物联网平台企业实例内的物联设备进行管理。2）门户内容管理，新增平台用户...
DetachControlPolicy-解绑管控策略
调用DetachControlPolicy解绑管控策略。接口说明 解绑成功后，原绑定的资源夹或成员将会立即失去管控策略的管控。请务必确定解绑操作的结果是符合预期的，以免影响您的业务正常运行。系统策略和自定义管控策略都可以解绑，但资源夹或成员上...
UpdateControlPolicy-修改自定义管控策略
调用UpdateControlPolicy修改自定义管控策略。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 调试 授权信息 当前API暂无授权信息透出。请求参数 名称...
DeleteControlPolicy-删除管控策略
调用DeleteControlPolicy删除自定义管控策略。接口说明 对于已绑定了资源夹或成员账号的自定义管控策略，需要先调用 DetachControlPolicy 解绑，然后才能删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行...
创建同步任务
说明 流量度量值是数据集成本身的度量值，不代表实际网卡流量。通常，网卡流量是通道流量膨胀的1至2倍，实际流量膨胀取决于具体的数据存储系统传输序列化情况。错误记录数控制（脏数据控制）用于定义脏数据阈值，及对任务的影响。重要 当脏...
UpdateControlPolicy-修改自定义管控策略
调用UpdateControlPolicy修改自定义管控策略。接口说明 本文将提供一个示例，修改管控策略 cp-jExXAqIYkwHN*的名称为 NewControlPolicy。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
GetControlPolicy-查询管控策略的详情
调用GetControlPolicy查询管控策略的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
Quick BI v4.1.0版本说明
全新推出权限集中管控模块：从资源到人精细化管控门户数据源、仪表板、电子表格等，管理员可快速把控全局权限情况，更安全并更高效的进行权限管理配置。区块嵌入及多账号集成，让信息更加一体化 为打穿BI最后一公里，除页面嵌入外，新增...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
数据分析概述
在SQL查询中可预览数据集中的数据，并快速生成该表的查询SQL语句，详情请参见 SQL查询。电子表格 电子表格是数据分析的核心功能，为您提供获取、探索和分析数据的个人空间，详情请参见 电子表格。以在线表格为主体，电子表格为您提供常用的...
AttachControlPolicy-绑定自定义管控策略
调用AttachControlPolicy绑定管控策略。接口说明 绑定成功后，资源夹或成员将会立即受到管控策略的管控。请务必确定绑定操作的结果是符合预期的，以免影响您的业务正常运行。系统会默认为资源夹和成员绑定系统策略 FullAliyunAccess。管控...
DetachControlPolicy-解绑自定义管控策略
调用DetachControlPolicy解绑管控策略。接口说明 解绑成功后，原绑定的资源夹或成员将会立即失去管控策略的管控。请务必确定解绑操作的结果是符合预期的，以免影响您的业务正常运行。系统策略和自定义管控策略都可以解绑，但资源夹或成员上...
GetControlPolicy-查询管控策略详情
调用GetControlPolicy查询管控策略的详情。接口说明 本文将提供一个示例，查询 ID 为 cp-SImPt8GCEwiq*的管控策略详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
DeleteControlPolicy-删除自定义管控策略
调用DeleteControlPolicy删除自定义管控策略。接口说明 对于已绑定了资源夹或成员账号的自定义管控策略，需要先调用 DetachControlPolicy 解绑，然后才能删除。本文将提供一个示例，删除自定义管控策略 cp-SImPt8GCEwiq*。调试 您可以在...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 云数据库 ClickHouse-什么是...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
基本概念
但该方法的缺点是数据分块速度相对较慢。以zoom方式对数据进行分块的示意图如下：除了zoom方式外，Ganos Raster还提供了一种基于图像本地坐标系统的分块方式：local。该方式定义的起算点不再是基于全球范围，而是以数据本身的图幅范围的...
UpdateHiTSDBInstanceDataTtl
描述 更新数据过期时间 请求参数 名称 类型 是否必需 描述 RegionId String 是 实例所在 Region ID InstanceId String 是 实例 ID ReverseIp String 是 实例反向 VPC IP ReversePort Integer 是 实例反向 VPC Port Ttl Long 是 数据保留...
创建数据流
说明 数据流的第一个节点必须是 数据输入，为数据流提供数据源。在左侧 任务类型 列表中，拖拽 数据输入 节点到画布空白区域。单击 数据输入 节点，在页面下方的 数据源 页签中配置数据源信息。配置项 操作 数据库类型 选择源数据库的类型...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
2023年
作业运行常见问题 2023-08-01 新增Github公开事件数据 新说明 本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。Github公开事件数据 2023年7月...
互联网行业
方案架构 安全办公研发 数据云上集中存储及管控，确保企业核心知识产权安全 访问IP白名单、登录方式管控、多因子认证等方式保障用户身份安全 USB、剪贴板管控、互联网权限等安全策略实现数据流向100%安全管控 通过云上多副本存储、快照备份...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
新建数据元
长度 长度是数据元类型值的长度。业务规则 数据元业务定义。技术口径 技术层面的描述信息。操作完成后，单击 确定。在 数据元管理 页面，可查看已新建的数据元。相关操作 操作 说明 编辑数据元 在 数据元管理 页面，选择需要编辑的数据元，...
新建数据元
长度 长度是数据元类型值的长度。业务规则 数据元业务定义。技术口径 技术层面的描述信息。操作完成后，单击 确定。在 数据元管理 页面，可查看已新建的数据元。相关操作 操作 说明 编辑数据元 在 数据元管理 页面，选择需要编辑的数据元，...
使用流程
若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见 支持的数据库引擎与功能 或 各类数据库备份配置指导文档。备份恢复方案 您可以通过如下两...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据源标识和用户账号等，在数据传输系统内全局唯一。 Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前...
OceanBase 数据库之间的数据迁移
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。注意事项 如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标...
- 产品推荐
- 这些文档可能帮助您