功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
路况层
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了数据图元图层数据内容。在场景编辑器内配置数据面板时，您还可以使用 空间构建数据源 获取空间地图数据，具体步骤如下：在图层配置面板中选择 数据 页签，...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
水体
刷新数据：刷新数据面板上已添加的数据内容。蓝图交互 在当前场景编辑器页面，单击左侧图层列表中 水体 右侧的 图标。单击页面左上角的 图标。在蓝图编辑器配置页面，单击导入节点栏内的 水体 图层，在画布中可以看到如下图所示的水体的...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
路况层
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了路况层数据内容。在场景编辑器内配置路况层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上路况层数据，具体步骤如下：在图层配置面板中选择 ...
交叉透视表
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
访问CDC数据
云原生多模数据库 Lindorm 计算引擎提供Lindorm CDC（Change Data Capture）数据源，您可以通过该数据源使用Spark SQL查询Lindorm实例其他引擎变更的数据。前提条件 Lindorm实例已开通LTS（Lindorm Tunnel Service）服务，具体请参见 购买...
DTS_BINLOG_PARSER
DTS_BINLOG_PARSER解析结果是一个STRUCT类型，包含字段如下：struct:recordID long,-binlog的record ID|source string,-数据源信息，包括数据库类型，版本等等|dbTable string,-数据表名|recordType string,-操作类型，包括INSERT，DELETE...
离线同步能力说明
功能概述 离线同步支持的能力如下图所示：功能 描述 异构数据源间的数据同步 数据集成目前支持40+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的...
概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
资产目录
② 列表区 为您展示筛选后的数据源列表，包含 数据源、描述、环境、用途、类型、负责人、更新时间 等数据源详细信息，同时您可以单击 操作 列下 的图标，申请该数据源的读写权限。项目 ① 筛选区 您也可以根据 数据板块、项目模式、所属 ...
资产目录
② 列表区 为您展示筛选后的数据源列表，包含 数据源、描述、环境、用途、类型、负责人、更新时间 等数据源详细信息，同时您可以单击 操作 列下 的图标，申请该数据源的读写权限。项目 ① 筛选区 您也可以根据 数据板块、项目模式、所属 ...
申请、续期和交还表权限
若关闭生产数据安全模式，则您加入目标项目，且您在项目中的角色包含项目 资产权限-新建 的权限点，即可在开发环境创建表，如何开启生产数据安全模式，请参见 安全设置。若开启跨项目安全模式，则仅可在任务所在的项目中创建表，不能跨项目...
申请、续期和交还表权限
若关闭生产数据安全模式，则您加入目标项目，且您在项目中的角色包含项目 资产权限-新建 的权限点，即可在开发环境创建表，如何开启生产数据安全模式，请参见 安全设置。若开启跨项目安全模式，则仅可在任务所在的项目中创建表，不能跨项目...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
pg_dump
说明 data 项包含实际的表数据、大型对象内容和序列值。post-data 项包括索引、触发器、规则和约束的定义，而不是已验证的检查约束。pre-data 项包括所有其他数据定义项。serializable-deferrable 表示对备份使用一个可序列化事务。说明 ...
编辑数据集
背景信息 数据集管理面板中已存在数据集且需要重新编辑修改该数据集内容。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 页面，将鼠标移至页面内某个需要修改的数据集上，单击左侧的 图标。...
设计阶段
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
批量或异步插入数据
批量插入数据 默认情况下，每个发送到云数据库ClickHouse的插入操作都会导致云数据库ClickHouse立即在存储中创建一个包含插入的数据以及其他需要存储的元数据信息。因此，相比较发送包含较少数据的大量插入操作，发送包含更多数据的较少...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍添加适配数据源的方法。如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 说明 当前数据集功能支持以下数据源类型：RDS for PostgreSQL、RDS for MySQL、兼容MySQL数据...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
告警事件
告警事件集中为您展示离线计算、实时计算、实时集成、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线...
告警事件
告警事件集中为您展示离线计算、实时计算、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线计算、实时...
数据接口配置说明
编辑数据接口基本信息 每一个数据接口中包含多个参数内容，您可以自定义编辑数据接口的基本信息参数内容。名称：数据接口的名称。显示名：数据接口对外显示的名称。确认修改显示名后按回车键，结果会即时显示在配置面板中。描述：数据接口...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
数据接口配置说明
编辑数据接口基本信息 每一个数据接口中包含多个参数内容，您可以自定义编辑数据接口的基本信息参数内容。名称：数据接口的名称。显示名：数据接口对外显示的名称。确认修改显示名后按回车键，结果会即时显示在配置面板中。描述：数据接口...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
产品更新动态
创建作品 2022年12月 发布时间 2022-12-01 功能名称 功能描述 相关文档 自动数据探查 自动探查上传或接入数据，无需专业技术背景即可快速了解数据内容、统计分布：包括高频数据分布占比，数值类内容的最值、平均值、空值占比等信息。...
- 产品推荐
- 这些文档可能帮助您