创建数据

数据管理DMS离线集成中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...

设置资产数据

本文介绍DataV设置资产数据源的方法,以及 设置数据源 页面的内容,包括数据源、数据过滤器以及数据响应结果等。配置资产数据源 登录 DataV控制台。在 我的可视化 页面,单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面,...

管理数据库资产

支持加密审计的数据库需满足以下条件:数据类型为自建数据库MySQL 5.6 加密算法为AES256-SHA和AES128-SHA(单向认证)如果您的MySQL数据库满足上述条件并配置了SSL证书,您需要打开 使用SSL 开关,并在 SSL密钥 处上传数据库使用的证书,...

创建MaxCompute数据

包括 2.0数据类型(推荐)、1.0数据类型(面向已有使用1.0数据类型用户)和 Hive兼容类型(面向Hive迁移用户),详情请参见:数据类型版本说明。是否加密 根据实际情况选择当前MaxCompute项目是否需要通过密钥管理服务KMS(Key Management ...

手动添加数据

您可以通过 数据库备份DBS 的手动添加数据源功能,将不同环境的数据库添加至 数据库备份DBS 中,便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用,只有在添加数据源后开启备份才会产生费用。如何开启备份,请参见 ...

03创建数据

通过配置数据元的类型、长度、质量校验函数和引用数据字典,为模型标准化设计及数据治理过程中的质量监控提供规则依据,本章节为您介绍如何新建数据元。前提条件 已新建工作组“信息中心(xxzx)”,具体操作,请参见 新建工作组。已在工作组...

新建数据

数据元管理通过分析业务流程,抽象关键业务对象和业务对象属性,并把关键业务对象新建为数据元,并配置数据元的类型、长度、质量校验函数和引用数据字典,为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...

新建数据

数据元管理通过分析业务流程,抽象关键业务对象和业务对象属性,并把关键业务对象新建为数据元,并配置数据元的类型、长度、质量校验函数和引用数据字典,为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...

新建数据

相关操作 在数据源添加成功后,在 数据源管理 页面,可对数据源进行以下操作:操作 说明 查看数据源详情 在数据源列表,单击目标数据源 操作 列的 更多,选择 查看详情,查看数据源的基本信息和数据对象的表结构信息。编辑数据源 在数据源...

新建数据

相关操作 在数据源添加成功后,在 数据源管理 页面,可对数据源进行以下操作:操作 说明 查看数据源详情 在数据源列表,单击目标数据源 操作 列的 更多,选择 查看详情,查看数据源的基本信息和数据对象的表结构信息。编辑数据源 在数据源...

创建数据板块

数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。在使用规范建模前,您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用,当前租户还需开通智能研发模块。在开始执行操作前...

创建数据板块

数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。在使用规范建模前,您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用,请升级当前版本。升级版本,请参见 升级。在开始...

查看数据源校验记录

数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 数据源 校验记录页面。参数 说明 筛选与搜索 您可以...

查看数据源校验记录

数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 数据源 校验记录页面。参数 说明 筛选与搜索 您可以...

跨账号授权配置

AnalyticDB for PostgreSQL:具体操作,请参见 创建AnalyticDB for PostgreSQL数据源 AnalyticDB for MySQL:具体操作,请参见 创建AnalyticDB for MySQL3.0数据数据源为RDS、Hive或Kafka 数据源实例所属云账号操作 登录 RAM 访问控制-...

有约束的列修改类型

本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中,对比类型空白表示相应约束下不支持该类型、短横线(-)表示没有、all 表示全部类型。主键(PRIMAEY KEY)约束下...

数据服务API

数据地图支持对当前租户下所有工作空间的数据服务API进行搜索和定位,实现数据服务API的高效查找。进入API查找界面 进入数据地图页面。登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据治理>数据地图,在右侧页面中单击 ...

创建ClickHouse数据

进行数据同步:DataWorks的数据集成模块为您提供读取和写入数据至ClickHouse的能力,您可将其他数据源的数据同步至当前ClickHouse数据源,或将当前ClickHouse数据源的数据同步至其他数据源。您可通过离线同步场景执行相关数据同步操作。增...

数据库分组

若您需要在SQL变更或结构设计中快速载入多个数据库,可以创建一个数据库分组,将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域,且存在多个数据库时,您每次做...

API概览

DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...

大数据安全治理的难点

存储 众所周知,数据系统以数据类型多(结构化、非结构化、半结构化)、数据量(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是不现实的,...

有约束的列修改类型

本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中,OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中,短横线(-)表示没有、...

修改表 ALTER TABLE 的不兼容点

本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时,MySQL 数据库执行的 ALTER TABLE DDL 支持被数据传输的 DDL 同步组件转换,但 OceanBase 数据库 MySQL 租户不支持执行的场景。行内 CHECK 表达式中引用了其它列 ...

创建AnalyticDB for PostgreSQL数据

进行数据同步:DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力,您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源,或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...

创建AnalyticDB for MySQL3.0数据

进行数据同步:DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力,您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源,或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...

数据标准

数据字典管理:支持创建并维护逻辑表中使用的数据字典,方便用户在定义数据元或维度属性时进行数据字典引用,支持数据字典物理化、数据字典导入、导出,方便数据字典使用与跨项目复制。质量校验函数:支持质量检测函数自定义,方便用户在...

新建资源组

支持中间数据结果落磁盘,数据量情况下查询性能有所降低,但计算节点不会因为查询数据量太而失败。Interactive:适用于延迟要求高的实时分析查询。基于纯内存的快速交互式查询类型,查询性能好,但计算数据量超出机器处理能力情况下...

云计算资源类型

了解数据查询支持的云计算资源类型,以便后续参考使用。本文介绍数据查询支持的云计算资源。目前支持的云计算资源类型:MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、Hologres、...

云计算资源类型

了解数据查询支持的云计算资源类型,以便后续参考使用。本文介绍数据查询支持的云计算资源。目前支持的云计算资源类型:MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、Hive、...

Btree-GIST

支持高效搜索和检索:GIST索引可以极地加速查询速度,尤其是在处理复杂数据类型的搜索和检索任务时。然而,GIST索引相比于专用的索引结构(如B-tree)在某些方面可能存在性能上的折中。GIST索引的维护(如插入和删除操作)可能会比B-tree...

迁移方案概览

数据迁移功能帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型,以及具体的配置文档。说明 数据迁移在某些场景...

常见问题

分词查询数据查询时,搜索引擎会先对原始字符串进行分词,再对分词字段执行关键词匹配操作,例如在通用搜索引擎产品中进行关键词检索。这种查询方式通常无法保证每次检索都一定能匹配到数据,即使原始写入的数据中包含检索内容,但这些...

快速体验

DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力,可便捷地连接多种数据源、支持SQL查询,并提供电子表格等多样化的数据分析工具,以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...

数据源管理概述

功能介绍 多数据类型接入:Dataphin内置丰富的数据类型,支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息,请参见 Dataphin支持的数据源。自定义数据类型:在内置的...

MaxCompute作业概述

数据类型 MaxCompute数据开发支持三个数据类型版本:1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本,详情请参见 数据...

数据源中心

EMR Workflow的数据源中心支持配置数据源,以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...

发布服务

直接数据选择:选择数据类型、数据格式、云计算资源类型、云计算资源、目录or文件,单击 下一步。在 设置参数 向导页,选择 发布的服务类型、样式表、坐标系、归属应用、服务资源组,操作完成后单击 下一步。在 发布完成 的向导页,确认...

SQL

SQL任务类型,用于连接数据库并执行...SQL任务节点设置中,数据类型选择为 HIVE,数据源实例 选择已添加的HIVE数据源(与上述非查询类SQL任务示例中选择的数据源保持一致),SQL类型 选择为 查询,SQL语句 内容如下。select*from hive_table

典型场景

构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建规模的可以增删改数据集,延迟为T+10分钟。一键建仓:支持数据库一键入湖,T+1天。文件上传:数据上传后,DLA元数据发现功能可自动发现并构建好元数据体系。数据...

操作项目权限

类型为 物理表 时:支持选择 数据、改表数据、删除表、改表结构。表类型为 元表、镜像表 时,支持选择 数据、改表数据。授权原因 填写授予项目权限的原因。单击 确定,完成项目权限的授权。回收项目权限 按照下图指引,进入 项目...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据库备份 数据管理 云数据库 RDS 数据传输服务 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用