功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
离线同步数据质量排查
或者下游在查询使用数据时，分区表达式没有正确赋值，查询使用了错误的分区数据。检查数据同步任务的调度变量表达式，即调度参数配置是否符合预期，调度时参数替换值是否符合预期。数据类型、时区问题 您的源头表数据类型、数据范围和目标...
DBeaver
说明 如果是首次连接则需要下载对应数据库驱动文件。在 连接设置 窗口的 常规 页签，输入以下参数。参数 说明 示例 主机 连接地址和端口，查看方式如下：登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
数据同步操作指导
数据同步使用流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据同步的操作，您需要经历如下步骤。操作流程 说明 1.准备工作概览 在使用DTS执行数据同步前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的...
OSS数据安全防护最佳实践
本文介绍如何使用 数据安全中心（DSC），对OSS中存储的敏感数据进行识别、分类分级和保护。背景信息 敏感数据主要包括个人隐私信息、密码、密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的OSS Bucket中，一旦发生泄漏，...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
使用须知
本文介绍使用Lindorm计算引擎SQL语句访问数据库的数据时，需要提前了解的相关内容。了解开源Spark SQL 通过开源Spark SQL访问数据库的数据分为以下三个级别：Catalog：用来标识用户不同的数据源。Namespace：与数据库中的Database或者...
T+1多库合并建仓
为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的单张表数据拆分到多个数据库的多张表中。上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成...
创建MaxCompute数据源
若您要使用DataWorks进行MaxCompute任务的开发、管理，需先将您的MaxCompute项目创建为DataWorks的MaxCompute数据源。创建完成后，可在DataWorks的各功能模块使用该数据源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等...
从Oracle迁移应用至阿里云PolarDB全流程指南
您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。云数据库PolarDB：PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，目前兼容三种数据库引擎：MySQL、PostgreSQL、高度兼容Oracle语法。计算能力最高可扩展至1000...
数据迁移操作指导
数据迁移流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据迁移的操作，您需要经历如下步骤。操作流程 说明 1.准备工作概览 在使用DTS迁移数据前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的要求。2....
敏感数据保护
需要注意的是，脱敏保护后的数据无法展示为原值，因此推荐用在临时查询等场景，不推荐在数据交换等场景中使用。加解密方案 Dataphin支持在数据集成中针对敏感数据进行加密或者解密。Dataphin支持常见的商密和国密，如AES、RSA、SM4等算法；...
敏感数据保护
需要注意的是，脱敏保护后的数据无法展示为原值，因此推荐用在临时查询等场景，不推荐在数据交换等场景中使用。加解密方案 Dataphin支持在数据集成中针对敏感数据进行加密或者解密。Dataphin支持常见的商密和国密，如AES、RSA、SM4等算法；...
我是DBA
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
我是管理员
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
独享资源组
切换生产调度运行时使用数据集成任务执行资源组：左上角的 图标，选择 全部产品>任务运维>运维中心（工作流），进入 生产运维中心 页面，选择 周期任务。如何对资源组进行续费？在DataWorks控制台组员组列表，选择具体资源组进行续费。说明...
JDBC
本文将介绍如何在Java应用中使用JDBC连接 PolarDB PostgreSQL版（兼容Oracle）数据库。前提条件 已经在 PolarDB 集群创建用户，如何创建用户请参见 创建数据库账号。已经将需要访问 PolarDB 集群的主机IP地址添加到白名单，如何添加白名单...
银泰商业
应用只需要修改数据库连接地址和数据库驱动包即可，很大程度地减少了研发资源的投入。由于需要研发投入的资源减少，上云周期也可以大幅度地缩短。DTS支持 PolarDB PostgreSQL版（兼容Oracle）作为数据源，能够解决上云之后对于DTS的依赖。...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
数据服务概述
因此在使用数据服务前，请先开通 API网关。更多API网关信息，请参见 产品简介。使用场景 最小粒度的数据输出控制 当企业需要对外提供数据时，可以使用调用API的方式，该方式可帮助用户仅暴露最小单元的数据（可控制到行级、列级）。使用API...
访问RDS MySQL数据源
您可以通过ENI和SSL链路两种方式访问RDS MySQL数据，SSL链路访问RDS MySQL数据时可以加密网络连接，保证数据的安全性，对比ENI访问方式更加安全。本文主要介绍通过ENI和SSL链路访问RDS MySQL数据的具体方法。前提条件 AnalyticDB MySQL 湖...
什么是RDS PostgreSQL
您无需切换数据库驱动程序或重新编写SQL，只需要在适配少量代码的情况下，将应用程序的数据库从SQL Server迁移至开启了Babelfish的阿里云RDS PostgreSQL实例上。Terraform：支持使用开源工具Terraform安全高效地预览、配置和管理RDS ...
数据保护伞概述
功能使用 目前仅支持使用数据识别和动态脱敏功能对EMR、MaxCompute、CDH、Hologres引擎的敏感数据进行识别和脱敏。其中，识别EMR引擎敏感数据并进行脱敏的使用限制如下：敏感数据识别和脱敏目前仅支持部分EMR集群类型和表类型。如下所示：...
管理数据集
可以在仪表盘中使用数据集变量对数据进行筛选。定义变量 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。进入 数据分析 页面，单击 数据集 页签。选择目标数据集行，单击 操作 列下的 图标，进入编辑...
DataWorks on EMR Serverless StarRocks最佳实践
数据地图可以帮助您更好地查找、理解和使用数据。数据地图概述 前提条件 已开通DataWorks并创建工作空间。操作详情请参见 开通DataWorks服务。已购买资源组并完成资源组的空间绑定、网络等配置。详情请参见 资源组管理。已创建EMR ...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
PostgreSQL数据源
splitPk":"",/用splitPk代表的字段进行数据分片，数据同步会启动并发任务进行数据同步。table":""/表名。},"name":"Reader","category":"reader"},{"stepType":"stream","parameter":{},"name":"Writer","category":"writer"}],"setting...
关联数据
本文介绍如何使用关联数据功能。背景信息 在 关联数据 页面定义了关联数据后，在自定义规则时您可以直接选择对应的数据组。管理IP组 IP组功能可以帮您管理IP集合。如果自定义的规则需要对某个固定的IP集合生效，您可以通过新增IP组定义该IP...
Babelfish简介
当您希望在单一的数据库实例中同时使用SQL Server和PostgreSQL能力，或计划将现有应用从SQL Server迁移到更具成本效益的PostgreSQL时，Babelfish for RDS PostgreSQL实现了对T-SQL语句和TDS协议的支持。本文从产品特性、架构、适用场景以及...
ST_RasterDrivers
获得所有Ganos Raster支持的数据源驱动列表。语法 setof record ST_RasterDrivers(out idx integer,out short_name text,out long_name text,out can_read boolean,out can_export boolean,out can_asfile boolean,out create_options text...
ST_RasterDrivers
获得所有Ganos Raster支持的数据源驱动列表。语法 setof record ST_RasterDrivers(out idx integer,out short_name text,out long_name text,out can_read boolean,out can_export boolean,out can_asfile boolean,out create_options text...
公共规范
时间类型数据使用STRING类型（如果有特殊的格式要求，可以选择性使用DATETIME类型）。状态使用STRING类型。公共字段定义规范 数据统计日期的分区字段按以下标准：按天分区：ds(YYYYMMDD)。按小时分区：hh(00~23)。按分钟：mi(00~59)。is_{...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
目标数据库连接性检查
目标数据库对来源IP进行了限制 检测方法：您可以直接在目标数据库部署的服务器上，使用数据迁移任务中填入的数据库账号和数据库密码来连接目标数据库。如果连接正常，说明可能目标数据库可能限制了来源IP。如果目标数据库为MySQL，您可以...
- 产品推荐
- 这些文档可能帮助您