聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
管理问题数据
若存在数据不唯一，系统生成的问题数据表会保留该字段的重复数据，即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。空值 空值个数，固定值。取该字段的空值数与固定值进行比较。说明 是否为...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
PolarDB PostgreSQL版间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
JindoFS实战演示
本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单...
操作流程
通过操作流程图，便于直观的了解到解决方案生成及使用需进行的一系列任务。...实例化解决方案 通过将导入的解决方案包实例化至工作组，以便当前工作组复用解决方案包中的数据。以整体解决方案为例，具体操作，请参见 实例化解决方案。
04解决方案实例化
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何进行解决方案实例化操作。前提条件 已成功导入解决方案，具体操作，请参见 新建工作组并导入解决方案。操作步骤 登录 数据...
数据源管理常见问题
API数据源不用添加，可以直接在画布编辑器中的 数据 面板 设置数据源 模块查找到。在DataV中使用API数据源时，如果遇到跨域的问题，无法正常获取数据时怎么解决？跨域数据源共享（CORS）是一种基于HTTP头的机制，该机制支持服务器标示除了...
数据源管理常见问题
API数据源不用添加，可以直接在画布编辑器中的 数据 面板 设置数据源 模块查找到。在DataV中使用API数据源时，如果遇到跨域的问题，无法正常获取数据时怎么解决？跨域数据源共享（CORS）是一种基于HTTP头的机制，该机制支持服务器标示除了...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感...如果实例中的数据库不再需要敏感数据保护功能，可以关闭该功能。具体操作，请参见 关闭敏感数据保护。了解分类分级扫描原理详情，请参见 DMS分类分级扫描原理介绍。
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
处理慢SQL问题
您可以通过DAS对数据库进行监控，及时发现并优化慢SQL，解决数据库的性能问题。操作视频 解决方案 您可以通过DAS从以下三个方面来解决慢SQL问题：查看并优化单个实例的慢SQL 查询治理所有实例上的慢SQL 开启自动SQL优化 查看并优化单个实例...
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。流计算中注册 RDS数据存储 失败。可能原因：您的RDS数据库与流计算项目不在同一区域。解决方法：需要手动将流计算服务的白名单添加到RDS白名单中，详情请参见 数据存储白名单...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
通过创建元数据库来管理DLF湖中的数据。登录 数据湖构建控制台，在左上角选择地域，例如 华东2（上海）。创建元数据库。例如datalake。在左侧导航栏，选择 元数据管理，在 数据库 页签，单击 新建数据库。在 新建数据库 对话框，配置相关...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
添加数据库
进入控制台，单击左侧导航栏中的 数据库信息，进入 数据库信息 页面，然后单击右上角的 添加数据库 按钮。说明 这种情况下弹出的对话框中，数据库网关需要从下拉列表中选择。填写数据库的相关信息。数据库信息 描述 数据库网关 网关名称。...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
复制数据库SQL Server 2008 R2版
需复制的数据库 指定哪些源实例中的数据库需要复制到目标实例。您可以通过 或 灵活控制需要复制的数据库。选择多个数据库或者全部数据库时，请确保：目标实例的可用存储空间大于源实例中待复制数据库占用的空间。需要复制的数据库没有与...
数据变更最佳实践
例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如百万级别的表数据。例如，从RDS for MySQL、ECS自建MySQL数据导入 ...
概述
参见 入湖模板 章节，创建数据湖模板，定期将数据源中的数据抽取到数据湖。参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖...
数据归档
rds_oss表空间中的数据存放在OSS中，pg_default表空间中的数据存放在ESSD中。开启RDS PostgreSQL数据归档功能后，可通过执行以下DDL语句，实现数据在ESSD和OSS之间的转换。vacuum VACUUM$tableName;归档 ALTER TABLE$tableName SET ...
按指标关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
添加数据集
数据源导入：选择 数据源导入 创建方式，可快速导入已添加完成的适配类型数据源中的数据表内容。添加适配数据内容的方法请参见 添加适配数据源。说明 仅支持导入兼容MySQL数据库、RDS for MySQL和RDS for PostgreSQL这三种类型的数据源。在...
数据服务
API分组是一个特定功能或场景的API集合，是数据服务中API的最小组织单元，对应于API网关中的分组概念。数据服务中的API发布至API网关时，系统会在API网关中自动创建一个同名的分组。如何合理设置API分组？通常将解决同一个问题或者相似功能...
按单节点关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
管理数据库资产
重要 数据库审计仅支持审计内网中的数据库访问流量，不支持审计公网中的数据库访问流量。添加数据库 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 资产>资产管理。在 资产 页面，单击 添加。在 添加资产 ...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
T+1多库合并建仓
背景信息 在数据库应用中，当单个关系型数据库RDS（Relational Database Service）的数据量越来越多时，相应的数据查询时间也会延长，影响用户体验。为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的...
UpdateDIProjectConfig
当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息处理规则时会读取此处的全局配置为默认配置。您也可以根据实际业务需求修改目标同步任务...
预检查常见问题
本文介绍目标数据库PolarDB O引擎在预检查过程中遇到的常见问题和解决方案。目标库账号权限错误 问题描述 目标库账号无权限：目标库账号权限不足。原因 生成迁移计划时，用户名 为目标数据库的普通账号。解决方案 重新生成迁移计划，用户名...
- 产品推荐
- 这些文档可能帮助您