创建全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
表设计规范
单个分区中数据量较大的情况下，MaxCompute执行任务时会进行分片处理而不影响分区裁剪的优势。单个分区中文件数较多时，会影响MaxCompute Instance数量，造成资源浪费和SQL性能的下降。采用多级分区时，建议先按日期分区，然后按交易类型...
创建Kafka数据源
重要 Flink_SQL任务中使用数据源编码方式进行开发，目前仅支持MySQL、Hologres、MaxCompute、Hadoop、Oracle、StarRocks数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不超过128个字符。数据源配置 选择需要...
适配组件数据
数据看板创建完成后，您可以根据实际需要通过以下方式修改组件数据内容。背景信息 本文以使用 静态数据源 为例，因此可以直接在组件的数据源配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加...
创建Kafka数据源
重要 Flink_SQL任务中使用数据源编码方式进行开发，目前仅支持MySQL、Hologres、MaxCompute、Oracle、StarRocks数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不超过128个字符。数据源配置 选择需要配置的数据...
智能压测
说明 当源实例为阿里云数据库时，您可以选择以上四种方式中的其中一种，由于压测任务创建后，系统会自动购买和源库规格一致的按量付费实例，并将数据恢复到该实例，建议您选择 通过备份恢复。当源实例为自建数据库时，仅可选择 已完成数据...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
支持的数据源
AnalyticDB for MySQL 支持导入RDS MySQL、MongoDB、OSS、MaxCompute、Kafka等多种数据源至数据仓库或数据湖中，各数据源支持的导入方案也不同，您可以参考本文档，选择合适的导入方案。数据入仓 类别 数据源 导入方式 产品系列 文档链接 ...
API概览
数据服务 API 标题 API概述 通信监测 通信监测 DescribeCallList 分页查询时间范围内通信信息 调用DescribeCallList分页查询时间范围内创建的通信信息。DescribeCall 查询单次通信详情 本接口用于查询单次通信详情。例如：您可以查询通讯...
功能特性
客户端（odpscmd）或Studio DataWorks数据下载 MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。DataWorks数据下载 数据迁移 相关工具 支持通过MaxCompute客户端（Tunnel）、DataWorks数据集成...
查询和修改数据复制方式
本文介绍如何查询和修改RDS PostgreSQL实例的数据复制方式，提高云数据库性能或可用性。前提条件 实例为PostgreSQL高可用系列（云盘）。如需修改 数据复制方式 为 半同步，则需要实例内核版本为20220228及以上版本。如何升级内核小版本，请...
建表并上传数据
如果您需要上传超过30MB的文件，则可以使用如下方式：将数据文件上传至OSS，使用MaxCompute外部表映射的方式获取OSS中相应的文件数据。上传数据至OSS，详情请参见 上传文件，MaxCompute外部表映射，详情请参见 外部表。将数据文件上传至OSS...
导入概述
Broker Load适用于源数据在Broker进程可访问的存储系统（例如HDFS）中，数据量为几十GB到上百GB，详细信息请参见 Broker Load。异步导入 Stream Load 是一种同步执行的导入方式。您可以通过HTTP协议发送请求将本地文件或数据流导入到...
导入概述
Broker Load适用于源数据在Broker进程可访问的存储系统（例如HDFS）中，数据量为几十GB到上百GB，详细信息请参见 Broker Load。异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
通过上传本地数据新建数据集
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表...
网络类型
本文介绍了如何新建专有网络。网络类型和访问方式 分析型数据库MySQL版支持的网络类型有两种：经典网络...详情，请参见 搭建IPv4专有网络 中的步骤一创建专有网络和交换机。新建VPC后，数据库访问方式属于混访模式，即经典网络和VPC同时存在。
数据变更最佳实践
向表中写入数据时，可以通过批量打包方式INSERT和REPLACE INTO提高数据写入性能。建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入...
概述
数据解密 在数据解密过程中，高性能版Spark全密态计算引擎会从应用配置中提取用户主密钥（MEK），再从文件的元数据中提取密钥加密密钥（KEK）以及数据密钥（DEK）。密钥加密密钥（KEK）会使用户主密钥（MEK）进行解密，若用户主密钥（MEK）...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
数据源白名单配置
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表为阿里云数据库IP白名单设置的操作指引，您可根据阿里云的产品名称查看对应操作...
添加实时数仓Hologres数据源
本文档介绍如何在DataV中添加并使用实时数仓Hologres数据源。前提条件 已准备好待添加的实时数仓Hologres数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 ...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
数据安全
SSL在传输层对网络连接进行加密，能提升通信数据的安全性和完整性，但会增加网络连接响应时间。详细介绍及使用说明，请参见 设置SSL加密。透明数据加密 云原生多模数据库 Lindorm 支持透明数据加密TDE（Transparent Data Encryption）功能...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
数据仓库需求模板
约定项 填写内容 约定项 填写内容 时间窗口（历史数据要求）*存储周期*更新频率（日、周、月、小时、分钟、其它）*期望数据更新时间*数据验收人 待验收数据样本 数据验收方式 数据提供形式 物理表 数据文件 数据查询服务或接口 备注 NO....
添加实时数仓Hologres数据源
本文档介绍如何在DataV中添加并使用实时数仓Hologres数据源。前提条件 已准备好待添加的实时数仓Hologres数据源。添加实时数仓Hologres数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 ...
添加AnalyticDB for MySQL数据源
本文为您介绍在DataV中添加AnalyticDB for MySQL数据源的方法。前提条件 已准备好待添加的AnalyticDB for MySQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。在 类型 列表中...
添加AnalyticDB for PostgreSQL数据源
本文为您介绍在DataV中添加AnalyticDB for PostgreSQL数据源的方法。前提条件 已准备好待添加的AnalyticDB for PostgreSQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 ...
导入数据元
保存至本地的文件有两种方式获取：方式一：通过在模版中填写数据 单击 下载模版。打开模版，在模版中填写数据，填写完成后保存。方式二：从系统导出的数据元文件。根据实际需要选择 重复内容处理方式，这里建议选择 替换已有内容。说明 ...
导入数据元
保存至本地的文件有两种方式获取：方式一：通过在模板中填写数据 单击 下载模板。打开模板，在模板中填写数据，填写完成后保存。方式二：从系统导出的数据元文件。根据实际需要选择 重复内容处理方式，这里建议选择 替换已有内容。说明 ...
RestAPI（HTTP形式）数据源
如果数据源API支持Token的方式进行验证，您可选择此种验证方式，并在选择完成后配置用于验证的固定Token值，后续数据集成过程中对接数据源时，通过传入header中进行验证，例如：{“Authorization”:”Bearer TokenXXXXXX”}。Aliyun API ...
修改组件数据
本文档为您介绍在DataV疫情模板可视化应用中修改组件数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建可视化应用。背景信息 本案例使用的是静态数据源，因此可以直接在组件的数据...使用同样的方式，配置画布中所有组件的数据。
修改组件数据
本文档为您介绍在DataV疫情模板可视化应用中修改组件数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建可视化应用...使用同样的方式，配置画布中所有组件的数据。icmsDocProps={'productMethod':'created','language':'zh-CN',};
- 产品推荐
- 这些文档可能帮助您