迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
查看并管理待提交实例
待提交实例是对周期任务发起定时补数据操作时产生的实例，待提交实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待提交实例页面，对待提交实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待提交实例。待提交 ...
安全中心
之前在数据管理提交的权限申请，仍未通过审批，是否需要重新申请？如何设置字段的LabelSecurity？通过安全中心可以申请什么权限？您可以通过 安全中心 页面申请DataWorks工作空间内的表权限，包括开发环境和生产环境。数据管理和安全中心是...
TSDBConfig
int getBatchPutSize()获取自动打包每批次提交的点数。int getBatchPutTimeLimit()获取最大写数据提交限制。单位：毫秒 int getHttpConnectionLiveTime()获取连接的生命时长。单位：秒 int getHttpConnectionPool()获取连接池最大连接数量 ...
基于AnalyticDB构建企业数仓
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
读取数据
表格存储提供了单行读取、批量读取和范围读取的查询方式用于读取数据表中数据。当要读取单行数据或者批量读取表中数据时，您必须指定行的完整主键；当要范围读取表中数据时，您需要指定完整主键范围或者主键前缀。读取数据时支持配置返回...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
事务隔离
当一个事务使用这个隔离级别运行时，一个查询（没有 FOR UPDATE/SHARE 子句）只能看到查询开始之前已经被提交的数据，而无法看到未提交的数据或在查询执行期间其它事务提交的数据。实际上，SELECT 查询看到的是一个在查询开始运行的瞬间该...
请求结构
请求路径 每个请求必须指定请求的 API 路径，即通过 API 要执行的具体操作，...HTTP METHOD 描述 替代参数 GET 获取数据 N/A POST 提交数据 method_override=post PUT 覆盖数据 method_override=put DELETE 删除数据 method_override=delete
调用方式
数据库审计接口调用是向数据库审计API的服务端地址发送HTTP GET请求，并按照接口说明在请求中加入相应请求参数，调用后系统会返回处理结果。请求及返回结果都使用UTF-8字符集进行编码。请求结构 数据库审计的API是RPC风格，您可以通过发送...
技术原理
拆分后，在MySQL上物理存在的数据库称为分库，物理的表称为分表（每个分表数据是完整数据的一部分）。PolarDB-X 1.0 通过在不同MySQL实例上挪动分库，实现数据库扩容，提升 PolarDB-X 1.0 数据库总体访问量和存储容量。您可以通过一定的...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
资源组说明
系统资源组-数据同步Worker，支持并发数为1，单个离线同步任务支持的最大资源为1c1g，不支持实时同步。自定义资源组 用户可将自有K8s注册到弹性计算中，按内置应用模板，部署后注册成资源组。自定义资源组性能基线参考典型场景：小型数据...
资源组说明
系统资源组-数据同步Worker，支持并发数为1，单个离线同步任务支持的最大资源为1c1g，不支持实时同步。自定义资源组 用户可将自有K8s注册到弹性计算中，按内置应用模板，部署后注册成资源组。自定义资源组操作指南参见 创建自定义资源组。...
数据建模：智能数据建模
数据价值最大化，企业利润最大化 在最大程度上用好企业各类数据，使企业数据价值最大化，为企业提供更高效的数据服务。计费 说明 DataWorks智能数据建模于2022年4月25日24点结束免费公测，公测期间创建的所有数据均会为您提供长期保存服务...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
Time travel
基于Transactional Table 2.0，计算引擎可高效支持 Time travel查询 的典型业务场景，即查询历史版本的数据，可用于回溯历史状态的业务数据，或数据出错时，用来恢复历史状态数据进行数据纠正，当然也支持直接使用restore操作恢复到指定的...
产品和业务限制
S2n 3个 没有高配 表或分区单次导入最大数据量 min(系统最大值,ecuCountdiskSize 0.2)联系技术支持 单个分析型数据库MySQL版最多表数 256 联系技术支持 单个表组总表数 256 联系技术支持 单表最大列数 1024 暂无高配 最大一级分区数 255 暂...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
概述
数据建模的必要性 海量数据的标准化管理 企业业务越庞大数据结构就越复杂，企业数据量会随着企业业务的快速发展而迅速增长，如何结构化有序地管理和存储数据是每个企业都将面临的一个挑战。业务数据互联互通，打破信息壁垒 公司内部各业务...
基于GitHub公开事件数据集的离线实时一体化实践
阿里云OSS（Object Storage Service）是阿里云提供的云存储服务，可以用于存储各类数据，本次实践引用的原始数据是JSON格式，OSS可以提供方便、安全、低成本、可靠的存储能力。MaxCompute是适用于数据分析场景的企业级SaaS（Software as a ...
使用MaxCompute控制台（离线）
支持单次上传的最大数据量为5 GB，若无可访问的Bucket，需要新建Bucket，详情请参见 创建存储空间。说明 若待上传的数据量超过5 GB，您可以将数据进行拆分上传，否则会导致上传失败。指定待上传数据 选择Bucket 数据来源 指定为 阿里云对象...
提交时间戳技术CTS
在PolarTrans中，事务状态更新无需维护活跃事务列表，传统的事务状态的拷贝过程通过获取当前集群的最大提交时间戳来替代。事务状态的迭代、获取、查询（可见性判断）等逻辑更加轻量化，同时PolarTrans将大部分的事务逻辑进行无锁优化，对于...
使用限制
每个集群可创建普通账号的最大值 256 无 每个集群的最大连接数 5000 无 每个集群中的白名单分组的最大值 50 无 每个白名单分组中IP个数的最大值 1000 无 每个集群中IP白名单个数的最大值 25000 无 每个集群中分区数的最大值 102400 无 每个...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 单击工具栏中的 图标，保存节点。单击...
数据填报
下图以选择 编辑权限属性 为 私密 为例，授予分析师A 管理全部数据 的权限，即支持 提交数据、管理自己提交的数据 以及可以 管理其他用户提交 的全部数据。说明 您可以选中 管理自身数据 权限，此时分析师A支持提交数据以及管理自己提交的...
Presto FAQ
而这种节省扫描量的效果只有当底层的数据是以列存的形式存储才能达到。示例代码如下。SELECT col1 FROM tbl1 WHERE col2='hello;但是在实际使用过程中，如果文件不是很大，或者文件不小但是表的列很多的情况，节省扫描量的效果会不起作用，...
普通数据变更
您可以在DMS中通过SQL窗口直接输入SQL语法或通过数据变更工单提交数据变更。同时，您可以自定义安全规则，实现对不同环境库定义不同的数据变更执行配置。本文将通过以下4个例子向您介绍典型场景下的安全规则设定与对应提交数据变更的方式。...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 单击工具栏中的 图标，保存节点。单击...
导入数据
本文介绍如何在SQL Console页面通过提交工单导入数据至数据库。使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
MySQL 5.6测试结果
参数配置：sync_binlog=1、innodb_flush_log_at_trx_commit=1：确保每次提交的数据完整写入磁盘中。rpl_semi_sync_master_enabled=ON：开启数据库半同步模式，保证主备数据的一致性。Performance_schema=ON：内存大于等于8 GB的实例规格...
MySQL 5.7测试结果
参数配置：sync_binlog=1、innodb_flush_log_at_trx_commit=1：确保每次提交的数据完整写入磁盘中。rpl_semi_sync_master_enabled=ON：开启数据库半同步模式，保证主备库数据的一致性。Performance_schema=ON：内存大于等于8 GB的实例规格...
Tablestore Stream配置同步任务
最大重试次数 从TableStore中读增量数据时，每次请求的最大重试次数，默认是 30。导出时序信息 是否导出时序信息，包括数据的写入时间等信息。数据去向 表 选择需要写入的表。分区信息 此处需同步的表是非分区表，所以无分区信息。清理规则...
MySQL 8.0测试结果
参数配置：sync_binlog=1、innodb_flush_log_at_trx_commit=1：确保每次提交的数据完整写入磁盘中。rpl_semi_sync_master_enabled=ON：开启数据库半同步模式，保证主备库数据的一致性。Performance_schema=ON：内存大于等于8 GB的实例规格...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 提交并发布节点任务。单击工具栏中的 ...
修改实例参数
数据传输服务DTS（Data Transmission Service）支持修改实例的部分参数，帮助您降低数据传输过程中的延迟，提升数据传输的性能和效率。前提条件 已创建同步或迁移实例，详情请参见 同步方案概览 或 迁移方案概览 中的相关配置文档。注意...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
- 产品推荐
- 这些文档可能帮助您