功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）Writer累积一定数据，提交给DRDS（PolarDB-X）的Proxy，该Proxy内部决定数据是写入一张还是多张表，以及多张表写入时如何路由数据。说明 整个任务至少需要具备 replace into 的权限。是否需要其它权限，取决于您配置任务...
使用do-while节点实现复杂的数据分析
当您需要对一组数据或任务进行多次处理，直到满足某个条件才停止时，您可以使用 do-while 节点来自动化重复执行，简化复杂任务的操作步骤，以提高任务的执行效率和可靠性。本文以统计电商行业中的订单数据为示例，为您介绍如何使用 do-...
数据开发
本文从需求分析、规划业务流程、规划表管理、同步数据以及加工数据几方面，为您介绍数据开发。需求分析 将MySQL的数据采集到MaxCompute 贴源层表中，进行清洗和加工，产出最终的概览应用表。规划业务流程 业务流程是DataWorks针对业务实体...
获取及提交数据
获取标注数据 axios.post('/UpdateLayoutData',{subSceneId:22600，layoutData:layoutData}).then((res)=>{ if(res.Success){ console.log('提交标注数据成功')} }).catch((error)=>{/.});4、提交关联数据 空间中的主要关联关系为门或虚拟...
配置产品和设备
设备通过DTU接入物联网平台前，您需要在物联网平台上依次完成以下操作：创建数据格式为透传/自定义的产品、创建设备、获取设备证书信息、定义物模型、编辑并提交数据解析脚本。创建产品和设备 在物联网平台创建产品和设备，获取设备证书...
查看并管理待提交实例
待提交实例是对周期任务发起定时补数据操作时产生的实例，待提交实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待提交实例页面，对待提交实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待提交实例。待提交 ...
数据清空
请求路径和方法 请求路径 请求方法 描述/api/truncate POST 清空所有数据 请求内容 无 请求示例 请求：POST/api/truncate 响应说明 200 表示成功，其他返回码表示失败，错误信息参见公共响应状态码。当该接口返回HTTP状态码 500 时，请确认...
查看并管理待生成实例
待生成实例是对周期任务发起定时补数据操作时产生的实例，待生成实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待生成实例页面，对待生成实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待生成实例。待生成 ...
DevOps概述
例如，企业需要提交多个数据变更工单进行数据变更，则可以使用 DMS 的DevOps，将不同的工单整合到一个连续的流程中。DevOps使用流程 新建迭代模板。迭代模板提供了自定义研发流程和控制研发流程质量的功能，该功能可以在数据变更、结构设计...
补数据实例运维概述
名词解释 待生成实例：将在未来时间段生成实例并提交执行补数据，周期性定时执行的补数据任务将在定时运行时间的 前一天23点 生成待生成实例。更多信息，请参见 查看并管理待提交实例。已生成实例：立即执行的补数据任务和待生成实例所生成...
通用批量导入服务
支持的数据源 源数据源 目标数据源 MaxCompute Table Lindorm宽表引擎 HDFS CSV或者OSS CSV HDFS Parquet或者OSS Parquet HDFS ORC或者OSS ORC 提交方式 快速导入数据任务支持以下方式提交。通过LTS操作页面提交 通过API接口提交 通过LTS...
补数据实例运维概述
名词解释 待生成实例：将在未来时间段生成实例并提交执行补数据，周期性定时执行的补数据任务将在定时运行时间的 前一天23点 生成待生成实例。更多信息，请参见 查看并管理待生成实例。已生成实例：立即执行的补数据任务和待生成实例所生成...
基于AnalyticDB构建企业数仓
数据运维 提交并发布新建的节点任务后，单击左上角的图标，选择 全部产品>运维中心，即可进行数据运维操作。详情请参见 运维中心概述 模块的文档。元数据管理 您可以单击左上角的图标，选择 全部产品>数据地图，进行元数据管理操作。详情请...
平滑扩容
扩容示意图下：PolarDB-X 1.0 扩容步骤如下：创建扩容计划 选择新增加RDS/PolarDB MySQL，并选定需要迁移到新RDS/PolarDB MySQL实例上的分库，提交任务后系统自动在目标RDS/PolarDB MySQL上创建数据库和账号，并提交任务进行数据迁移同步。...
强一致分布式事务
例如转账事务在多个数据节点的提交有先后时间差，已提交的分支事务因为数据版本号不满足可见性，正在提交的事务数据全部不可见，从而确保总额数据读取的一致性。分布式事务的下游生态 读写分离的一致性 事务型的分布式数据库一般会采用读写...
防勒索介绍
勒索病毒入侵会对您的业务数据进行加密勒索，导致业务中断、数据泄露、数据丢失等，从而带来严重的业务风险。云安全中心针对勒索病毒提供服务器防勒索和数据库防勒索两大功能，帮您解决服务器、数据库被勒索病毒入侵的后顾之忧。勒索病毒...
访问CDC数据
云原生多模数据库 Lindorm 计算引擎提供Lindorm CDC（Change Data Capture）数据源，您可以通过该数据源使用Spark SQL查询Lindorm实例其他引擎变更的数据。前提条件 Lindorm实例已开通LTS（Lindorm Tunnel Service）服务，具体请参见 购买...
PREPARE TRANSACTION
相反，它的状态被完全存储在磁盘上，并且有很高的可能性它会被提交成功（即便在请求提交前发生数据库崩溃）。一旦被准备好，事务稍后就可以分别用 COMMIT PREPARED 或者ROLLBACK PREPARED提交或者回滚。可以从任何会话而不仅仅是执行原始...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
数据节点管理
背景介绍 PolarDB-X 的数据节点管理功能支持存储资源池和数据节点单独升降配，实现数据节点的精细化管理与资源隔离，以适应多样化业务场景需求，进而有效提升整体资源使用率。存储资源池，即将DN存储节点划分为互不交叉的池，支持在单个...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
集群自定义监控报表
集群数据库 transaction_commit_rt 事务平均提交耗时 集群数据库 transaction_rollback_rt 事务平均回滚耗时 集群数据库 transaction_rt 事务平均处理耗时 集群数据库 active_session 当前活跃会话数 集群数据库 all_session 当前会话数 ...
资源组说明
资源组功能 每种类型的资源组，按功能可分为几类：通用任务执行器：用于连接用户的数据库，获取库表元数据，执行SQL，也包括连接用户计算引擎（Flink、Spark等），提交作业。数据同步Worker：用于执行数据同步任务，包括离线同时、实时同步...
资源组说明
资源组功能 每种类型的资源组，按功能可分为几类：通用任务执行器：用于连接用户的数据库，获取库表元数据，执行SQL，也包括连接用户计算引擎（Flink、Spark等），提交作业。数据同步Worker：用于执行数据同步任务，包括离线同时、实时同步...
应用级别的数据完整性检查
对于使用读已提交事务的数据完整性强制业务规则非常困难，因为对每一个语句数据视图都在变化，并且如果一个写冲突发生即使一个单一语句也不能把它自己限制到该语句的快照。虽然一个可重复读事务在其执行期间有一个稳定的数据视图，在使用 ...
导入数据
本文介绍如何在SQL Console页面通过提交工单导入数据至数据库。使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、...
技术原理
PolarDB-X 1.0 扩容原理步骤如下：创建扩容计划 选择新增加RDS/PolarDB MySQL，并选定需要迁移到新RDS/PolarDB MySQL实例上的分库，提交任务后系统自动在目标RDS/PolarDB MySQL上创建数据库和账号，并提交任务进行数据迁移同步。...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
他云/自建数据库录入
本文介绍如何将他云/自建数据库录入至数据管理DMS中。前提条件 支持录入的他云/自建数据库类型，请参见 支持的他云/自建数据库。已在他云/自建数据库的白名单中添加DMS的服务器访问地址。详细信息，请参见 设置IP白名单。目标数据库实例的...
Stream Load
开启两阶段事务提交模式后，数据写入完成即会返回信息给用户，此时数据不可见，事务状态为PRECOMMITTED，用户手动触发commit操作之后，数据才可见。由于Stream load是一种同步的导入方式，所以导入的结果会通过创建导入的返回值直接返回给...
通过数据同步功能同步SLS数据至数仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 数仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
术语表
强一致性：可以查看到主实例上提交的最新数据，满足全局数据查询一致性。如果主备延迟过大，提交的查询会等待；弱一致性：可以查看到当前只读实例上最新数据，如果在主实例和只读实例间数据同步有延迟的话，不会等待，查询到数据立即返回。...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
调整innodb_flush_log_at_trx_commit和sync_binlog...
背景 优化innodb_flush_log_at_trx_commit和sync_binlog参数的配置可以提高数据库的性能和数据安全性，参数作用如下：innodb_flush_log_at_trx_commit：控制MySQL实例在事务提交后，是否立即将日志缓冲数据更新至log file文件中，用于进行...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
- 产品推荐
- 这些文档可能帮助您