MySQL分库分表同步至Hologres（方案2.0）
本文将以MySQL分库分表实时写入实时数仓Hologres场景为例，为您介绍分库分表写入Hologres数据集成最佳实践。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
数据查询与分析管控
DataWorks版本 下载数据条数上限（条）基础版 0 标准版 200,000 专业版 2000,000 企业版 5000,000 说明 版本降级时，可下载的数据条数上限值变化如下：如降级前的下载数据条数上限值，超过了降级后的下载数据条数最大值，则可下载的数据条...
表数据管理
重要 导出数据条数不再受查询窗口的条数限制，可自定义导出条数。模拟数据 创建模拟数据。具体操作步骤，请参见 生成测试数据。回到开始 跳转至第一页。上一页 向上翻页。下一页 向下翻页。跳至底部 跳转至最后一页。展示数据量 设置在页面...
轮播列表
单页不轮播：打开开关，若数据条数达不到表格行数（数据只有一页）时，不进行轮播。高亮 轮播表格内单行内容高亮显示样式，可单击 图标控制列表高亮样式的显隐。自动依次高亮：打开开关，轮播列表中的每一行内容轮播时自动依次高亮显示；...
SQL结果集导出
注意事项 SQL结果集导出功能在免费导出数据的行数、单次导出表容量等方面受限于管控模式。更多信息，请参见 各管控模式支持的功能。若您需要导出同实例下其他数据库的数据，请在导出前确认您在DMS登录该数据库的账号是否为高权限账号，避免...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
配置Log Service输入组件
批量条数 一次读取的数据条数，系统默认为256，最多为1000条。输出字段 为您展示输出的字段，您也可以通过以下两种方式添加字段：单击右侧的 新建输出字段，填写 来源序号、字段 及选择字段的 类型，单击非该字段显示的区域。单击右侧的 ...
配置Log Service输入组件
批量条数 一次读取的数据条数，系统默认为256，最多为1000条。输出字段 为您展示输出的字段，您也可以通过以下两种方式添加字段：单击右侧的 新建输出字段，填写 来源序号、字段 及选择字段的 类型，单击非该字段显示的区域。单击右侧的 ...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
数据水印
影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时发现异常，避免发生数据安全事故。跳过校验（可选）是否跳...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
功能特性
PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群，同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...
流式气泡层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
导入数据
步骤二：确认导入结果 导入数据后，您需要查看导入的目标表与数据文件中的数据条数是否一致，确认所有数据均已成功导入。本文中的示例数据文件 banking.txt 中有41188条数据，banking_yescreditcard.csv、banking_uncreditcard.csv 和 ...
创建同步任务
您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数，即当脏数据超过指定条数时，任务失败退出。分布式处理能力 用于控制是否开启分布式模式来执行当前任务。开启：分布式执行模式可以将您的任务切片分散...
垃圾回收机制
当无效数据行占总数据行数的一定数值时（您可以根据需求自定义设置无效数据行数占比），PolarDB PostgreSQL版（兼容Oracle）会自动触发垃圾数据的回收动作，通过VACUUM进程对垃圾数据进行回收；您也可以手动执行 vacuum table_name 进行...
通过向导模式配置离线同步任务
您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数，即当脏数据超过指定条数时，任务失败退出。分布式处理能力 用于控制是否开启分布式模式来执行当前任务。开启：分布式执行模式可以将您的任务切片分散...
运营
运营主要面向租户资产管理员，为用户提供数据资产编目、数据资产上线、数据资产下线等能力。通过获取资产元数据信息，并同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员...
功能简介
数据指标数趋势分析：展示未公开及已公开的资产过去7天、过去30天、过去90天及自定义时间范围内的指标趋势图。运营分析：展示未公开及已公开的资产，对全租户下已注册的资产，围绕注册资产的运营阶段（注册-公开-使用），了解各阶段下的多...
功能简介
数据指标数趋势分析：展示未公开及已公开的资产过去7天、过去30天、过去90天及自定义时间范围内的指标趋势图。运营分析：展示未公开及已公开的资产，对全租户下已注册的资产，围绕注册资产的运营阶段（注册-公开-使用），了解各阶段下的多...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
使用数据传输同步数据
如果开启，请设置 RPS（全量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（全量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量同步实际可以达到的...
操作流程
查看公开资产总览 通过查看资产分析，可以了解资产总览，掌握公开资产的指标看板、数据指标数趋势分析和运营分析的情况。具体操作，请参见 查看公开资产。查看资产总览 通过查看资产分析，可以了解资产总览，掌握公开及未公开资产的指标...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
操作流程
查看公开资产总览 通过查看资产分析，可以了解资产总览，掌握公开资产的指标看板、数据指标数趋势分析和运营分析的情况。具体操作，请参见 查看公开资产。查看资产总览 通过查看资产分析，可以了解资产总览，掌握公开及未公开资产的指标...
Flink数据导入
本文介绍如何将开源Flink中的数据导入 AnalyticDB MySQL版 数仓版（3.0）集群。前提条件 下载Flink驱动，并将其部署到Flink所有节点的${flink部署目录}/lib 目录下。您可以根据Flink版本下载对应的驱动：Flink 1.11版本：flink-connector-...
Query Profile介绍
SegmentRuntimeZoneMapFilterRows Runtime Zone Map过滤的数据行数。SegmentZoneMapFilterRows Zone Map过滤的数据行数。ShortKeyFilterRows Short Key过滤的数据行数。ZoneMapIndexFilterRows Zone Map索引过滤的数据行数。Connector Scan...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置数据识别规则
命中率默认配置为50%，命中率计算公式为：100%*该列中命中识别规则的数据条数/该列数据的总条数。说明 命中率仅对数据内容识别规则生效。确认配置无误后，您可以单击 保存草稿 将新增的敏感字段类型状态置为草稿，您还可以单击 发布使用，...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
OceanBase 数据库 MySQL 租户之间的数据同步
如果开启，请设置 RPS（全量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（全量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量同步实际可以达到的...
测试数据构建
您可以通过DMS提供的测试数据构建功能，批量生成各类随机值、地区名、虚拟IP地址等信息，...输入如下查询big_table表中数据行数的SQL语句，单击 执行。SELECT COUNT(*)FROM `big_table`;更多测试数据构建功能的信息，请参见 测试数据构建。
独享数据集成资源组
性能指标 规格 离线同步最大并发线程数 4c8g 8 8c16g 16 12c24g 24 16c32g 32 24c48g 48 规格 单任务建议需要的资源规格 MySQL来源实时同步数据库数1 4c8g MySQL来源实时同步数据库数[2-5]8c16g MySQL来源实时同步数据库数6以上 12c24g ...
数据变更最佳实践
建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入延迟相对会高一些。写入报错时，需要做重试确保数据被写入，重试导致的数据重复...
通过脚本模式配置离线同步任务
您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数，即当脏数据超过指定条数时，任务失败退出。说明 任务整体同步速度除受到上述配置影响外，还受源端数据源性能，同步网络环境等多方面影响，关于同步...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
需求分析
用户基本信息表：ods_user_info_d 网站访问日志原始数据表：ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离...
存储空间分析
数仓版（3.0）预留模式集群与 弹性模式集群版（新版）集群、湖仓版（3.0）集群查看的 总数据量 指标不同，预留模式集群不支持冷热数据分离，因此仅能在 总数据量 指标中查看 总数据量、平均节点数据量 和 最大节点数据量 指标。弹性模式...
- 产品推荐
- 这些文档可能帮助您