从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
路由到数据库
您可以通过事件规则过滤事件，将事件路由到云数据库RDS MySQL版或自建MySQL数据库。本文以自定义事件为例介绍将事件路由到数据库的前提条件、操作步骤和结果验证。地域限制 目前仅华北3（张家口）、德国（法兰克福）和新加坡地域支持路由到...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
资源函数
例如 update_time_key="update_time"，其中 update_time 为MySQL数据库中数据更新的时间字段，该时间字段支持如下数据类型：Datetime、Timestamp、Int、Float、Decimal。需保证该时间字段的值随时间递增。说明 数据加工基于该时间字段做...
清理文档
立即清理 保留字段：必须为主表中的 INT 字段类型，该字段值为“秒级”或“毫秒级”unix 时间戳值。在最近X天内的文档：这里的 X 表示需保留最近多少天内的文档，值域[7-180]。该字段值单位为：秒：秒级 unix 时间戳一般为10位整数。毫秒：...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
Microsoft Azure Database for MySQL数据库迁移到阿里...
本文介绍Microsoft Azure Database for MySQL数据库迁移到阿里云的步骤及注意事项。前提条件 源端及目标端 要求 相关参考 源端 Microsoft Azure Database for MySQL实例 已开通公网访问，并获取外网连接地址及端口。已创建高权限账号。如果...
通过一键建仓同步至数仓版
数据库名称 从下拉列表中选择目标 AnalyticDB MySQL 数据库名。表名 从下拉列表中选择目标 AnalyticDB MySQL 表名。账号名称 目标 AnalyticDB MySQL 中创建的 数据库账号。账号密码 填写账号名称对应的密码。字段映射 系统自动提取日志服务...
单选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。⑥自动关联字段ID值：选择是否自动关联字段ID值，勾选后即配置控件 的选项展示名称 关联 对应的ID值字段。来源于 选择 数据集。①...
数据表管理
从MySQL数据库导入 进入数据表管理主页面后，单击“新建数据表”按钮；在新建数据表窗口选择数据来源为“数据库>MySQL”；根据实际业务需求，填写数据表名称、更新时间列信息，选择数据源和物理表等：数据源：即在知识中心>数据问答>数据源...
下拉单选
③表字段名：基于该数据填报创建的表里面的对应字段名称。说明 字段名或表名必须以字母开头，支持字母、数字、下划线（_），最大长度为40个字符。④填写提示：设置控件输入时的 提示信息。例如 请选择客户类型。⑤描述信息：自定义控件的...
数据库常见问题
连接mysql数据库 mysql_select_db('data_base');选择数据库$result=mysql_query('selectfrom data_base');第二个可选参数，指定打开的连接$row=mysql_fetch_row($result))/只取一行数据 echo$row[0];输出第一个字段的值 MySQLi函数 在PHP 5...
通过一键建仓同步至数仓版
PolarDB MySQL数据库中已存在表数据。计费 一键创建PolarDB MySQL数据仓库时，系统自动通过DTS同步数据，DTS计费规则，请参见 计费概述。注意事项 数据同步过程中，若在源实例PolarDB MySQL中新增库，新增库数据不会自动同步，手动配置同步...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
管理MySQL Catalog
当配置该参数时，返回的表Schema会额外添加指定的元数据列，这些列只适用于MySQL CDC源表，所以该Catalog返回的表只能用作数据源表，不可以用作结果表或维表。否 catalog.table.treat-tinyint1-as-boolean 获取数据表Schema时，对于MySQL的...
MySQL整库同步Kafka
在使用中，同一张MySQL表可能被多个作业依赖，当多个任务使用同一张MySQL表做处理时，MySQL数据库会启动多个连接，对MySQL服务器和网络造成很大的压力。为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的...
通过一键建仓同步至数仓版
RDS MySQL数据库中已存在表数据。计费 一键创建RDS MySQL数据仓库时，系统自动通过DTS同步数据。DTS计费规则，请参见 计费概述。注意事项 数据同步过程中，若在源实例RDS MySQL中新增库，新增库数据不会自动同步，需要手动配置同步链路，请...
采集MySQL查询结果
DialTimeOutMs int 否 连接MySQL数据库超时时间，默认值为5000，单位：ms。ReadTimeOutMs int 否 读取MySQL查询结果的超时时间，默认值为5000，单位：ms。StateMent string 否 SELECT语句。设置 CheckPoint 为 true 时，Statement 中SELECT...
数据归档
说明 ODC V4.2.2 及之后的版本支持选择 MySQL 数据库，以将 OceanBase 中的数据归档到 MySQL 数据库中。变量配置 可选项。通过变量筛选表中符合条件的行进行归档。例如：create_time${bizdate}，其中 bizdate 默认为任务执行时间，可以通过...
配置同步任务中的数据来源和去向
成功将数据导入分析型数据库MySQL版后，您就可以使用分析型数据库MySQL版进行数据分析。进入 DataWorks控制台，单击对应项目操作栏中的 数据开发。单击左侧菜单栏中的 数据开发，右键单击 业务流程 新建一个流程。右键单击 步骤2 中新建的...
下拉多选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段 ⑤默认值：根据设置 数据字段内容 进行下拉选择。来源于 选择 数据集。①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前...
配置MySQL输出组件
MySQL输出组件用于向MySQL数据源写入数据。同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建...
配置MySQL输出组件
MySQL输出组件用于向MySQL数据源写入数据。同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建...
将MySQL数据迁移到Redis
选项说明 选项 说明 示例值-h MySQL数据库的连接地址。说明 此处是指命令中的第一个-h。rm-bp1xxxxxxxxxxxx.mysql.rds.aliyuncs.com 说明 请使用Linux服务器连接MySQL数据库所需的地址。P MySQL数据库的服务端口。3306-u MySQL数据库的用户...
用户属性管理
赋值逻辑 选择当用户属性同时关联的多个字段发生冲突时的赋值逻辑，支持：保留创建时间最早的字段值 保留更新时间最晚的字段值 保留出现频次最高的字段值 空值取值逻辑 选择遇字段空值时的取值逻辑，支持：有值优先：当多个字段中有字段为...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
配置MaxCompute输出
例如：配置MaxCompute表分区字段值来源为源端字段A，当A字段值为aa时，实时同步会将数据写入到MaxCompute表对应的aa分区中，当A字段值为bb时，实时同步会将数据写入到MaxCompute表对应的bb分区中。单击工具栏中的 图标。
通过数据同步功能同步SLS数据至数仓版
例如：SLS数据总共有10行，某一字段中有2行是脏数据，则该2行数据转为NULL值写入，其他8行数据正常写入。Unix时间戳转datetime 若SLS源字段是Unix时间戳（例如1710604800），而目标字段类型是DATETIME或TIMESTAMP，需开启此功能进行转换。...
文本查询
说明 查询值字段第一项 取的是 数据集 中该查询值字段的第一个值，如果在数据集中该字段有排序（升降序、自定义排序等），则按照这个排序的第一个取，不受到上方选项值来源 排序字段 的影响。选中该选项，并设置默认值为中级和高级。手工...
从MySQL导入数据
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标 云数据库ClickHouse 集群，...
使用Tapdata Cloud导入MySQL数据
单击MySQL数据库，根据下表说明在右侧面板配置参数。参数 描述 节点名称 默认为连接名称，请根据实际设置。DDL事件采集 暂不支持对表格存储执行DDL语句同步，无需配置此参数。选择表 选择要复制的表。取值范围如下：按表名选择：按照表名...
空间分析
通过空间分析功能，您可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，帮助您及时发现数据库中的空间异常，避免影响数据库的稳定性。前提条件 RDS MySQL实例为高...
MySQL分库分表实践
开通RDS MySQL数据库，详情请参见 创建RDS MySQL实例。如果选择使用DataWorks同步，请开通DataWorks，详情请参见 开通DataWorks；同时购买DataWorks独享数据集成资源组，并完成资源配置，详情请参见 新增和使用独享数据集成资源组。如果...
通过数据同步功能同步SLS数据至湖仓版
例如：SLS数据总共有10行，某一字段中有2行是脏数据，则该2行数据转为NULL值写入，其他8行数据正常写入。Unix时间戳转datetime 若SLS源字段是Unix时间戳（例如1710604800），而目标字段类型是DATETIME或TIMESTAMP，需开启此功能进行转换。...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
从自建MySQL迁移至MyBase MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库的迁移上云。本文是以新版数据传输服务DTS（Data Transmission Service）控制台为例，旧版数据传输...
通过元数据发现导入至湖仓版
AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动探索OSS文件字段、自动感知字段变化的能力，能够自动创建和更新数据湖元数据。您可以通过创建OSS元数据发现任务，自动发现同地域下OSS的Bucket和数据文件，将...
从自建MySQL迁移至RDS MySQL实例
DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库的迁移上云。说明 在使用DTS前，请确保DTS有访问云资源的权限，详情请参见 授予DTS访问云资源的权限。...
- 产品推荐
- 这些文档可能帮助您