结构设计元数据不一致的解决办法
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。解决方法 请在目标表关联的所有工单状态为 设计中 的工单（工单状态为 已发布 或 已关闭 不需要处理）中移除该表。具体操作如下：登录 数据管理DMS 5.0。在顶部菜单栏中...
使用SQL管理外部项目
创建与外部数据源中表结构相同的表 如果需要创建与外部数据源中表结构相同的表，可以使用 create table.like 命令复制外部数据源中表的结构，命令示例如下。说明 create table.like 命令详细说明请参见 表操作。创建表 create table from_...
2022年
利用MaxCompute湖仓一体在MaxCompute中创建与EMR、Hadoop、DLF等外部数据源中表结构相同的表，利用 Create table like 语法将外部数据源中的表结构迁移至MaxCompute内，以获取更好的数据治理能力和访问性能。2022-09-23 全部地域 使用SQL...
用户行为
配置用户行为表结构，用于导入用户行为表...您仍可以沿用原来的用户行为表结构，已配置的用户行为表结构中的行为对象类字段将自动转为行为属性类字段，在 人群筛选、生成 AIPL模型、偏好类标签 等时，原行为对象配置项合入了行为属性配置项。
Hologres整库周期性增全量同步至MaxCompute
在弹出的 目标表结构 中，单击 添加字段。添加字段后，单击 应用并刷新映射。单击 批量修改 中的 目标表字段赋值，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板），以添加一个 cyc_time 参数为例：在手动赋值中填写$...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
在弹出的 目标表结构 中，单击 添加字段。添加字段后，单击 应用并刷新映射。单击 批量修改 中的 目标表字段赋值，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板），以添加一个 cyc_time 参数为例：在手动赋值中填写$...
结构设计
fac.index_kind 表结构中索引的种类。new：新增索引 old：原有索引@fac.index_column_count 索引包含的字段个数。fac.change_type DDL执行的数据库识别出的字段、索引变更类型。add：新增 modify：修改 delete：删除@fac.altered_table_...
表结构发布流程化
背景信息 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表（加减字段、加减索引、调整字段属性、调整索引组成）等结构的变更操作，此时您可以使用DMS的结构设计功能。DMS推出的结构设计为多套研发环境开发，且在开发...
PolarDB-X 1.0在DMS控制台上无法显示修改后的表结构
问题描述 使用阿里云云原生分布式数据库PolarDB-X 1.0过程中，通过其他客户端修改表结构后，在DMS控制台上无法显示修改后的表结构。解决方案 DMS会从影子库系统表中获取 PolarDB-X 1.0 的表结构。在处理异常DDL过程中，由于种种原因可能会...
新增数据表
在 数据表 页签，单击目标表结构模板左侧的，在下拉列表中，确认新增的数据表状态为 可用。说明 如果新增的数据表状态为 不可用，表示数据连接失效，请执行以下操作：单击目标数据表名称，在 数据表详情 页面单击 编辑，进入 编辑数据表 ...
JSON
类型映射 当前，JSON结构将会从表结构之中自动推导得到。在Flink中，JSON格式使用 jackson databind API 去解析和生成JSON。Flink与JSON的数据类型的映射关系如下。Flink SQL类型 JSON类型 CHAR/VARCHAR/STRING string BOOLEAN boolean ...
数据库实时入仓快速入门
表结构 users表的表结构比MySQL源表中多了_db_name和_table_name两列，代表数据来源的库名和表名，且作为联合主键的一部分来保证分库分表合并后的数据唯一性。表数据 在users表信息页面右上角，单击 查询表 后，输入如下命令，单击 运行。...
常见错误码及排查方法
出现这种表结构不一致主要的原因是：该表结构变更DDL语句未记录到Binlog中，导致DTS解析不到DDL，未更新本地存储的表结构。例如：执行 SET SESSION sql_log_bin=0 语句修改某个表的字段类型，比如INT（11）修改为BIGINT(20)。解决方法：请...
OSS数据源
元信息发现如何创建分区 当元信息发现扫描OSS目录文件并检测到多个文件时，它会在目录结构中确定表的根目录，以及哪些目录是表的分区。表的名称基于OSS目录前缀或目录名，当某个目录级别下大部分的目录结构和文件格式都相同时，发现程序会...
如何处理DDL异常
A：为了兼容某些客户端从系统表（如COLUMNS或TABLES）中获取表结构的功能，PolarDB-X 1.0 在您的0分库RDS里建立了一个影子库，影子库名与 PolarDB-X 1.0 逻辑库名一致，存储了逻辑库里所有的表结构等信息。DMS会从影子库系统表中获取 ...
MyBase SQL Server迁移至RDS SQL Server
表结构不一致的情况下，可能导致只能迁移部分列的数据或迁移失败，请谨慎操作。源库对象 在 源库对象 框中单击待迁移的对象，然后单击 将其移动到 已选择对象 框。说明 迁移对象选择的粒度为schema、表、列。若选择的迁移对象为表或列，...
代码解析结果对比
开启自动解析时，为保障生产数据产出无误、节点变更操作过程可控，在节点发布流程中，需对节点调度变更相关操作进行二次确认，提交节点时将基于代码中表血缘解析当前节点的输入与输出。您可根据代码解析结果，确认节点的上下游依赖是否正确...
RDS SQL Server实例间数据迁移
表结构不一致的情况下，可能导致只能迁移部分列的数据或迁移失败，请谨慎操作。SQLServer增量同步模式 非堆表用日志解析增量同步，堆表用CDC增量同步：优点：支持源库堆表、无主键表、压缩表、含计算列表等场景。链路稳定性较高。能拿到...
RDS SQL Server实例间的迁移
表结构不一致的情况下，可能导致只能迁移部分列的数据或迁移失败，请谨慎操作。源库对象 在 源库对象 框中单击待迁移的对象，然后单击 将其移动到 已选择对象 框。说明 迁移对象选择的粒度为schema、表、列。若选择的迁移对象为表或列，...
RDS MySQL修改字符集（平滑方案）
步骤一 将源实例中表的结构导入至新实例中 本示例中通过DMS登录的实例的 管控模式 均为 自由操作。导出源实例中需要变更字符集的表的结构脚本。通过DMS登录源实例，详情请参见 通过DMS登录RDS数据库。在顶部菜单栏中，选择 数据库开发>数据...
自建SQL Server迁移至RDS SQL Server
迁移类型说明 库表结构迁移 DTS将源库中迁移对象的结构定义迁移到目标库。支持结构迁移的对象：表、视图、表触发器、同义词、SQL 存储过程、SQL 函数、plan guide、自定义类型、rule、default、sequence。不支持结构迁移的对象：assemblies...
新建表结构模板
数据表结构 您可以参考以下两个 CSV 文件作为表结构模板上传到平台中，当您上传 CSV 文件后，平台将自动解析表结构，您可以预览表结构并修改字段描述。linear_alice.schema.csv linear_bob.schema.csv 配置完成后单击 确定。后续步骤 新增...
RDS SQL Server迁移至DataHub
表结构不一致的情况下，可能导致只能迁移部分列的数据或迁移失败，请谨慎操作。目标库对象名称大小写策略 您可以配置目标实例中迁移对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择与源库、目标库默认...
管理表结构版本
当您在 数据管理DMS 中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、对比、恢复历史版本的表结构。前提条件 您具有该表（或库）的查询权限，更多信息，请参见 查看我的权限。表...
逻辑表
配置完逻辑库后，系统会自动解析逻辑库中符合条件的物理表，生成逻辑表，您也可以手动更新逻辑表。本文介绍生成逻辑表的规则和手动更新逻辑表的方法。前提条件 已配置逻辑库。更多信息，请参见 逻辑库。逻辑库中有多张表结构相同且表名前缀...
设置调度依赖最佳实践
如果代码中的一个表，既是产出表又是被引用表（被依赖表），则解析时只解析为产出表。如果代码中的一个表，被多次引用或者被多次产出，则解析时只解析一个调度依赖关系。说明 默认情况下，表名为 t_开头的会被当成临时表，自动解析不解析...
组合销售（跨店）服务商配置教程
组合的商品建议结合商品的上下游、场景问题的解决方案来组合，如建站产品和域名（注册/备案/解析）组合，短信群发和短信模板、短链接组合等等，将自己的商品和其他店铺的商品在功能、流量等方面实现1+1大于2的效果～相信您可以想到更多更好...
概述
数据表：从自定义存储表回流至IoT孪生引擎的数据，表中字段固定，对应数据直接映射到孪生体的孪生节点中。value：值为double类型。iot_id：孪生实体中孪生节点的ID（iotId）。property_id：孪生节点中属性的标识符（identifier）。数据表...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置离线管道调度依赖
解析后将在上游依赖列表中添加解析出来的全部依赖表。您可查看解析出的依赖表详情或进行编辑和删除操作。更多信息，请参见 自动解析流程。说明 自动解析出的输入表如果存在多个产出任务,默认将所有产出任务作为上游依赖。解析出的所有依赖...
查看求交样本
以下是关于数据表详细信息的说明：表结构模板：数据表所属的表结构模板，已在管理控制台中完成该表结构模板的配置，因此您没有编辑权限，仅有只读权限。所属数据表类型：数据表的类型。所属节点：数据表所属的节点名称。如果当前成员所属的...
配置离线管道调度依赖
解析后将在上游依赖列表中添加解析出来的全部依赖表。您可查看解析出的依赖表详情或进行编辑和删除操作。更多信息，请参见 自动解析流程。说明 自动解析出的输入表如果存在多个产出任务,默认将所有产出任务作为上游依赖。解析出的所有依赖...
配置离线任务调度依赖
解析后将在上游依赖列表中添加解析出来的全部依赖表。您可查看解析出的依赖表详情或进行编辑和删除操作。更多信息，请参见 自动解析流程。说明 自动解析出的输入表如果存在多个产出任务,默认将所有产出任务作为上游依赖。解析出的所有依赖...
配置离线任务调度依赖
解析后将在上游依赖列表中添加解析出来的全部依赖表。您可查看解析出的依赖表详情或进行编辑和删除操作。更多信息，请参见 自动解析流程。说明 自动解析出的输入表如果存在多个产出任务,默认将所有产出任务作为上游依赖。解析出的所有依赖...
MSCK REPAIR DATABASE
MSCK REPAIR DATABASE的作用是同步底层数据的表结构到DLA中，对于底层已经删除的表，它会自动删除DLA中对应的表，对于底层新增的表，它会自动添加对应的DLA表。MSCK REPAIR DATABASE db_name 示例 msck repair database db001 注意事项 ...
配置目标节点
完成数据解析的处理配置后，您可根据处理节点的输出字段，完成Topic解析任务最终的输出配置。本文介绍配置目标节点的具体操作。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请参见 使用说明。数据...
将数据写入OSS
MaxCompute支持您通过INSERT方式将...示例：通过内置文本数据解析器将数据写入OSS-非分区路径 读取 示例：通过内置文本数据解析器创建OSS外部表-非分区表 中创建的OSS外部表mc_oss_csv_external1的数据，并以CSV格式写入OSS目录 oss:/oss-...
数据接入概述
您可以通过数据解析将事件和自定义Topic的上报数据，写到自定义数据表中。云产品数据源 物联网平台提供云产品数据接入功能，您可将其他云平台的数据同步至物联网平台的数据服务中，用于数据的加工处理和分析。目前仅支持将OSS Bucket中文件...
从RDS原生实时同步
如果是多张分库分表同步到一张HybridDB for MySQL目标表，点击页面下方的 批量修改表结构 进入如下页面：在左侧选择栏选中具有相同表结构的源表，在右侧输入框中输入目标表名后按回车，即可以编辑右下方的 HDB表结构 内的DDL，完成修改后，...
- 产品推荐
- 这些文档可能帮助您