TableWriter API
indices 中的每个数对应表的每一列（列数从0开始计算）。关闭表 接口定义如下。writer.close()在 with 语句块中，无需显示调用 close()关闭表。重要 关闭表之后，如果使用 open 命令重新打开表，则表中原数据被清空。通过with语句使用...
创建同步MaxCompute
用户可以使用DataWorks管控台进行MaxCompute对应表的权限管理，参考 MaxCompute高级配置，也可以选择使用MaxCompute的命令行工具进行授权，参考 MaxCompute使用及授权管理。3.确认TimestampUnit单位 1）Connector中TimestampUnit的作用，...
使用MaxCompute控制台（离线）
同时您需拥有对应的数据权限，如：上传至已有表：需具备对应表的数据写入权限。上传至新增表：需具备对应项目的创建表权限。创建MaxCompute项目详情请参见 项目管理（新版），授权操作请参见 权限管理。基于阿里云对象存储OSS上传数据时，...
通用数据查询与管理
通过数据地图首页查询并进入对应表详情页面后，您可在页面中查看表的基础信息和业务信息，了解当前表所属的项目、表owner、所属的环境是生产环境还是开发环境等信息，并可以在右侧通过各详细信息的页签页面，快速查看表的字段明细、血缘...
Word2Vec
inVocabularyTableName 对应表的所有分区 layerSize 否 单词的特征维度数量。取值范围为0~1000。100 cbow 否 训练使用的语言模型。取值范围为0（skip-gram模型）和1（cbow模型）。0 window 否 单词的窗口大小。取值范围为正整数。5 ...
路由算法
说明 若未配置路由算法，则在对逻辑表的数据进行操作时，会遍历逻辑表对应的每一个物理表，整体操作时间会成倍增加。路由算法由路由字段+算法组成。使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
查看表资产详情
在 资产目录 页面，单击 数据表 页签，选择下面任意一种方式查找对应表资产。在关键词搜索框，输入资产名称或字段名称搜索表资产。在数据表目录区域，选择该资产对应目录，单击 图标，根据页面提示，输入相关信息筛选表资产，并在筛选结果...
查看表资产详情
在 资产目录 页面，单击 数据表 页签，选择下面任意一种方式查找对应表资产。在关键词搜索框，输入资产名称或字段名称搜索表资产。在数据表目录区域，选择该资产对应目录，单击 图标，根据页面提示，输入相关信息筛选表资产，并在筛选结果...
文档数据同步时间
主表绝大多数数据更新情况是10s内，辅表会慢一些，时效性目前没有保证...您也可以在辅表数据更新后等待一秒钟，然后根据辅表更新的信息在源数据中搜索主表对应的数据，对相应的主表数据进行update操作。如问题还未解决,请联系 售后技术支持。
约束完整性检查
修复方法一 在迁移对象中加入相应父表 此方法将约束完整性检查失败的子表对应的父表加入至迁移对象中。定位至目标迁移任务，单击 修改任务配置。单击页面右下角的 授权白名单并进入下一步。选择约束完整性检查失败的子表对应的父表，单击 ...
CREATE DATABASE AS（CDAS）语句
使用CDAS可以将上游多个分库下相同表名的数据合并同步到Hologres目标库对应表名的同一张表中，库名和表名会作为额外的两个字段写入到每张结果表中。为保证主键唯一性，库名、表名和原主键一起作为对应Hologres表的新联合主键。假设MySQL...
PolarDB数据源配置
已建立数据源连接界面如下，选择对应表，点击确定。选择或输入该数据库下需要访问的表名（大小写敏感）。支持分表规则 table_*的方式，例如 table_a、table_b 等。4.若连接成功，则进行字段配置，OpenSearch会自动获取表字段。数据源插件...
PolarDB数据源配置
已建立数据源连接界面如下，选择对应表，点击确定。选择或输入该数据库下需要访问的表名（大小写敏感）。支持分表规则 table_*的方式，例如 table_a、table_b 等。4.若连接成功，则进行字段配置，OpenSearch会自动获取表字段。数据源插件...
按单节点关联
逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，该逻辑表需被生产节点引用。数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取...
按指标关联
关联项说明 关联项 说明 逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，该逻辑表需被生产节点引用。指标 数据标准中已经创建的指标。数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 ...
多表join引发的数据同步延迟
辅表更新触发主表更新量不能超过1000tps，否则可能造成主辅表均有延迟 当主辅表的join关系是N：1时，建议N值不超过10 主辅表join逻辑 这里以两张表为例：辅表更新逻辑 这里以两张表，并且主辅表对应关系为N：1为例：由上图可知：在主辅表...
RDS数据源配置
已建立数据源连接界面如下，选择对应表，并单击向右箭头，保存到右侧已选择界面。选择或输入该数据库下需要访问的表名（大小写敏感）。支持分表规则 table_*的方式，例如 table_a、table_b 等。4.字段映射，选择需要拉取的数据库字段。单击...
RDS数据源配置
已建立数据源连接界面如下，选择对应表，并单击向右箭头，保存到右侧已选择界面。选择或输入该数据库下需要访问的表名（大小写敏感）。支持分表规则 table_*的方式，例如 table_a、table_b 等。4.字段映射，选择需要拉取的数据库字段。单击...
管理预置指标表
（可选）单击某预置指标表对应 操作 列的 查看。在 指标表详情 页面，查看该预置指标表的基本信息，以及构成该表的预置指标。开启和关闭预置指标表统计数据 开启指定预置指标表的数据统计 在 预置指标 页签，单击目标预置指标对应 操作 列...
Hive数据源
DROP PARTITION 在对应表缓存的分区列表里删除分区，并失效该分区的缓存。ALTER PARTITION 如果是重命名，先删除旧名字的分区，再用新名字创建分区，否则令该分区的缓存失效。重要 当导入数据导致文件变更时，分区表会执行ALTER PARTITION...
按逻辑表关联
根据逻辑表关联对应资源信息，手动选中逻辑表后，系统自动选中该逻辑表对应的场景节点、场景节点对应的场景、场景对应的依赖场景、场景包含的输出逻辑表和输入逻辑表、场景输出的物理表。说明 依赖场景 第一种情况：如果A场景任意场景节点...
元表和字段资产详情
存储类型：为您展示元表对应来源表的存储类型。数据源：为您展示元表对应来源表的数据源。来源表：为您展示元表对应来源表。使用信息：包括收藏次数、浏览次数。收藏次数：为您展示当前数据表被用户收藏的次数，实时更新。浏览次数：为您...
从RDS原生实时同步
在对应表记录左侧操作列中，单击 修改表结构 进入如下页面：上方的 RDS Table DDL 为源表的DDL，不可编辑；下方的 HDB Table DDL 为HybridDB for MySQL表的DDL，可编辑。完成编辑后，单击 保存修改 返回原页面。如果是多张分库分表同步到...
元表和字段资产详情
存储类型：为您展示元表对应来源表的存储类型。数据源：为您展示元表对应来源表的数据源。来源表：为您展示元表对应来源表。使用信息：包括收藏次数、浏览次数。收藏次数：为您展示当前数据表被用户收藏的次数，实时更新。浏览次数：为您...
作业实例详情
双击表名即可查看对应表的基本信息页面。执行图 执行图 作为日常主要使用工具，以可视化的方式展示Fuxi Job、Fuxi Task以及Operation的依赖关系，同时提供一系列辅助工具，例如作业回放、进度图和热度图等，为排查问题提供帮助。上图中各...
关联数据
为空表示对应表下的所有字段。管理人员 人员功能帮您管理经常访问您数据库的企业内部人员信息。新增人员信息并使用应用身份识别功能（更多信息，请参见 应用身份识别）后，数据库审计系统会自动帮您识别SQL语句中的人员信息并将该信息关联...
数据血缘
重要 Hologres外部表对应的MaxCompute表的所属项目必须被DataWorks目标工作空间绑定，才可由此处的外部表链接进入MaxCompute表详情页面。您可以在此处查看表血缘信息，例如下图显示了在DataWorks的调度模块中，将数据通过Hologres外部表...
从PolarDB MySQL版同步至Elasticsearch
不支持同步DDL操作，如果源库中待同步的表在同步的过程中，已经执行了DDL操作，您需要先移除同步对象，然后在Elasticsearch实例中移除该表对应的索引，最后新增同步对象。详情请参见 移除同步对象 和 新增同步对象。如果源库中待同步的表...
场景：调度参数在数据集成的典型应用场景
MySQL将源端具有时间格式规律的表通过调度参数实现动态表名配置，进而实现每天将MySQL对应业务表写入MaxCompute表对应分区。如下图所示：场景三：定义目标字段 数据集成任务配置过程中，支持您为目标表某字段赋值同步业务日期的常量值。...
按线上API关联
物理表 对应数据建模模块通过逻辑表物理化产生的物理表；对应数据开发模块通过运行场景产生的物理表。说明 物理表展示的数据只支持展示的作用，不参与实例化。逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，且该逻辑...
ClickHouse
Boolean 否 false 参数取值如下：false（默认值）：如果是写ClickHouse分布式表，并且在参数url中只指定了一个节点，则不会尝试推测分布式表对应的本地表信息，而是依然会直接写入分布式表，再由分布式表写入对应的本地表。true：Flink将...
数据建模
多表记录数波动率 源表对应分区的表行数，同目标表的表行数进行比较，计算波动率。再与期望阈值进行比较，只要符合规则则通过。波动率计算公式=【（源表当前分区的表行数-对比指定分区的表行数）/源表当前分区的表行数】*100%。比较方式...
- 产品推荐
- 这些文档可能帮助您