配置for-each节点
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文以一个具体示例，通过for-each节点2次循环遍历赋值节点输出结果，并在每次循环...
热点行优化
减少B-tree索引的遍历 MySQL是以B-tree索引的方式管理数据的，每次执行查询时，都需要遍历索引才能定位到目标数据行，数据表越大，索引层级越多，遍历时间就越长。在前面提到的对更新操作进行分组的机制中，只有每组的Leader遍历索引定位...
如何清理孤立文档
shardNames.forEach(function(shardName){/遍历指定的数据库列表 databasesToProcess.forEach(function(dbName){ var dbInstance=db.getSiblingDB(dbName);获取该数据库实例的所有集合名称 var collectionNames=dbInstance....
常见问题
数据同步任务是否可以增加新表进行同步？可以。增加新表的方法，请参见 新增同步对象。如何修改运行中的同步任务的表和字段等同步对象?当同步任务的全量同步阶段结束，进入增量数据同步阶段后可以修改同步对象。修改同步对象的方法，请参见...
数据类型
描述 String string JavaScript语言中的基本数据类型 Integer int64 Node.js SDK封装的数据类型 Double number JavaScript语言中的基本数据类型 Boolean boolean JavaScript语言中的基本数据类型 Binary Buffer Node.js的Buffer对象 ...
数据格式描述文件
是 granularitySpec JSON对象 数据聚合设置，如创建segments、聚合粒度等。是 parser parser部分决定了您的数据如何被正确地解析，metricsSpec定义了数据如何被聚集计算，granularitySpec定义了数据分片的粒度、查询的粒度。对于parser，...
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
设置列索引的排序键
总体流程如下：按照主键索引遍历并将读取到的完整数据保存至数据文件，然后将排序列添加到排序缓存区，其中每个线程使用不同的数据文件，累积达到一定数据后再写入；不断遍历并插入到排序缓存区，当排序缓存区满时，在内存中根据排序键组合...
配置匹配规则
数据传输允许输入多条规则，但需要注意每条规则不能跨行且前后不允许有空格。迁移或同步对象规则不允许为空，排除对象规则允许为空。数据传输不支持在结构迁移、全量迁移期间进行 DDL 变更。通过匹配规则的方式选择迁移或同步对象时，数据...
资产目录
最多返回10000条数据。区域 描述 资产搜索区 您可根据资产对象的名称或描述关键字进行搜索。支持搜索框搜索定位页签下的全量资产。如果有搜索记录，为您展示最近搜索的记录，可快速点击资产并发起搜索。点击下拉列表的对象，将直接跳转到...
映射关系概述
全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，进入有效 映射 的映射关系页面。...
映射关系概述
全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，进入有效 映射 的映射关系页面。...
高级应用：实现复杂作业逻辑
for-each节点 DataWorks的for-each节点主要用于有循环遍历的场景，且需要与 赋值节点 联合使用，将赋值节点作为for-each节点的上游节点，将赋值节点的输出结果赋值给for-each节点后，一次次循环来遍历赋值节点的输出结果。for-each节点的...
HikariCP 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 HikariCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 hikaricp-mysql-client 示例工程 前提条件 您已安装 OceanBase...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
告警规则指标说明
指标维度 节点机IP，筛选条件如下：遍历：遍历每个节点机IP，针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控告警。示例：=172.20.XX.XX。无维度：汇总所有节点机的指标数据，针对所有节点机的指标数据进行...
管理数仓规划待发布对象
数据源对象信息：包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源，且仅包含新增...
管理数仓规划待发布对象
数据源对象信息：包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源，且仅包含新增...
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
管理数据架构待发布对象
区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象数据板块、最近提交人、最新发布时间、对象类型、变更类型、当前环境是否变更或输入对象名称筛选数据架构对象。② 数据架构对象列表 数据架构对象列表为您展示当前待发布的数据架构...
管理数据架构待发布对象
区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象数据板块、最近提交人、最新发布时间、对象类型、变更类型、当前环境是否变更或输入对象名称筛选数据架构对象。② 数据架构对象列表 数据架构对象列表为您展示当前待发布的数据架构...
资产目录
资产目录为您展示不同资产对象类型的元数据信息，同时支持搜索、访问及收藏等功能，为您提供高效、快捷、准确的数据查找入口。本文为您介绍资产目录相关详情。页面入口 在Dataphin首页，单击顶部菜单栏的 资产，默认进入数据 目录 页面。...
DescribeDataObjects-查询数据对象列表
调用本接口查询数据表、文件的数据识别结果。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
性能优化
2.140-执行 profile()后生成的 TraversalMetrics 对象包含如下信息：Step（步骤）：当前在遍历中被分析的步骤，更多信息请参见 Gremlin（中文）。Count（计数）：通过该步骤过滤的遍历数量。Traverses（遍历）：通过该步骤过滤的去重后的遍...
LRU 存储
fromHead 为 YES 时，从头开始遍历，否则对尾开始遍历。(BOOL)objectExistsForKey:(NSString*)key;快速判断某个 key 的对象是否存在，不会影响 LRU。(void)resetCapacity:(NSInteger)capacity;更新容量，如果新容量比原先的小，会删除部分...
查看敏感数据识别结果
数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 数据检索 页面和 数据识别 页面查看敏感数据识别结果。本文...
发布包总览概述
数据标准对象：您可以对数据标准对象执行发布、查看详情、版本对比、查看发布详情操作。更多信息，请参见 管理数据标准待发布对象。数据质量对象：您可以对数据质量对象执行查看发布信息、发布、查看发布详情操作。更多信息，请参见 管理待...
发布包总览概述
数据标准对象：您可以对数据标准对象执行发布、查看详情、版本对比、查看发布详情操作。更多信息，请参见 管理数据标准待发布对象。数据质量对象：您可以对数据质量对象执行查看发布信息、发布、查看发布详情操作。更多信息，请参见 管理...
写入时空对象
单条记录写入 Lindorm Ganos通过GeoTools API中的SimpleFeatureWriter写入单条数据，SimpleFeatureWriter支持事务，可以通过DataStore的getFeatureWriterAppend方法获取。SimpleFeatureType sft=.;SimpleFeatureWriter writer=...
从自建Redis迁移至阿里云Redis
全量迁移：使用SCAN命令遍历整个源端，将遍历到的数据写入到目标端。迁移期间会对源端性能有一定影响，且无法保证数据一致性。全量迁移+增量迁移：使用Redis原生同步逻辑，以内存快照方式将数据写入到目标端，实现源库不停机的迁移。重要 ...
查看和修改迁移对象
数据迁移项目处于 未启动、运行中 或 已暂停 状态时，支持增加和减少迁移对象。数据迁移项目处于 失败 状态时，仅支持减少迁移对象。数据迁移项目处于 修改中 或 合并中 状态时，不支持再次修改迁移对象。数据迁移项目的 全量迁移、增量...
表
PyODPS支持对MaxCompute表的基本操作，包括创建表、创建表的Schema、同步表更新、获取表数据、删除表、表分区操作以及如何将表转换为DataFrame对象。背景信息 PyODPS提供对MaxCompute表的基本操作方法。操作 说明 基本操作 列出项目空间下...
获取物理表
数据源同步后，还需通获取当前云计算资源下最新物理表及元数据Meta信息，以便进行数据源之间的数据同步。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。...数据源管理 列表中，对应数据源的对象数量列数据已更新。
导入
DataWorks智能数据建模的导入工具，为您提供了数据模型、数据标准等多种类型的对象模板，您可基于不同模板批量创建相应对象。该功能无需多次重复执行创建操作，即可快速生成多个对象，节省大量时间成本。本文为您介绍如何通过批量导入功能...
Commons Pool 连接 OceanBase 数据库示例程序
可以使用该对象遍历和操作查询结果。导入 java.sql.SQLException 类，用于处理 SQL 语句相关的异常情况。导入 java.sql.Statement 类，用于执行 SQL 语句的对象。可以通过 Connection 对象的 createStatement 方法创建。导入 java.util....
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
DescribeOssObjects-查询OSS的存储对象列表
769FB3C1-F4C9-42DF-9B72-7077A8989C13 PageSize integer 结果中每页显示的数据条数。12 TotalCount integer 结果中数据的总条数。1 Items object[]OSS 存储对象列表。InstanceId long OSS 存储对象所属资产实例 ID。1232122 CategoryName ...
Python SDK示例：Table
table=o.get_table('my_new_table')for partition in table.partitions:#遍历所有分区 print(partition.name)#具体的遍历步骤，这里是打印分区名 for partition in table.iterate_partitions(spec='pt=test'):#遍历 pt=test 分区下的二级...
- 产品推荐
- 这些文档可能帮助您