Hologres SQL节点
说明 使用不包含 limit 限制条件的 SELECT 语法查询数据时，默认只显示200条查询结果。如果您需要显示更多数据，则可以在 SELECT 语法后添加 limit 限制。最多支持显示10000条查询结果。例如，使用 select col_1,col_2 from your_table_...
修饰词
批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。查看导入结果。在 完成 页签，您可查看导入结果详情。单击详情列表修饰词后的 更多详情，即可跳转至该修饰词的编辑界面，执行更多修饰词相关操作。...
入库审批
当您发现数据录入有误或存在有新增数据，需要重新提交数据时，可以撤回原先的提交订单，此时 已撤回 目录下就会新增该记录。审批者 当角色为审批者时，点击表格填报界面中“我审批的”审批流内可查看 待我审批、我 已审批 两种状态。当审批...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
设置数据风控
业务代码重写页面的请求发送方法或自定义请求提交，例如重写表单提交、重写XHR、自定义ajax提交等情况。业务代码中存在hook相关请求提交的内容。如果您的业务中可能存在不兼容问题，建议您在接入数据风控功能初期，选用预警模式并结合Web...
ActionTrail日志清洗
日志数据格式复杂，不利于直接分析 ActionTrail中保存的是JSON格式的数据，一行内有多条数据，数据以一个Array的形式保存，例如[{"eventId":"event0".},{"eventId":"event1".}]。理论上可以分析上述格式的JSON数据，但非常不便，需要先把每...
数据节点管理
背景介绍 PolarDB-X 的数据节点管理功能支持存储资源池和数据节点单独升降配，实现数据节点的精细化管理与资源隔离，以适应多样化业务场景需求，进而有效提升整体资源使用率。存储资源池，即将DN存储节点划分为互不交叉的池，支持在单个...
查看并管理待生成实例
待生成实例是对周期任务发起定时补数据操作时产生的实例，待生成实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待生成实例页面，对待生成实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待生成实例。待生成 ...
离线集成管道通道配置
集成任务中存在多个关系型数据源时，可分别修改管道内各个数据源实例的重试次数，修改并提交发布后以集成管道内的配置为准。流量监控 无流量时间阈值 如读取数据与结果传输的过程中，由于查询与传输数据时间过久或数据库负载过大，无数据...
离线集成管道通道配置
集成任务中存在多个关系型数据源时，可分别修改管道内各个数据源实例的重试次数，修改并提交发布后以集成管道内的配置为准。流量监控 无流量时间阈值 如读取数据与结果传输的过程中，由于查询与传输数据时间过久或数据库负载过大，无数据...
表设计最佳实践
会产生大量小文件的操作如下：使用MaxCompute Tunnel SDK上传数据时，每1次Commit会产生1个文件。这时每个文件过小（例如几KB），并且频繁上传（例如每5秒上传一次），则一小时就会产生720个小文件，一天就会产生17280个小文件。使用...
补数据实例运维概述
对周期任务发起补数据操作后，将根据实例的调度类型产生不同的补数据实例，包括待生成实例、已生成实例。您可以根据业务需求对补数据实例进行运维管理，包括查看运行日志、重跑等操作。名词解释 待生成实例：将在未来时间段生成实例并提交...
系统管理
策略启用后，凡是未通过智能数据建模发布，直接在数据开发（DataStudio）创建或修改的MaxCompute物理表，在执行提交、发布操作时均会触发管控限制。代码生成策略管理：用于自定义DDL语句中表Comment及字段Comment字段，与可视化建模界面里...
实时消费Kafka数据
如果没有匹配的数据时，则会根据写入模式有以下两种情况：写入模式为UPDATE时，数据不会被写入。写入模式为MERGE时，数据会被写入。专业模式 配置项 描述 基本信息 任务名称 定义任务的名称，任务名称不可以重复，必填。任务描述 描述任务...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 系统...
Tunnel命令常见问题
通常是因为数据源文件的行分隔符有问题，将多条记录当成了一条记录。您需要查看是否存在此问题，并重新设置-rd 参数。多线程上传数据时，报错ODPS-0110061，如何解决？问题现象 在多线程上传数据场景，返回报错如下。FAILED:ODPS-0110061:...
创建EMR Hive节点
使用EMR Hive节点查询数据时，返回的查询结果最大支持10000条数据，并且数据总量不能超过10M。如果您的工作空间绑定多个EMR引擎，则需要根据业务需求选择合适的引擎。如果仅绑定一个EMR引擎，则无需选择。如果您需要修改代码中的参数赋值，...
创建多物理表服务单元
最多返回1000条数据。单击 提交，完成多物理表服务单元的创建。后续步骤 在服务单元页面，单击 操作 列下的 图标，选择 发布，将多物理表服务单元提交至生产环境，后续就可以基于此多物理表服务单元创建API。详情请参见 API任务概述。物理...
基于AnalyticDB构建企业数仓
独享数据集成资源组 选择任务运行的机器，如果任务数比较多，使用默认资源组出现等待资源的情况，建议购买独享数据集成资源或添加自定义资源组，详情请参见 新增和使用独享数据集成资源组 和 新增和使用自定义数据集成资源组。单击右侧的 ...
补数据实例运维概述
名词解释 待生成实例：将在未来时间段生成实例并提交执行补数据，周期性定时执行的补数据任务将在定时运行时间的 前一天23点 生成待生成实例。更多信息，请参见 查看并管理待生成实例。已生成实例：立即执行的补数据任务和待生成实例所生成...
导入结构和数据
通过指定批量提交数量，可在导入文件中导入指定数量数据时添加一句 COMMIT 命令。不导入的数据类型（可选）：可以通过该项指定导入数据时要跳过的数据类型。MySQL 和 Oracle 下可跳过的类型不同，支持多选。设置导入结构。当导入内容为仅...
空间数据类型
空间数据类型是一种用来表示空间对象、地理位置和物体形状的数据类型，多用于航空、导航、城市规划等领域。本文介绍Lindorm宽表引擎支持的空间数据类型。适用引擎 空间数据类型仅适用于宽表引擎。空间数据类型 Lindorm Ganos的SQL接口支持...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
使用DMS数据追踪进行恢复
DMS的数据追踪功能可以快速按需找到目标时间段内的相关更新，并生成逆向回滚语句，追踪完的数据可批量生成回滚脚本，通过数据变更工单最终执行到数据库中完成数据的修复。当误操作受影响的数据量在10万以内时，您可使用该方法进行数据恢复...
调整字段安全级别
设置敏感等级的影响 设置敏感等级后，对使用数据的影响：SQL窗口中查询数据时，对无权限的中敏感、高敏感字段显示为星号（*）或者按自定义的方式显示。查询、导出、变更数据时，需要单独申请中敏感、高敏感字段的权限。导出、变更数据时，...
数据库高级特性管理
取值如下：OFF：关闭（默认值）ON：开启 ansi_null_default 在插入数据时，如果指定的值为NULL，则该列是否接受NULL值。取值如下：OFF：关闭（默认值）ON：开启 ansi_padding 是否启用ANSI填充。启用后，如果插入的数据长度不足，则会使用...
SQL Server数据源
例如一次同步任务启动运行过程中，当该库存在其他数据写入方写入数据时，由于数据库本身的快照特性，SQL Server Reader完全不会获取到写入的更新数据。上述是在SQL Server Reader单线程模型下数据同步一致性的特性，SQL Server Reader可以...
功能介绍
支持数据处理语义为至少一次（At-least-once）语义，即同一条数据可能因为内部重试而被重复消费。如果您需要设置为精确一次（Exactly Once）语义，请 提交工单 联系我们。消息格式 LindormStreams消息支持获取更新后整行的数据以及更新前的...
MapReduce
最后，一个Key的多条数据经过Reduce的作用后，将变成一个值。输出结果数据。说明 上文仅是对MapReduce框架的简单介绍，更多详情请查阅 功能介绍。下文将以WordCount为例，为您介绍MaxCompute MapReduce各个阶段的概念。假设存在一个文本a....
原子指标
导入状态：导入并保存：仅导入并保存数据，不生成新的版本 导入并提交：导入数据，并将最新导入的数据提交一个新的版本 批量导入仅支持导入.xlsx格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。查看导入结果。在 完成 页签...
数据查询
使用限制 为确保数据安全，本系统每次查询最多返回100条数据。ROW 字段对应Lindorm的RowKey，ROW 和 qualifier 都是varbinary类型，qualifier 如果不属于family，需要指定family。ROW 和 COL 是SQL保留字段，查询时需要加反引号（`）。...
HybridDB for MySQL数据源
HybridDB for MySQL数据源为您提供读取和写入HybridDB for MySQL的双向功能，本文为您介绍DataWorks的HybridDB for MySQL数据同步能力支持情况。使用限制 离线同步支持读取视图表。HybridDB for MySQL Reader插件支持读取表和视图。表字段...
AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源提供读取和写入AnalyticDB for PostgreSQL的双向功能，本文为您介绍DataWorks的AnalyticDB for PostgreSQL数据同步的能力支持情况。使用限制 离线同步支持读取视图表。支持的版本 支持版本最高至7.0（含）...
无锁数据变更
当业务累积了大量数据时，需要对在线数据与历史数据进行分隔管理，或定期清除表中数据。DMS的无锁数据变更功能将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
逻辑视图和字段资产详情
当计算引擎为StarRocks时，数据预览为您展示前50条查询数据，不含分区信息。若字段类型为HLL（HyperLoglog）时，暂无法为您展示该字段信息预览。当计算引擎为E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、FusionInsight 8.x、Cloudera...
阶段三：数据安全持续运营
不同企业对下载行为风控规则的定义存在差异，本文将以“实时阻断或审批超过1000条数据的下载行为”为例进行展示。实现原理 DataWorks的OpenEvent为您提供消息推送订阅的能力，同时，您可将服务程序注册为DataWorks的扩展程序，通过扩展程序...
逻辑视图和字段资产详情
当计算引擎为StarRocks时，数据预览为您展示前50条查询数据，不含分区信息。若字段类型为HLL（HyperLoglog）时，暂无法为您展示该字段信息预览。当计算引擎为E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、FusionInsight 8.x、Cloudera...
数据变更最佳实践
向表中写入数据时，可以通过批量打包方式INSERT和REPLACE INTO提高数据写入性能。建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入...
- 产品推荐
- 这些文档可能帮助您