CDH/EMR/亚信/FI/CDP物理表和字段详情
物理表详情 请参见 搜索数据，进入物理表详情页面，不同引擎的数据表展示的信息可能有所差异，具体以实际页面为准。编号 描述 ① 概要信息 为您展示表的类型、名称、负责人、描述、标签等信息。同时，您还可以执行如下操作：转交负责人：可...
TagDbfs-设置标签
调用TagDbfs为一个数据库文件系统设置标签。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 ...
配置AnalyticDB for PostgreSQL输出组件
数据源 在数据源下拉列表中，展示所有AnalyticDB for PostgreSQL类型的数据源，包括您已拥有同步写权限的数据源和没有同步写权限的数据源。对于没有同步写权限的数据源，您可以数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 ...
API概览
DescribeDatabases 查看实例下的数据库信息 该接口用于查询RDS实例下的数据库信息。DescribeCollationTimeZones 查询RDS SQL Server支持的字符集排序规则和时区 该接口用于查询RDS SQL Server支持的字符集排序规则和时区。...
配置ClickHouse输出组件
数据源 在数据源下拉列表中，展示Dataphin中所有的ClickHouse数据源，包括您已拥有同步写权限的数据源和没有同步写权限的数据源。对于没有同步写权限的数据源，您可以数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请数据...
2023年
SKEWJOIN HINT 2023年11月更新记录 时间 特性 类别 描述 产品文档 2023-11-24 新增迁移服务（MMA）新说明 MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。...
创建混合分区
您可以通过创建混合分区（Hybrid Partition）的方式来访问存储在不同引擎中的数据。混合分区原理如下图所示：混合分区的基本原理是将分区表中的分区存储在不同的存储介质上，以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上，...
配置AnalyticDB for PostgreSQL输出组件
数据源 在数据源下拉列表中，展示所有AnalyticDB for PostgreSQL类型的数据源，包括您已拥有同步写权限的数据源和没有同步写权限的数据源。对于没有同步写权限的数据源，您可以数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 ...
数仓性能优化
不支持直接使用 tunnel upload 命令将数据导入到range cluster表，因为tunnel上传的数据是无序的。表的其他优化技巧 建议您严格遵循 表设计规范。此外，您还可以利用下列技巧完成表的优化：中间表的利用：适用于数据量非常大，下游任务很多...
API概览
CreateOnlineDatabaseTask 打开备份数据上云任务的数据库 该接口用于打开RDS SQL Server备份数据上云任务的数据库。DescribeMigrateTasks 查询备份数据上云任务列表 该接口用于查询RDS SQL Server实例备份数据上云任务列表。...
配置ClickHouse输出组件
数据源 在数据源下拉列表中，展示Dataphin中所有的ClickHouse数据源，包括您已拥有同步写权限的数据源和没有同步写权限的数据源。对于没有同步写权限的数据源，您可以数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请、...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
数仓性能优化
不支持直接使用 tunnel upload 命令将数据导入到range cluster表，因为tunnel上传的数据是无序的。表的其他优化技巧 建议您严格遵循 表设计规范。此外，您还可以利用下列技巧完成表的优化：中间表的利用：适用于数据量非常大，下游任务很多...
AddTagsBatch-批量设置标签
取值范围：最大长度为 64 个字符，可包含英文大小写字母、中文、数字和特殊符号@_-=;TagValue：资源的标签值。取值范围：最大长度为 128 个字符，可包含英文大小写字母、中文、数字和特殊符号@_-=;[{"TagKey":"k1","TagValue":"v...
新建账号
说明 数据操作语言 DML 语句用于查询或操作现有 Schema 对象中的数据。数据定义语言 DDL 语句用于定义、更改和删除 Schema 对象。更多信息请参见 SQL 语句。授权数据库 选填内容，仅 MySQL 租户在创建普通账号时才会显示该参数。支持对未...
新建账号
说明 数据操作语言 DML 语句用于查询或操作现有 Schema 对象中的数据。数据定义语言 DDL 语句用于定义、更改和删除 Schema 对象。更多信息请参见 SQL 语句。授权数据库 选填内容，仅 MySQL 租户在创建普通账号时才会显示该参数。支持对未...
同步 OceanBase 数据库的数据至 DataHub
本文为您介绍如何同步 OceanBase 数据库（MySQL 和 Oracle 租户）的数据至 DataHub。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户，并为其赋予...
转换函数
numtoyminterval-+03-01 UNISTR 描述 UNISTR将解析为字符数据的文本或表达式作为其参数，并以国家字符集形式返回。数据库的国家字符集可以是AL16、UTF16或UTF8。UNISTR允许您指定字符串中字符的Unicode编码值，从而提供对Unicode字符串文字...
通过堡垒机访问主机（Linux）
由大小写字母，数字，特殊字符任意三项组成。特殊字符为：_-.%密码 堡垒机账号密码。要求如下：长度为8~64个字符。由大写字母、小写字母、数字、特殊符号组成。特殊符号如@,#,$等。确认密码 输入与密码一致的字段，以确保密码正确输入。...
全局服务
以下是对返回参数的设置和使用方法：编码格式：确保接口返回结果使用 UTF-8 编码，以支持处理多种字符集和特殊字符。数据类型：指定返回结果的数据类型为 string，以确保结果以字符串的形式返回。引用返回结果：使用变量来引用返回结果中的...
MongoDB数据源
对于支持读取的数据类型，数据集成在读取时：基本类型的数据，会根据同步任务配置的读取字段（column，详见下文的 附录：MongoDB脚本Demo与参数说明）中的name自动读取对应path下的数据，并根据数据类型做自动转换，您无需指定column的type...
物化视图和字段资产详情
说明 数据预览为您展示前50条查询数据，含分区信息。若字段类型为HLL（HyperLoglog）时，暂无法为您展示该字段信息预览。③ 血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可...
连接主机
由大小写字母，数字，特殊字符任意三项组成。特殊字符为：_-.%密码 堡垒机账号密码。要求如下：长度为8~64个字符。由大写字母、小写字母、数字、特殊符号组成。特殊符号如@,#,$等。确认密码 输入与密码一致的字段，以确保密码正确输入。...
快速使用EMR StarRocks Manager
EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台，为您提供对实例内数据的管理、诊断与分析，以及安全权限配置等能力。前提条件 已创建StarRocks实例，详情请参见 创建实例。操作流程 步骤一：进入...
oracle_fdw
否 strip_zeros 数据传递时，是否去除字符串后的ASCII 0字符（在Oracle中合法，在PostgreSQL中非法）。否 说明 外部表的结构定义需要与Oracle数据库上的被映射表的结构完全一致。oracle_fdw对 PolarDB PostgreSQL版（兼容Oracle）到Oracle...
新建数据处理任务
结果数据 配置文件名 自定义输入目标scp名称，不支持中文字符和特殊符号，没有.scp后缀。云计算资源 选择目标OSS云计算资源。桶名称 选择云计算资源的目标OSS桶。目录 选择桶下面的空文件夹路径，注意这里需要目标路径为空文件夹。参数设置...
UTL_I18N
UTL_I18N子程序总览 子程序 说明 ESCAPE_REFERENCE Function 将 文本字符串转换为与当前文档使用的字符集不同的字符参考副本。UNESCAPE_REFERENCE Function 将包含字符引用的输入字符串转换为文本字符串。STRING_TO_RAW Function 将VARCHAR...
羲和分析计算引擎
相对于传统的以数据为中心的计算方式，面向算子为中心的计算方式对现代CPU计算更友好：缓存友好的同时，利用乱序执行扩大了CPU的指令并发，利用SIMD又扩大CPU的数据并发，充分挖掘了现代CPU的算力。面向混合负载的查询执行 羲和分析计算...
DataV分享页Token参数签名校验
通过Token参数签名校验功能，您可以对看板交互时传递的参数进行签名鉴权，保证看板的URL访问链接的参数不能被篡改，从而提高看板数据以及用户信息的安全性。前提条件 在使用 Token参数签名校验 前，请确保：数据看板使用Token验证的方式...
安装Agent
如果一定要在含特殊字符的目录中运行脚本，请以管理员权限进入DOS命令行运行脚本。每次更换运行或解压目录时，需要重新运行安装脚本。进入解压后的Agent安装目录，单击 dbAgent-setup.exe 应用程序，并右键选择 以管理员身份运行。在安装...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
使用MaxCompute控制台（离线）
说明 例如：待上传的数据中，某列值为含字母的字符串类型，但对应目标表的列是BIGINT类型，那么该数据将被视为脏数据。若选择了剔除脏数据，则该条数据不会被上传。是：剔除待上传文件中与目标表中的列类型不统一的数据。否：数据全量上传...
表概述
表的限制 边界名 最大值 限制类别 说明 表名长度 128字节（byte）长度限制 表名和列名中不能出现特殊字符，只能出现英文字母a~z、A~Z、数字和下划线，且必须以字母开头。注释长度 1024字节（byte）长度限制 注释内容为长度不超过1024字节...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
说明 特殊字符仅支持下划线（_），井号（#）和美元符号（$）。待迁移的Schema、表或列名称是目标库的关键字、保留字或非法字符。说明 如果选择添加引号，在数据同步完成后，您需使用带引号的目标对象名进行查询。映射名称更改 如需更改同步...
数据结构
本文介绍数据加工语法相关的数据结构及其说明。基本数据结构 基本数据结构的不同类型和说明如下表所示：类型 说明 整数 用于设置字段值或者函数的参数传递。例如 e_set("f1",100)表示设置字段 f1 的值为 100。浮点 用于设置字段值或者函数...
从ECS上的自建SQL Server同步至云原生数据仓库...
说明 特殊字符仅支持下划线（_），井号（#）和美元符号（$）。待迁移的Schema、表或列名称是目标库的关键字、保留字或非法字符。说明 如果选择添加引号，在数据同步完成后，您需使用带引号的目标对象名进行查询。映射名称更改 如需更改同步...
从ECS上的自建SQL Server同步至云原生数据仓库...
说明 特殊字符仅支持下划线（_），井号（#）和美元符号（$）。待迁移的Schema、表或列名称是目标库的关键字、保留字或非法字符。说明 如果选择添加引号，在数据同步完成后，您需使用带引号的目标对象名进行查询。映射名称更改 如需更改同步...
模式匹配
为了表示匹配的数据子字符串的模式中，模式中应该包含两个转义字符的出现，并在后面加上一个双引号（"）。匹配成功后，将返回与这些分隔符之间的模式部分匹配的文本。转义-双引号分隔符实际上是将 子字符串 的模式分成三个独立的正则表达式...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
说明 特殊字符仅支持下划线（_），井号（#）和美元符号（$）。待迁移的Schema、表或列名称是目标库的关键字、保留字或非法字符。说明 如果选择添加引号，在数据同步完成后，您需使用带引号的目标对象名进行查询。映射名称更改 如需更改同步...
如何使用DataV Proxy
DataV Proxy应用是一个可视化的DataV Proxy（DataV数据代理服务）配置工具，您可以通过DataV Proxy应用访问本地或内网等不对外开放且无外网访问地址的数据库，保证数据的安全性。本文档为您介绍DataV Proxy应用的启动方法和相关功能，帮助...
- 产品推荐
- 这些文档可能帮助您