数据归档
参数名称 默认值 说明 innodb_oss_ddl_threads 16 该参数为归档数据转换的并发线程数。在达到带宽上限前，增大该参数能够提高归档数据转换的速度，但同时也会有更大的内存消耗和带宽消耗。innodb_oss_files_limit 10240 该参数为内存中缓存...
转换函数
unistr-abcåñö TO_SINGLE_BYTE 描述 TO_SINGLE_BYTE返回char，并将其所有多字节字符转换为相应的单字节字符。char中任何没有单字节等效字符的多字节字符在输出中显示为多字节字符。只有当数据库字符集同时包含单字节和多字节字符时，此...
数据类型
使用时以SQL拼写的方式将DOUBLE数据类型转换为科学计数法的字符串。DECIMAL(precision，scale)java.lang.BigDecimal 变长二进制类型。decimal为十进制，消耗的字节数随精度增加而增加，通常用于存储金额等高精度数据，对于精度要求不高的...
数仓性能优化
针对数仓的性能优化，主要是针对表和数据分布的优化。表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by ...
其它函数
其它函数如下表所示：函数 功能 CAST 将数据转换为目标数据类型。COALESCE 获取参数中第一个非NULL的值。GREATEST 返回参数中最大的值。IF 判断指定的条件是否为真。IS_CELLPHONE_NUMBER 判断指定的文本是否为手机号。LEAST 返回参数中...
通配符列
系统会将通配符匹配到的列中的数据转换为指定数据类型。详细规则如下：英文问号?可以匹配任何单个字符。星号（*）可以匹配任意字符序列，包括空字符序列。例如，在表结构中加入通配符列 c*int，则可以任意写入列名以“c”开头的列（例如c10...
按扫描量付费
将1 TB的JSON文件转换为ORC格式，DLA只需按列扫描其中10%的数据，扫描的数据量降低至0.1 TB。经过数据格式转换、压缩和分区后，根据DLA计费模式，您需要支付的DLA扫描费用变更为：28×0.2+28×0.1+28=36.4元，总共为您节省47.6元。
表达式函数概览
op_index 根据字符串、数组、元组的下标返回其对应的元素。op_add 计算多个值的和，可以是字符串或者数字等。op_max 计算多个字段或表达式表示的数值的最大值。op_min 计算多个字段或表达式表示的数值的最小值。转换函数 ct_int 将字段或...
数据类型和转换
level":float FROM"h2o_feet"LIMIT 4 name:h2o_feet-time water_level 2015-08-18T00:00:00Z 8.12 2015-08-18T00:00:00Z 2.064 2015-08-18T00:06:00Z 8.005 2015-08-18T00:06:00Z 2.116 该查询返回field key water_level 为浮点型的数据。...
2022年
ST_ExportTo 2022年9月 ST_CreateRast函数 支持将规则的网格点多条记录或者数组转换为栅格对象。ST_CreateRast 2022年9月 ST_Split函数 按照时间切分时，支持指定开始时间，并支持按轨迹点序号切分。ST_Split 2022年9月 ST_Union函数 支持...
创建分布式实例
选择一个实例，将其转换为分布式实例中的第一个子实例。参数 说明 实例所在区域 选择目标实例所属的地域。版本类型 固定为 企业版，不可变更。版本 固定为 Redis 5.0，不可变更。架构类型 标准版：采用主从架构，不仅能提供高性能的缓存...
公共数据集成（调试）资源组
本文为您介绍公共数据集成（调试）资源组相关问题。公共数据集成（调试）资源组怎么收费？公共数据集成（调试）资源组支持哪些类型的任务？公共数据集成（调试）资源组支持哪些网络类型？公共数据集成（调试）资源组的性能限制 公共数据...
创建分布式实例
选择一个实例，将其转换为分布式实例中的第一个子实例。参数 说明 实例所在区域 选择目标实例所属的地域。版本类型 固定为 企业版，不可变更。版本 固定为 Redis 5.0，不可变更。架构类型 标准版：采用主从架构，不仅能提供高性能的缓存...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
NodeGroupConfig
当前数据盘只支持一种磁盘类型，即数组元数个数 N 的取值范围：1~1。DataDisk 数据盘。GracefulShutdown boolean 节点组上部署的组件是否开启优雅下线。取值范围：true：开启优雅下线。false：不开启优雅下线。默认值：false。false ...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
本文以Excel为例，介绍如何通过kettle将本地Excel数据迁移到 云原生数据仓库AnalyticDB MySQL版 2.0集群。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase ...
基于AnalyticDB构建企业数仓
获取独享调度资源组白名单 为了能让DataWorks gateway请求AnalyticDB for MySQL 3.0，需要将独享调度资源组绑定的弹性网卡ip，详情可参考文档 新增和使用独享调度资源组，将其设置为AnalyticDB for MySQL 3.0的白名单（AnalyticDB for ...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
UTL_I18N
UTL_I18N子程序总览 子程序 说明 ESCAPE_REFERENCE Function 将 文本字符串转换为与当前文档使用的字符集不同的字符参考副本。UNESCAPE_REFERENCE Function 将包含字符引用的输入字符串转换为文本字符串。STRING_TO_RAW Function 将VARCHAR...
同阿里云主账号访问
在 DataWorks控制台 独享资源组 页签下，单击目标独享数据集成资源组后的 网络设置，查看 交换机网段 并将其添加至数据源白名单列表中。详情请参见 添加白名单。数据源侧添加白名单。测试连通性。进入 新增数据源 页面，选择已与数据源网络...
新建 TiDB 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 TiDB 数据源。前提条件 已获取相关数据库的 IP 地址和端口号。已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户，该用户...
伪类型
anyrange 表示一个函数可以接受任意范围数据类型 anycompatible 指示函数接受任何数据类型，并自动将多个参数提升为通用数据类型 anycompatiblearray 指示函数接受任何数组数据类型，并自动将多个参数提升为通用数据类型 ...
数据安全治理的必要性
建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字经济发展”，数据安全治理将以体系化的方式保障数据...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
导入数据接口和请求数据接口区别
接口区别示意图 接口区别详细介绍 请求数据接口：重新请求服务端数据，上游 数据处理 节点或 图层节点 抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，传到请求数据接口动作的数据为 { id:"1"}，则最终请求...
新建类型
允许表的列的数据类型是可变长度的多维数组。数组的类型可以是任何基本类型、枚举类型、复合类型或用户自定义类型。表类型：独立嵌套表类型，用创建的数组直接定义到表的列上。如上图所示，创建类型包含以下 4 个步骤：指定类型名称。选择...
2023年
功能特性 2023-09-15 新增Paimon外部表 新说明 MaxCompute支持在项目中创建Paimon外部表，将其与存储在OSS上的Paimon表目录建立映射关系。通过Paimon外部表，您可以访问存储在OSS上的Paimon表中的数据。本文介绍如何创建Paimon外部表。...
雷达图
动作 动作 说明 请求雷达图接口描述 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如雷达图配置了API数据源为 https://api.test ，传到 请求雷达图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
雷达图
动作 动作 说明 请求雷达图接口描述 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如雷达图配置了API数据源为 https://api.test ，传到 请求雷达图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
基础散点图
动作 动作 说明 请求基础散点图接口描述 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如散点图配置了API数据源为 https://api.test ，传到 请求基础散点图接口描述 动作的数据为 { id:'1'}，则最终请求接口为 ...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
了解数据资源平台用户和角色体系
数据资源平台提供了完善的权限管控机制，支持以租户或工作组为管控粒度，通过对用户授予不同的角色实现全局或工作组内的各组件功能权限管控。本文为您详细介绍租户、工作组粒度下的角色体系。背景信息 数据资源平台功能权限是基于角色的...
管理数据库
本文为您介绍如何新建、编辑或删除数据库。前提条件 已创建工作空间，详情请参见 管理工作空间。已创建EMR on ECS形态下的集群或Serverless StarRocks实例，详情请参见 创建集群 或 创建实例。支持的集群类型为DataLake、Hadoop和自定义...
通过 HyperLoglog 实现高性能多维数据透视
hll_add_agg(hll_hash_integer(uid))as hll_uids#将 UID 转换为 hll hash val，并聚合为 HLL 类型。from t1,t2,t3 where t1.uid=t3.uid and t1.uid=t2.uid group by t1.day,t2.brand,t1.groupid,grouping sets(#为了按每个标签维度进行统计...
数据类型
将a转换为32位整型。cast(a as INT)整型常量的语义会默认为INT类型。例如 SELECT 1+a;中的整型常量1会被作为INT类型处理。如果常量过长，超过了INT的值域而又没有超过BIGINT的值域，则会作为BIGINT类型处理；如果超过了BIGINT的值域，则会...
离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
CSV数据文件格式
propertyname:type(set)[]SET属性字段，表示数据字段是属性 propertyname 的属性值数组，数组元素类型是 type。数组元素之间使用分号;分隔。属性覆盖逻辑 原属性逻辑 新属性逻辑 结果 普通属性 普通属性 原属性值被覆盖，保留最后一次的...
应用场景
本文将为您介绍Dataphin适用的典型应用场景。智能构建云上数仓，提高战略决策效率 场景：某集团在全国经营多家连锁超市，线上线下零售渠道及形态众多。痛点：因为业务系统多、数据来源多，经营所需的数据需求高频且多样化。但数据体系复杂...
注意事项
本文提供一些教程中的注意事项供您参考。DataWorks数据服务向导模式生成API...如果您需要在DataV的折线图或柱状图中添加多个系列，DataV一般要求每个系列的数据是一个对象，并通过 s 字段来区分系列，此时要注意使用数据过滤器进行格式转换。
- 产品推荐
- 这些文档可能帮助您