Spark Load
全局字典 适用场景 目前Doris中Bitmap列是使用类库Roaringbitmap实现的，而Roaringbitmap的输入数据类型只能是整型，因此如果要在导入流程中实现对于Bitmap列的预计算，则需要将输入数据的类型转换成整型。在Doris现有的导入流程中，全局...
社区兼容版账号管理
读取和设置权限：对授权的数据库和字典仅可进行读和设置的操作，不可写入数据。DDL权限 是否授予DDL权限。允许DDL。禁止DDL。密码 数据库账号密码，设置规则如下。由大写字母、小写字母、数字和特殊字符中的至少三种组成。()_+-=为特殊字符...
同步字典
实例录入数据管理DMS后，DMS会自动采集实例中数据库的字典信息。当您在DMS发现实例信息不一致时，您可以手动同步字典。如果您在DMS进行数据库结构变更，DMS会自动同步字典，否则需要手动同步字典。背景信息 字典信息用于实现数据库、表、...
使用保密字典
您可以在工作负载环境变量、命令行参数和数据卷三个场景使用保密字典（Secrets），也可以在 创建应用服务 的 配置 Pod 模板 步骤中使用保密字典拉取镜像。前提条件 已创建保密字典。说明 在 Pod 中使用保密字典时，Pod 和保密字典需处于同...
企业版账号管理
修改权限 登录 云数据库ClickHouse控制台。在页面左上角，选择集群所在地域。在 集群列表 页面，选择 企业版实例列表，单击目标集群ID。在左侧导航栏，单击 账号管理。在 账号管理 页面，单击目标数据库账号 操作 列的 修改权限。在 修改...
在容器组中使用保密字典
背景信息 您可以在Pod中使用保密字典，有多种使用场景，主要包括：使用保密字典配置Pod的数据卷 使用保密字典设置Pod的环境变量 更多关于保密字典的信息，请参见 保密字典。创建保密字典 本示例创建保密字典secret-test。登录 容器计算服务...
在容器组中使用保密字典
背景信息 您可以在Pod中使用保密字典，有多种使用场景，主要包括：使用保密字典配置Pod的数据卷 使用保密字典设置Pod的环境变量 更多关于保密字典的信息，请参见 保密字典。创建保密字典 本示例创建保密字典secret-test。登录 容器服务管理...
在容器组中使用保密字典
背景信息 您可以在Pod中使用保密字典，有多种使用场景，主要包括：使用保密字典配置Pod的数据卷 使用保密字典设置Pod的环境变量 更多关于保密字典的信息，请参见 保密字典。创建保密字典 本示例创建保密字典secret-test。登录 容器服务管理...
管理保密字典
在保密字典的详情页面，查看该保密字典的基本信息，以及保密字典包含的数据信息。对于TLS类型证书可在详情页查看证书的详细信息，包括证书关联域名、证书状态、证书服务提供商等。修改保密字典 登录 EDAS控制台。在左侧导航栏，选择 应用...
2023年
使用pgcrypto及国密SM4加密算法 字典适配Delta 数据存入Delta后，可采用字典编码进行优化，实现存储和查询性能的提升。字典编码（公测）多维排序 新增Beam排序优化功能，可以通过Beam组合排序和多维排序实现更灵活和精确的排序能力。每个...
mysqlclient 连接 OceanBase 数据库
本文将介绍如何使用 mysqlclient 和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 python-mysqlclient 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase 数据库并且创建了 ...
资源角色
数据库Owner 每个数据库最多可以有三个数据库Owner，在数据库首次同步字典时初始化实例DBA为数据库Owner。DBA角色、管理员角色用户或原数据库Owner可对数据库Owner角色进行编辑调整（转交、释放、新增）。可通过流程主动申请。可对数据库的...
DescribeAccountAuthority-查看账号权限
string db.dict 形式，代表某数据库的某字典 test1.range_key_dict 示例 正常返回示例 JSON 格式 {"RequestId":"F5178C10-1407-4987-9133-DE4DC9119F75","Data":{"DBInstanceId":"cc-bp100p4q1g9z3*","Account":"test1","DmlAuthority":0,...
支持识别的OSS文件类型
158 Gzip压缩文件 75 SQLite3数据库文件 159 XZ压缩文件 76 Redis数据库文件 160 Zstandard压缩文件 77 SQLServer数据库文件 161 Zstandard字典文件 78 Berkeley数据库文件 162 Zip压缩文件 79 DBase数据库文件 163 Zlib压缩文件 80 GNU ...
字典编码Dictionary Encoding
如果您数据表中字段的基数相对较小，使用字典编码可以提高数据的压缩率，以减少数据存储量和提高查询性能。Hologres支持对指定字段进行字典编码，本文为您介绍在Hologres中设置字典编码的命令及原理。Dictionary Encoding介绍 字典编码可以...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
概述
Event由一个可选的Header字典和一个装载数据的字节数组组成。示例如下。Header(Map)|Body(byte[])|-Flume Event Source 是数据源收集器，从外部数据源收集数据，并批量发送到一个或多个Channel中。常见Source如下：Avro Source：通过监听...
全局搜索
数据管理DMS 的全局搜索功能支持便捷、快速地搜索您在 DMS 管理的实例、数据库和表，以及 DMS 的功能，同时，还可以查看当前租户下所有用户提交的工单。本文介绍如何使用全局搜索功能。注意事项 当在全局搜索框搜索表时，需要保证其所属的...
在DMS中自定义屏蔽系统库
背景信息 在实例录入 DMS 后，系统将自动采集实例中数据库的元数据（字典）信息。为保护系统库，同时减少系统库对您的干扰，可自定义屏蔽 DMS 部分系统库（如MySQL的information_schema库）或高敏感业务的数据库。屏蔽后，DMS 将不会采集...
压缩测试
各场景下的测试对比结果汇总如下：数据 文件大小 Lindorm（默认压缩）Lindorm（字典压缩）HBase（SNAPPY）MySQL MongoDB（SNAPPY）MongoDB（ZSTD）订单数据（TPC-H）1.76 GB 784 MB 639 MB 1.23 GB 2.10 GB 1.63 GB 1.32 GB 车联网数据...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
设置字典的key和value
组件配置示例 在 目标操作字典 中，选择已创建的字典变量 在 key的数据类型 中，选择单选框选项为“字符串”在 key 中，填写“name”在 value的数据类型 中，选择单选框选项为“字符串”在 value 中，填写“张三”高级选项保持默认值 4.2....
构建字典与表格做数据富化
字典和表格是对数据进行富化时主要使用的两种数据结构，本文档主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。字典构建 直接构建 e_dict_map({"400":"error","200":"ok","*":"other"},"status","message")从任务配置...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
管理和使用保密字典（K8s Secret）
为避免敏感数据暴露到镜像或应用 与任务 的部署参数中，推荐您使用 SAE 命名空间级别的保密字典。配置保密字典后，您可以在创建或部署时，通过镜像将配置信息直接注入容器。如果后续修改了保密字典内容，只需重新部署应用 与任务 便可生效...
Beam概述（公测）
Beam支持多种压缩算法，其中字典编码功能可以将字符串类型的数据压缩为整型数据，提升存储效率，加速过滤、聚合等类型查询的性能。详情请参见 字典编码（公测）。如果您经常对某列或某几列进行范围查询或等值筛选，可以指定Beam排序键提升...
DescribeAccountAuthority-查看账号权限
F5178C10-1407-4987-9133-DE4DC9119F75 TotalDatabases array 所有数据库列表。string 所有数据库列表。db1,db2 TotalDictionaries array 所有字典列表。string 所有字典列表。dt1,dt2 AllowDictionaries array 已授权的字典列表。string ...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
API概览
本产品（云数据库 ClickHouse 版/2019-11-11）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足...
ALTER TEXT SEARCH DICTIONARY
ALTER TEXT SEARCH DICTIONARY 用于更改一个文本搜索字典的定义。简介 ALTER TEXT SEARCH DICTIONARY 更改...这种技巧在为该字典更改配置文件时有用：ALTER 将强制现有的数据库会话重读配置文件，否则如果会话之前已经读取过就不会再次读取。
产品优势
无优化 成本 数据压缩 深度优化的ZSTD算法，JNA重写，可杜绝Core dump，并且基于字典采样优化，压缩率比snappy提高50%，数据压缩比可高达10:1。默认为Snappy，使用ZSTD需依赖Hadoop-3.0，存在Core Dump的概率。编码 IndexableDelta算法，...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
按时间戳冷热分离
假设Rowkey为"coldRow"的这一行是冷数据，Rowkey为"hotRow"的这一行为热数据/正常情况下，由于Lindorm的row是字典序排列，Rowkey为"coldRow"的这一行会比"hotRow"这一行先返回。HBase(main):001:0>scan 'chsTable' ROW COLUMN+CELL coldRow...
创建Hologres内部表
外部表：不能直接存储MaxCompute源数据，但可将MaxCompute源表数据映射至Hologres外部表中，加速查询分析数据。该方式无冗余存储，无需导入导出数据，即可快速获取查询结果。DataWorks作为数据加工的开发平台，提供了便捷的可视化建表方式...
低成本历史库
支持自适应压缩，针对数据的不同类型和特点，系统将自动选择混合的字典、前缀、Delta、熵编码等压缩算法，相比业界通用算法，整体压缩率提升10%~30%。云原生弹性 Lindorm基于 存储计算分离 的架构，支持计算资源、存储资源的独立弹性伸缩，...
低成本RDS历史库
支持自适应压缩，针对数据的不同类型和特点，系统将自动选择混合的字典、前缀、Delta、熵编码等压缩算法，相比业界通用算法，整体压缩率提升10%~30%。云原生弹性 Lindorm基于 存储计算分离 的架构，支持计算资源、存储资源的独立弹性伸缩，...
应用场景：低成本历史库
支持自适应压缩，针对数据的不同类型和特点，系统将自动选择混合的字典、前缀、Delta、熵编码等压缩算法，相比业界通用算法，整体压缩率提升10%~30%。云原生弹性 Lindorm基于 存储计算分离 的架构，支持计算资源、存储资源的独立弹性伸缩，...
SQL Console初体验
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
应用场景
支持向量化解释ORC、Parquet格式，字典过滤、延迟物化等技术。测试结果：进行了TPC-H和Hive查询等测试，与Presto（OR）相比，在同等条件下，性能提升了3~5倍以上，并且仅使用Presto资源的三分之一即可获得相同的性能体验。
- 产品推荐
- 这些文档可能帮助您