常见问题
如果需要自动创建分区，则可以使用动态分区。如何分桶？选择高基数的列来作为分桶键，避免Bucket之间数据倾斜。如果有唯一ID，则建议使用唯一ID分桶。如果碰到数据倾斜严重的，则可以使用多列作为分桶键，但通常不要使用太多列作为分桶键。...
分区表常见问题
您可以创建一个新的相同定义的临时空表，然后将需要删除数据的分区做 EXCHANGE PARTITION，再将临时表删除。为什么分区表查询计划不准确？分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
基本概念
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。更多信息，请参见 LTS（原BDS）服务介绍。M MaxCompute 大数据计算...
内存型
为了提高线程的并行度，IO线程和Worker线程之间采用无锁队列和管道进行数据交换。说明 对于通用的类型，例如：String、List、Set、Hash、Zset、Hyperloglog、Geo以及扩展结构都有很好的加速效果。对于Pub、Sub、Blocking系列API，由于其...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
恢复全量数据
如果您拥有原实例的数据备份和日志备份，可以将其恢复到新实例中，可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件：实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...
配置订阅任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据订阅功能简单易用，您只需在控制台上进行简单操作，即可完成数据订阅任务的配置。注意事项 本文仅简单介绍数据订阅任务的通用配置流程，不同的数据源在配置数据订阅任务时略有不同...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
新功能发布记录
本文介绍 数据管理DMS 的产品功能动态及相关文档。功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
新建租户
资源单元（Unit）：资源单元是指租户在节点上的可用资源（Memory、CPU 和 IO 等），同时资源单元也是集群负载均衡的一个基本单位，在集群节点上下线，扩容、缩容时会动态调整资源单元在节点上的分布进而达到资源的使用均衡。更多信息，参见...
创建Serverless集群
如果以上默认VPC和交换机无法满足您的要求，您可以自行创建VPC和交换机，详情请参见 创建和管理专有网络。步骤3：确认订单 请确认集群的整体配置并配置购买数量，确保各项配置符合您的要求。检查所选配置。如需修改配置，单击 图标前往对应...
控制台发布记录
本章节介绍了 云原生数据库PolarDB 的产品功能动态和对应的文档。2024年3月 功能名称 功能描述 发布时间 相关文档 冷数据归档 开启冷数据归档的菜单入口发生变更。2024-3-7 开启冷数据归档 数据与缓存一站式 PolarDB MySQL版 支持数据与...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
功能特性
什么是云数据库 Memcache 版 安全能力 支持命令动态屏蔽 支持动态禁用高风险命令，且无需重启实例。禁用高风险命令 多账号管理 支持创建多个账号，并为每个账号设置对应权限。创建与管理账号 IP访问控制 支持基于IP白名单动态限制访问。...
创建Serverless集群
设置集群表名是否区分大小写，您可以选择 不区分大小写（默认）或当本地数据库区分大小写时，您可以选择 区分大小写，便于您迁移数据。说明 集群创建后该参数无法修改，请谨慎选择。步骤3：确认订单 请确认集群的整体配置并配置购买数量，...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
Lindorm实时入湖建仓分析
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义，分析数据湖数据，实现数仓的应用。本文介绍Lindorm实时入湖建仓分析的操作步骤。方案介绍 DLA Lakehouse的Lindorm实时入湖建仓分析助力企业构建大数据离在线一体化，主要包括三...
通配符列
Lindorm支持动态列，可以动态写入数据并执行查询。但动态列支持的数据类型较少，目前仅支持VARBINARY类型的数据写入。为解决这一问题，Lindorm推出通配符列，帮助您实现多数据类型动态列的写入。通配符列名目前支持的通配符为星号（*）和...
管理数据树
若当前数据为栅格数据，您还可以做以下操作。查看栅格元数据：在数据表 操作 栏单击 图标，查看栅格元数据。名称 说明 坐标参考系 表示栅格的坐标系。宽度 表示栅格的分辨率中的宽度值。高度 表示栅格的分辨率中的高度值。数据类型 表示...
应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
LogHub（SLS）实时ETL同步至Hologres
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON 解析）生成动态列的处理方式，如果在 JSON 解析 节点配置了 动态输出字段，则在Hologres节点中会出现 上游流入动态字段处理策略 表单。动态...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
产品概述
动态伸缩 每个主题（Topic）的数据流吞吐能力可以动态扩展和减少，最高可达到每主题256000 Records/s的吞吐量。高安全性 提供企业级多层次安全防护，多用户资源隔离机制；提供多种鉴权和授权机制及白名单、主子账号功能。使用场景 数据总线...
实时同步常见问题
这是Postgres本身数据库的特性，如果接受不了延迟，您可以停止任务，并重新启动任务做一次全增量数据同步。报错信息与解决方案 Kafka实时同步报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was ...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
案例演示
修改全局变量y的来源为 数据源请求，并选择API或数据库等动态数据源。设置蓝图交互。单击 逻辑节点，添加一个 定时器。打开 是否循环 开关，设置定时器节点的延迟时间为3秒。连接节点。预览展示结果。单击画布编辑器右上角的 预览，验证...
常见问题
创建Redis实例时找不到已有的交换机 连接Redis报错“WRONGPASS invalid username-password pair”使用短连接访问Redis出现“Cannot assign requested address”错误 为什么没有加入IP白名单的客户端可以访问实例？数据库 使用数据库 Redis...
开通数据库代理
RDS MySQL数据库代理支持读写分离、连接保持、SSL加密等功能，能够降低主实例负载，提高实例可用性和安全性。本文介绍通过RDS控制台和API接口开通RDS MySQL数据库代理的方法以及推荐代理规格的计算方式。前提条件 主实例需满足以下条件：...
Quick BI
不支持添加度量到维度或不支持添加维度到度量 处理方法：数据集表定义中，维度或度量有明确定义，如果需要用度量的某列做维度，可以在数据集编辑页面单击右键，单击 转换为维度/度量，单击 保存，在仪表盘页面刷新，即可获得修改后的表结构...
管理数据集
当数据集是由数据库创建时，您可以做以下操作。单击 数据库连接 后的 设置，修改数据库连接信息。单击 数据定时同步 后的 设置，打开 启用 开关，设置 定时执行 的类型，例如：每月第一天早上10点整进行数据同步。单击 数据定时同步 后的 ...
步骤一：搭建云上专有网络
阿里云加密的数据上行通道可以确保数据安全，同时压缩后的数据流可以确保公网承载较大的数据流。VPN（阿里云VPN网关）：针对每日数据变化量不大，主数据中心需要随时连接阿里云VPC内的业务场景，例如主数据中心与阿里云上部署主从的域...
图扑案例
如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据交换/ETL软件（如Apache nifi、Sqoop等）打通多引擎数据交互通道，根据应用场景业务来适配数据。...
自动化管理分区
您可以通过创建定时任务的方式来创建、删除或交换分区，以实现分区自动化管理。背景信息 在某些行业中，固定周期内可能会产生大量的数据，同时也会通过删除大量数据的方式来节省存储空间。如果新产生的数据和需要删除的数据保存在同一张表...
EXCHANGE PARTITION
语法 ALTER TABLE.EXCHANGE PARTITION 命令用于将一个分区或子分区与单表进行交换，可以将一个与分区表的表结构相同的单表交换为分区表中的一个分区或子分区。语法如下：ALTER TABLE target_table EXCHANGE PARTITION target_partition ...
- 产品推荐
- 这些文档可能帮助您