概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
资产安全概述
生产数据写开发环境、测试环境数据准备 例如，脚本任务需要识别手机号的位数，但该脚本任务中的数据表选择了MD5脱敏算法，将11位的手机号变成了32位，导致脚本任务无法识别手机号位数。因此，在使用资产安全的过程中，您需要结合安全法规及...
资产安全概述
生产数据写开发环境、测试环境数据准备 例如，脚本任务需要识别手机号的位数，但该脚本任务中的数据表选择了MD5脱敏算法，将11位的手机号变成了32位，导致脚本任务无法识别手机号位数。因此，在使用资产安全的过程中，您需要结合安全法规及...
常见问题
如果更新的是自定义时间列中的数据，则需要根据新写入的时间内容来重新划分冷热数据。假设一个表的主键列为p1，p2，非主键列为c1，c2，某一行为p1=row1，p2=2023.1.28日，c1=”c1“，c2=”c2“，冷热分界线CHS=1天，当前时间为2023.1.30日...
手动添加数据源
单击左侧导航栏中的 数据源，然后在上方选择目标地域。单击 添加数据源。在 添加数据源 弹窗中，配置以下信息。配置项 说明 数据源类别 本示例中，选择 云数据库。说明 数据库备份DBS 支持的数据源类型，请参见 支持的数据源。数据源名称 ...
概述
技术原理 归档为 CSV 或 ORC 格式的技术原理图如下：集群中的热数据存储在共享存储（PolarStore）中，各个 PolarDB 节点通过分布式文件系统（PolarFileSystem）访问PolarStore中的数据。为降低数据存储成本，达到冷热数据分离管理的目的，...
配置跨库Spark SQL节点
name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，本案例选择 华东1 区。单击 创建Project，输入 名称 和 描述，创建一个DataHub项目。本案例的...
备份恢复
MongoDB提供如下恢复功能：按备份点将备份数据恢复至新建实例：从实例中的某个备份点来创建新的实例，新建的实例中的数据将恢复至选择的备份点，可用于数据恢复或数据验证场景。按时间点将备份数据恢复至新建实例：从实例运行的某个时间点...
迁移
增量迁移开始后，当源库和目标库中的数据大致追平后（表现为增量迁移的延迟在30秒以内），将自动开始 数据校验，校验源库和目标库中的数据一致性，确保两端数据是动态一致的。说明 以上三种迁移状态若出现错误提示，或者长时间没有进度变化...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
数据加密
这些数据库或者表中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）或者服务（例如对象存储OSS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存在的。TDE加密采用国际流行的AES算法。密钥由KMS服务加密保存，RDS只在启动...
数据加密
这些数据库或者表中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）或者服务（例如对象存储OSS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存在的。TDE加密采用国际流行的AES算法。密钥由KMS服务加密保存，RDS只在启动...
数据加密
这些数据库或者表中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）或者服务（例如对象存储OSS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存在的。TDE加密采用国际流行的AES算法。密钥由KMS服务加密保存，RDS只在启动...
敏感数据溯源
您可以将DataWorks中的数据文件导出或下载至本地，再上传至溯源任务中进行溯源，也可以将外部系统的数据保存至CSV文件，再上传至溯源任务中进行溯源。目标文件上传成功后，您还可以选择 替换 或 下载 该文件。单击 开始溯源，启动目标溯源...
从MaxCompute迁移至RDS MySQL
用于数据迁移的源MaxCompute实例的项目空间成员拥有读权限，目标RDS MySQL实例的数据库账号拥有读写权限，为保障数据库安全性，请在数据迁移完成后，删除源MaxCompute实例的项目空间成员或修改其角色，以及删除目标RDS MySQL实例中的数据库...
通过DTS实现数据库的垂直拆分
验证源和目标实例的数据库B中的数据是否一致。如果数据一致，则结束数据迁移的任务，详情请参见 结束数据迁移任务。警告 用于数据迁移的数据库账号拥有读写权限，为保障数据库安全性，请在数据迁移完成后，删除用于数据迁移的数据库账号或...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
概述
如果将数据恢复至该时刻，全局一致性要求恢复出的数据要么是转账前的状态，要么是转账完成后的状态，即账户的总金额需仍为200元（如恢复2），不能出现转账过程中的数据状态（如恢复1），恢复1中账户总金额为250元，数据是全局不一致的。
湖仓一体
通过使用Catalog，您可以快速访问和分析存储在不同数据仓库和存储系统中的数据，从而实现更加灵活和全面的数据管理和分析。基础概念与操作 Internal Catalog SelectDB原有的Database和Table都归属于Internal Catalog。Internal Catalog是...
C100售后支持相关问题
您只需连通每台服务器与数据库审计系统之间的网络，就可以使用一个数据库审计实例对这些服务器中的数据库进行审计。示例二，您在一个阿里云账号下有13台ECS，其中9台使用经典网络，4台使用专有网络VPC。您只需连通每台服务器与数据库审计...
从自建MySQL迁移至PolarDB-X
PolarDB-X 中的数据库须基于RDS MySQL创建，DTS暂不支持基于PolarDB MySQL创建的数据库。PolarDB-X 中待迁入数据的RDS实例的存储空间须大于自建MySQL数据库占用的存储空间。注意事项 DTS在迁移MySQL至 PolarDB-X 时，不支持结构迁移。说明 ...
管理数据库资产
编辑数据库 已添加到数据库审计系统中的数据库配置发生变化时，您需要在数据库审计系统中更新数据库信息。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 资产>资产管理。单击目标数据库操作列的 编辑。在 ...
功能特性
原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据（包括静态存储和动态传输中的数据）都...
专业术语
measurement（测量）TSDB For InfluxDB®数据结构中的一部分，描述了存储在相关field中的数据的含义。measurement的值是字符串。相关术语：field，series。metastore 包含了系统状态的内部信息。metastore包括用户（user）信息、数据库...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute等数据仓库，也支持对接企业传统数据库，如MySQL、Oracle等...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
Quick BI
Quick BI是一款专为云上用户和企业量身...将ClickHouse数据库中的数据表或自建的即席分析SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取。
功能特性
订阅方案概览 数据订阅SDK 支持使用SDK客户端示例代码、flink-dts-connector、Kafka客户端示例代码打印订阅数据，用于SDK客户端、Flink客户端、Kafka客户端消费数据订阅通道中的数据。消费订阅数据 数据订阅流量管理 数据订阅实例的源库为...
从自建PostgreSQL全量迁移至RDS PostgreSQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建...后续操作 用于数据迁移的数据库账号拥有读写权限，为保障数据库安全性，请在数据迁移完成后，删除自建PostgreSQL数据库和RDS PostgreSQL实例中的数据库账号。
数据加工过程卡点校验
您可以通过DataWorks、MaxCompute Studio、MaxCompute SDK提交各种任务加工MaxCompute中的数据。无论您使用什么工具，都会经历代码开发、测试、发布、运维及变更的过程。您可以对这个过程中的每个环节进行卡点校验。代码提交时的卡点校验。...
FineBI
添加表 单击左侧导航栏中的 数据准备>实时数据>业务包>添加表，选择之前配置的 AnalyticDB MySQL版 链接，选择表的种类，将数据集添加进数据决策系统，进行后续的数据分析和仪表板展示。数据库表：即直接添加 AnalyticDB MySQL版 中的表。...
PolarDB-X间的数据实时同步
前提条件 PolarDB-X 中的数据库须基于RDS MySQL创建。待同步的表须具备主键。确保目标 PolarDB-X 中，目标数据库对应的RDS实例具备充足的存储空间。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库...
数据库迁移
数据库迁移功能通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型：RDS...在延时时间区间内，如果需要恢复，可通过一键回滚功能恢复来源数据库中的数据。
数据查询与分析管控
空间管理员 角色权限，仅支持授权用户所管理工作空间中的数据源权限。数据源查询结果的操作权限管控 数据源查询结果相关操作权限管控的使用限制如下。限制类别 限制描述 生效模块 目前仅支持对数据分析模块进行权限管控。操作限制 目前仅...
功能特性
无锁结构变更概览 开启无锁结构变更 通过无锁变更工单实现无锁结构变更 数据变更 普通数据变更 支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复...
区域热力层
无值 系统在获取区域热力边界数据时，如果缺少了某个区域的数据（当区域热力图数据中没有对应的地理边界数据中的adcode值时），这个区域的颜色就会显示为 无值 的颜色。边线配置 参数 说明 颜色 区域边界线的颜色。宽度 区域边界线的宽度。...
区域热力层
无值：系统在获取区域热力边界数据时，如果缺少了某个区域的数据（当区域热力图数据中没有对应的地理边界数据中的adcode值时），这个区域的颜色就会展示为无值的颜色，请参见 颜色选择器说明 进行修改。仅在关闭只显示边界开关时展示。面...
实时消费Kafka数据
在UPDATE和MERGE写入时，Streaming Server会先将数据写入一个临时表，然后利用MatchColumns作为条件列与目标表进行Join：如果有匹配的数据，则会更新UpdateColumns中的数据。如果没有匹配的数据时，则会根据写入模式有以下两种情况：写入...
使用MaxCompute控制台（离线）
按顺序映射 将待上传文件中的数据按字段顺序导入目标表。忽略首行 是否将待上传文件数据的首行（通常为列名称）上传至目标表中。勾选：文件首行不上传至目标表中。不勾选：文件首行将上传至目标表中。单击 上传数据，提交上传。重要 若待...
- 产品推荐
- 这些文档可能帮助您