操作流程
新建数据元 通过新建数据元，配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。具体操作，请参见 新建数据元。采用维度+指标的数据标准管理 通常使用维度建模方式创建的数仓...
操作流程
新建数据元 通过新建数据元，配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。具体操作，请参见 新建数据元。采用维度+指标的数据标准管理 通常使用维度建模方式创建的数仓...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
归档为CSV或ORC格式
冷数据归档过程中不支持对表进行修改（DDL和DML）。冷数据归档功能不支持将数据文件归档到用户自建的OSS Server中。对InnoDB引擎中的表使用冷数据归档功能时，执行冷数据归档操作的表中必须有主键。冷数据归档完成后，OSS上的归档表只读，...
存储加密
费用说明 MaxCompute自身的数据存储加密功能不收取费用，但MaxCompute在数据加密或解密过程中会与KMS服务的API交互。KMS服务会产生一定费用，计费详情请参见 KMS服务计费说明。使用限制 MaxCompute的数据存储加密功能使用限制如下：开启...
什么是OSS-HDFS服务
导出审计日志 冷热分层存储 并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，...
查看数据迁移项目的详情
迁移数据库对象至目标端：该操作需要您自行迁移源端触发器、函数、存储过程等其它数据传输不支持的数据库对象至目标端。如果您确认已自行完成迁移，请单击 标记完成。禁用源端触发器外键约束：该操作仅在数据迁移项目中存在反向增量阶段时...
匿名块
存储过程、函数和触发器程序被命名并存储在数据库中以供重新使用。对于快速（一次性）执行（例如测试），您只需输入块而无需提供名称或将其存储在数据库中。此类型的块称为匿名块。匿名块未命名并且不存储在数据库中。从应用程序缓冲区执行...
RestAPI Reader最佳实践
数据存储json路径：本示例接口获取的数据存储于data下，此处配置为 data。请求参数：请求参数与调度参数搭配使用，实现每天同步当天数据的。请求参数配置为 startTime=${extract_day}${start_time}&endTime=${extract_day}${end_time} 后续...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
通过一键建仓同步至数仓版
AnalyticDB MySQL 将根据您选择的PolarDB MySQL实例中的数据存储量，自动进行存储空间计算，只在 集群名称 中显示符合条件的 AnalyticDB MySQL 集群。您也可以单击 立即购买 新建 AnalyticDB MySQL 集群，将PolarDB MySQL数据同步到新集群...
通过一键建仓同步至数仓版
AnalyticDB MySQL 将根据您选择的RDS实例中的数据存储量，自动进行存储空间计算，只在 集群名称 中显示符合条件的 AnalyticDB MySQL 集群。您也可以单击 立即购买 新建 AnalyticDB MySQL 集群，将RDS MySQL数据同步到新集群中，请参见 创建...
集成与开发概览
支持链路及开发过程中的数据安全。分钟级调度。多环境管理。应用场景 数据集成 运维：数据容灾、异地多活、数据归档、数据迁移、测试数据生成、运维指标监控、业务指标监控等。开发：实时报表、日志分析、离线宽表、T+1数据快照、数据聚合...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
数据迁移概述
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间（Bucket）内的数据迁移至OSS目标Bucket，具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象...
产品架构
DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。当全量数据迁移开始时，增量数据读取模块将被激活。在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。增量数据迁移：当全量数据迁移完成后，...
开启和使用冷数据分层存储
冷数据恢复 数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。冷数据清除 删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何...
开启和使用冷数据分层存储
冷数据恢复 数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。冷数据清除 删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何...
开启和使用冷数据分层存储
冷数据恢复 数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。冷数据清除 删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何...
DBS沙箱费用
沙箱存储费用 沙箱存储费用 开启沙箱功能后，系统会自动将待恢复的数据同步至沙箱存储中，并在沙箱存储中生成多个直接可用的沙箱实例快照，DBS将根据沙箱存储中的数据量收取沙箱存储费用。沙箱存储费用的计费方式与价格如下。沙箱存储费用...
访问列存数据
列存提供丰富的索引能力和数据分布特征，可以有效加速计算过程中的数据定位与排布，通过SQL即可完成海量主键数据的增删改查。高吞吐 列存引擎吞吐能力支持水平扩展，提供每分钟TB级数据的读写能力。适用于车联网数据快速导入、模型训练数据...
数据归档至AnalyticDB PostgreSQL版
注意事项 推荐您使用资源类型为Serverless模式作为目标数据归档引擎，可以享受超低存储价格和高性能数据分析，同时，在后续创建数据归档工单过程中，选中 成本最优，可以实现归档时自动启动实例、归档后自动暂停实例。若在数据归档过程中...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
在增量数据迁移过程中，如果迁移对象的选择粒度为Schema，在待迁移的Schema中创建了新的表或使用RENAME命令重建了待迁移的表，您需要在对该表写入数据前执行 ALTER TABLE schema.table REPLICA IDENTITY FULL;命令。说明 将上述命令中的 ...
数据集成概述
网络连通：支持单地域内及部分跨地域的数据存储相互同步、交换的数据同步需求。部分地域之间可以通过经典网络传输，但不能保证其连通性。如果测试经典网络不通，建议您使用公网方式进行连接。数据传输：数据集成仅完成数据同步（传输），...
数据使用诊断
查看诊断结果 数据使用诊断 根据诊断相关安全问题的最佳实践，为您展示了系统诊断出的当前工作空间，在数据使用过程中存在的风险隐患。您可以根据诊断结果，识别风险类别、风险等级，查看风险详情，及时处理待优化项，保障数据使用过程的...
PolarDB PostgreSQL版间的迁移
注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。...
使用DMS进行数据归档
推荐您使用资源类型为Serverless模式作为目标数据归档引擎，可以享受超低存储价格和高性能数据分析，同时，在后续创建数据归档工单过程中，选中 成本最优，可以实现归档时自动启动实例、归档后自动暂停实例。源库和目标库的管控模式均为...
使用ossimport迁移数据
数据迁移过程中，源站还在不断产生新的数据。为了不中断业务，做到业务无缝切换，还需要配置镜像回源功能。当用户请求的文件在OSS中没有找到时，OSS会自动到源站抓取对应文件保存到OSS，并将内容直接返回给用户。更多信息，请参见 OSS镜像...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
数据扫描和识别
在 DSC 扫描数据的过程中，已经完成扫描的阶段性结果，会在 数据安全中心控制台 概览 页面展现。更多信息，请参见 控制台概览。DSC 对于非结构化数据源（OSS）的扫描机制是怎样的？DSC 对非结构化数据源中存储的内容进行扫描，根据扫描结果...
离线同步能力说明
功能概述 离线同步支持的能力如下图所示：功能 描述 异构数据源间的数据同步 数据集成目前支持40+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的...
Catalog概述
查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源中的数据，请参见 数据湖分析。跨Catalog查询数据 如果想在一个Catalog中查询其他Catalog中数据，可通过 ...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确保已安装支持数据湖投递功能的表格存储Java SDK。关于表格存储Java SDK版本的更多信息，请参见 Java SDK历史迭代版本。前提条件 已开通OSS服务且在表格...
版本发布记录
2024年01月 功能名称 描述 相关文档 社区兼容版22.8 优化 从MaxCompute外表导入数据时，增加支持独享Tunnel和在网络传输过程中进行数据压缩功能。默认打开text_log日志，记录日志等级为Warning、Error和Fatal的日志，可通过system.text_log...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
使用SSMS迁移上云
查询数据库的数据行数（返回所有业务表数据的总和）重要 请确保数据迁移过程中，源表和快照数据无变更，否则可能会导致数据行数不一致。use;SELECT SUM(b.rows)AS 'RowCount' FROM sysobjects AS a INNER JOIN sysindexes AS b ON a.id=b....
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
- 产品推荐
- 这些文档可能帮助您