数据湖构建服务条款
根据您与阿里云协商一致，阿里云在您选定的数据中心存储用户业务数据。阿里云恪守对用户的安全承诺，根据适用的法律保护用户存储在阿里云数据中心的数据。7.知识产权 7.1.在本协议项下一方向对方提供的任何资料、技术或技术支持、软件、...
构建全量数据索引
宽表和索引表的列映射关系配置完成后，实时写入宽表中的数据将自动同步到索引表中。对于宽表中的全量数据，需要手动执行全量构建索引才可以完成数据同步。本文介绍通过构建索引完成全量数据同步。前提条件 已安装Java环境，要求安装JDK 1.8...
应用场景
应用程序只需配置一个连接地址，无需修改代码即可将业务平滑扩展到更多地域，从1个数据中心，扩展到2个、3个甚至更多的数据中心。上海、深圳的集群规格无需与北京保持一致，可以灵活选择。部署流程 创建一个GDN，将已有集群作为GDN中的主...
数据方案概览
DMS的数据方案提供数据变更、数据导出、数据追踪、环境构建的功能，通过本文您可以了解数据方案的各项功能详情。一级功能 二级功能 功能描述 结构变更 结构设计 可以对目标库、表进行符合研发规范的表结构设计，保障多套环境（例如开发环境...
已开通的地域和访问域名
Region表示DLF的数据中心所在的地域，Endpoint表示DLF对外服务的访问域名。本文主要介绍Region与Endpoint的对应关系。DLF Region和Endpoint对照表 各地域均支持HTTPS访问，当前已开通的各地域和Endpoint如下。站点 Region Region Id 公网 ...
什么是Dataphin
数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。同时，Dataphin可以为您提升构建数据体系的效率，降低成本：提升效率：提供全链路、一站式、智能化的数据构建与管理工具，...
简介
DMS Data Copilot：是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品等人员，更高效、规范地使用和管理数据。更多信息，请参见 Data Copilot智能助手。Notebook：一个交互式的...
设置列索引的排序键
总体流程如下：将所有的数据块进行两两分组，挑选出多个数据范围重合度较高的数据块组。将每个数据块组进行归并排序，生成两个有序的数据块。重复执行步骤2，直到所有的数据块有序排列。参数说明 您需要在数据库中设置下表中参数的值，来...
概述
技术原理 列存索引的构建 列存索引是由列存引擎节点来构造的，构建的数据最终会以CSV+ORC两种数据格式存储在共享对象上。其中CSV往往存储的是实时的增量数据，过多的增量数据会及时进行compaction，转储成ORC格式。不管是CSV还是ORC格式，...
Quick BI连接
单击左侧导航栏中的 数据构建>数据源。在 选择数据源 页面，单击 Alibaba AnalyticDB for PostgreSQL。单击 新建数据源。在 配置连接 页面进行参数配置。说明 通过公网连接Quick BI和数据库时，需要将Quick BI的IP地址添加至数据库白名单中...
设置列索引查询过滤算法
执行查询语句时，您可以通过列存索引的pruner功能，过滤掉数据库中不需要访问的数据块，以提高SQL语句的查询速度。本文介绍pruner的适用场景、注意事项、语法和相关参数等内容。简介 列存索引数据以单列数据块（默认包含64K行，可以通过 表...
功能特性
数据分析概述 访问数据分析功能 管理数据集 仪表盘 Copilot Copilot是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理...
客户案例
从初期至今，基于MaxCompute构建的数据仓库有极高的消费比。初期只有一个开发人员的情况下，可以快速地搭建数据仓库，且费用成本极低。解决方案架构如下。详细案例信息，请参见 小打卡案例。互联网金融案例：天弘基金 客户简介 天弘基金是...
应用场景
数据建模：通过数据建模及代码自动化生成功能，以会员为中心，构建完整的会员数据模型，集成会员属性、统计指标等数据。主题服务：通过数仓即席查询功能，面向应用，自动输出会员主题的汇总数据模型，高效完成进一步的会员日报分析、会员...
Data Copilot智能助手
DMS Data Copilot是 DMS 基于阿里云大模型构建的数据智能助手。其结合了 DMS 熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理数据。本文为您介绍如何使用DMS Data Copilot。...
ADAM概览
SQL对比测试：基于Jmeter测试引擎构建的数据库测试平台，支持构建SQL测试集，创建、执行测试任务和查看测试结果。SQL转换 将Oracle、Teradata、Db2语句转化为MySQL、PolarDB O引擎、云原生数据仓库 AnalyticDB PostgreSQL 版 语句的工具。...
JSON数据类型
构建二级索引 Lindorm宽表SQL支持为JSON数据类型列中指定路径的数据构建二级索引，但是在构建二级索引时需要指定JSON列的 json_extract 函数类型。语法 create_index_statement:=CREATE INDEX[index_name]ON table_name '(' index_...
数据清理
查看数据清理任务 任务信息 在 任务中心 的数据清理列表中，单击操作列中的 查看 按钮。在弹出的任务详情面板中，单击 任务信息 页签查看任务类型、源数据库、目标数据库、变量配置、归档范围和执行方式等信息。任务流程 在任务详情面板中...
数据归档
查看数据归档任务 任务信息 在 任务中心 的数据归档列表中，单击操作列中的 查看 按钮。在弹出的任务详情面板中，单击 任务信息 页签查看任务类型、源数据库、目标数据库、变量配置、归档范围和执行方式等信息。任务流程 在任务详情面板中...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
概述
DataWorks的安全中心，帮助您快速构建平台的数据内容、个人隐私等相关的安全能力，满足企业面向高风险场景的各类安全要求（例如，审计），无需您额外配置即可直接使用该功能。DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您...
常见问题
数据安全中心采用包年包月预付费的模式，按需要管理的数据库实例个数和OSS存储容量收费，根据不同的产品能力分为基础版和企业版，基础版和企业版的价格不同。更多信息，请参见 产品计费。基础版和企业版有什么区别？基础版和企业版提供的...
测试数据构建
说明 目前，测试数据构建的默认安全审批规则为：数据库对应的DBA进行审批。更多信息，请参见 测试数据构建。配置算法介绍 测试数据生成算法配置目前支持3种生成方式，分别是 随机、自定义、枚举。随机 数值类型：支持 自增序列（指定 起始...
测试数据构建
任务执行完毕后，可查看 poc_dev 库中是否已存在构建的100万条测试数据。将鼠标悬浮至工单 基本信息 区域的数据库名称上。单击提示框上的 查询，跳转至SQL Console页面。输入如下查询big_table表中数据行数的SQL语句，单击 执行。SELECT ...
产品简介
产品定价 数据湖构建的数据入湖、数据探索、权限管理、湖管理功能均为公测 免费阶段，无计费。元数据管理功能按量计费，每个月元数据对象存储万个以下 免费；超过上述数量会有计费，详情请参考 计费。每个月API请求数量万个以下 免费。超过...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
集成概览
Terraform 集成 Terraform支持的 数据安全中心 的资源类型如下表。云产品 资源类型 数据安全中心 alicloud_sddp_config：异常告警通用配置模块的参数 alicloud_sddp_instance：实例 alicloud_sddp_rule：自定义的敏感数据识别规则 alicloud...
测试数据构建
本文档介绍修改测试数据构建工单的审批流程、新增审批流程的操作步骤。注意事项 当测试数据构建 审批规则校验 中未配置审批流程时，系统会采用默认的审批模板。您可以通过 切换审批模板 来 修改默认审批模板。配置项说明 检测点 当一个测试...
全量数据索引构建
当配置好HBase表与Search索引的映射后，实时写入HBase中的数据将自动同步到Search索引中。对于HBase表中的存量历史数据，需要手工执行一次全量构建才可以完成数据同步。全量数据构建 在HBase Shell中执行 build_external_index 为HBase表中...
快速入门
城市三维场景构建器组件提升了组件的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库，真正降低“数字孪生城市”的构建门槛，使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用城市三维场景构建...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
功能发布记录 2022年之前
DataWorks的安全中心，帮助您快速构建平台的数据内容、个人隐私等相关的安全能力，满足企业面向高风险场景的各类安全要求（例如，审计），无需您额外配置即可直接使用该功能。2021.03.13 全部地域。概述 运维中心新增DAG聚合视图及上下游...
产品优势
本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的要求。云原生 依托云原生优势，为云上数据源提供一体化数据保护和防御机制。支持防护常见的结构...
查看敏感数据识别结果
查看该数据类型下已接入数据安全中心的所有数据库实例的敏感数据识别结果。如需查看数据库实例中敏感数据的详细信息，您可以单击 操作 列的 表详情、集合详情 或 文件详情，查看敏感表、敏感集合或敏感文件占比图、命中规则Top 5和敏感数据...
产品计费
如果实例到期15天后您未进行续费，已购买的数据安全中心实例会被释放，控制台功能将无法使用，之前的数据安全中心配置数据和历史数据将无法查看。此时您需要重新购买数据安全中心实例才能使用相应功能。具体操作，请参见 购买数据安全中心...
快速实现数据分类分级
前提条件 已规划好要接入数据安全中心的数据库。DSC支持的数据库类型和地域，请参见 支持的数据库类型 和 支持的地域。步骤一：购买DSC并完成授权 说明 DSC 支持7天免费试用。需要申请试用时，您可在 数据安全中心产品详情页面 单击 7天...
快速入门
三维城市构建器提升了三维资产的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库，真正降低“数字孪生城市”的构建门槛，使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用三维城市构建器的具体...
快速入门
三维城市构建器提升了三维资产的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库，真正降低“数字孪生城市”的构建门槛，使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用三维城市构建器的具体...
DLF-Auth
DLF-Auth组件是数据湖构建DLF（Data Lake Formation）产品提供的，通过该组件可以开启数据湖构建DLF的数据权限功能，可以对数据库、数据表、数据列、函数进行细粒度权限控制，实现数据湖上统一的数据权限管理。本文为您介绍如何开启DLF-...
- 产品推荐
- 这些文档可能帮助您