测试数据构建
您可以通过DMS提供的测试数据构建功能，批量生成各类随机值、地区名、虚拟IP地址等信息，有效减轻您准备测试数据的负担。准备工作 已在数据库下创建表。建表操作，请参见 创建表。本文示例中数据库为 poc_dev，表为 big_table。操作步骤 本...
测试数据构建
本文档介绍修改测试数据构建工单的审批流程、新增审批流程的操作步骤。注意事项 当测试数据构建 审批规则校验 中未配置审批流程时，系统会采用默认的审批模板。您可以通过 切换审批模板 来 修改默认审批模板。配置项说明 检测点 当一个测试...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
全量数据索引构建
全量数据构建 在HBase Shell中执行 build_external_index 为HBase表中的历史数据构建索引，该命令是异步执行的。重要 全量构建索引过程中，会阻塞HBase表的DDL操作，直到构建完成才能继续执行，但不会影响表的读写。hbase shell>build_...
构建全量数据索引
执行以下命令为宽表 testTable 的全量数据构建索引，命令是异步执行的。build_external_index 'testTable' 查看全量数据同步任务的进度。全量数据的构建由LTS完成，可以在LTS页面中查看。登录LTS操作页面。在Lindorm控制台上单击目标实例ID...
权限设置
操作步骤 开启权限 打开 数据构建控制台 依次打开菜单：数据权限-权限设置 在数据目录（Catalog）的右侧，如数据目录处于关闭状态，点击“开启”操作，将会提示确认开启弹出框，确认后，完成权限开启。关闭权限 打开 数据构建控制台 依次...
ALTER INDEX
BUILDING：重新对历史数据构建索引。索引构建完成后，索引状态会自动切换为ACTIVE。ACTIVE：将索引状态切换为有效状态。说明 如果Lindorm宽表引擎为2.2.16之前的版本，索引状态说明如下：DISABLE：禁用索引。再次启用前需要进行REBUILD操作...
数据集概述
RFM模型：基于交易数据或者客户消费数据构建RFM模型，从购买频次、购买金额、最近一次购买时间三个维度进行消费者购买力分析。后续可应用于RFM分析、受众RFM模型筛选。AIPL模型：基于行为数据集或客户统计数据构建AIPL模型，将品牌人群细分...
管理中心概述
同时您也可以配置计算和存储资源的规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。使用限制 仅支持超级管理员在管理中心管理成员、设置Dataphin计算引擎、配置智能引擎。功能介绍 管理中心支持的功能如下表所示。...
管理中心概述
同时您也可以配置计算和存储资源的规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。使用限制 仅支持超级管理员在管理中心管理成员、设置Dataphin计算引擎、配置智能引擎。功能介绍 管理中心支持的功能如下表所示。...
PluginType参数说明
CLONE 测试数据构建 GENERATE 数据追踪 DATA_TRACK 数据归档 DATA_ARCHIVE 数据分析 DATA_WAREHOUSE T+1全量数据快照 DATA_SNAPSHOT 数据库迁移 SAAS_DB_MOVE 权限申请-库表权限 PERM_APPLY 权限申请-Owner OWNER_APPLY 权限申请-安全访问...
续费
请您仔细核对购买信息并阅读 智能数据构建与管理服务协议，确认无误后选中《智能数据构建与管理服务协议》。单击 去支付，支付成功后即可完成续费。说明 系统仅支持按照已购买的配置进行续费。自动续费 进入 阿里云用户中心。在 用户中心 ...
图编辑
具体机制：在数据回流时，构建程序会从SWIFT拖取数据构建索引，且构建任务会保持在running状态，用以定期拖取更新消息来构建增量版本索引。同时在线系统会实时消费更新消息。要求及注意事项：数据源为SWIFT的iGraph表记录有TTL，超过TTL的...
数据湖构建之MaxCompute湖仓一体最佳实践
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
Quick BI连接
单击左侧导航栏中的 数据构建>数据源。在 选择数据源 页面，单击 Alibaba AnalyticDB for PostgreSQL。单击 新建数据源。在 配置连接 页面进行参数配置。说明 通过公网连接Quick BI和数据库时，需要将Quick BI的IP地址添加至数据库白名单中...
数据方案概览
测试数据构建 提供根据字段类型按照多种规则，自动化构建数据的能力。数据追踪/提供数据库Binlog日志的解析处理，可查找数据的变更记录、进行数据的快速恢复SQL获取。研发空间/支持将松散的工单（例如普通数据变更、无锁数据变更、数据导入...
什么是Dataphin
超级管理员需要通过管理中心来进行成员管理和计算设置，同时您也可以通过智能引擎来配置计算和存储规则，以提高数据构建的效率。管理中心 全局规划 基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您...
MaxCompute湖仓一体概述
MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...
名词解释
全量 将MaxCompute上的数据构建成索引的过程就叫做全量，产出的索引成为全量索引，索引的版本称为全量版本。增量 数据实时更新时，离线索引构建流程产出索引并切换到线上。实时 API推送的数据实时生效，这一流程成为实时，在数据节点内存中...
产品概述
高效的数据检索：基于元数据及业务数据构建数据图谱，实现快速、智能检索数据表及数据。可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题...
快速入门
说明 空间数据构建平台仅支持 DataV专业版 及以上版本账号使用。进入空间构建平台 登录 DataV控制台。在 工作台 页面，鼠标hover在 创建三维城市 上，单击 开始创建。输入名称后，单击 确定。在 选择创建方式 对话框内选择 空间构建数据 ...
快速入门
说明 空间数据构建平台仅支持DataV专业版及以上版本账号使用。进入空间构建平台 登录 DataV控制台。在控制台界面，选择 三维城市构建器，进入三维城市构建器页面，单击+创建三维城市场景，输入项目名称，单击 完成。在 选择创建方式 对话框...
测试过程
本文介绍性能测试包含的主要步骤。构建数据结构 AnalyticDB MySQL Presto 数据初始化 构建数据 导入数据 TPC-H测试集 有关测试过程的更多信息可参见 附录：测试过程详解。
我是普通用户
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和...
概览
测试数据构建 批量生成各类随机值、地区名、虚拟IP地址等信息，大大减轻您准备测试数据的负担。无锁结构变更 较好地规避因数据库变更导致锁表进而阻塞业务的现象，以及数据库原生Online DDL带来的主备延迟现象。无锁数据变更 数据变更时，...
任务编排之电商打标
使用测试数据构建功能生成数据，具体请参见 测试数据构建。构建配置表consumption_records的数据，配置如下：操作步骤 创建配置表、业务表和消费券发放表，并写入数据。具体操作请参见 环境准备。新增任务流。登录 数据管理DMS 5.0。在顶部...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
数据库克隆
配置项说明 检测点 当一个测试数据构建工单被提交时，系统会校验该工单是否符合检测点的相关规则。审批规则校验：系统会根据 审批规则校验 中定义的规则，对数据库克隆工单作出相应处理。您可以使用安全规则模板库中提供的规则，也可以...
消息通知管理
审批拒绝 导出成功 导出失败 数据追踪 获取文件失败 待提交审批 待审批 审批通过 审批拒绝 日志处理成功 日志处理失败 数据库克隆 待审批 审批通过 审批拒绝 克隆成功 克隆失败 测试数据构建 待审批 审批通过 审批拒绝 构建成功 构建失败 ...
通过任务编排实现跨库数据同步
使用测试数据构建功能生成数据，具体请参见 测试数据构建。构建订单表t_order的数据，数据量为2000万行。说明 自由操作模式的实例，每个工单最大生成行数为100万行。构建商品表t_product的数据，数据量为1万行。新增跨库Spark任务 登录 ...
支持的数据库类型与功能
✔️ ✔️ ✔️ ✔️ ❌ ✔️ ✔️ ❌ 无锁数据变更 ✔️ ✔️ ❌ ✔️ ✔️ ✔️ ✔️ ❌ ✔️ ❌ ❌ 数据导入 ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ❌ ✔️ ✔️ ❌ 测试数据构建 ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ❌ ✔️ ❌ ❌ 数据...
我是安全管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中...
使用限制
请您以Dataphin为唯一入口进行数据构建与管理，以免出现元数据错误、权限异常等问题。说明 创建MaxCompute项目的具体方法请参见 创建MaxCompute项目。数据源管理 新增数据源 建议配置的数据源AccessKey为管理级权限。可以通过配置主账号...
通过跨库Spark SQL任务将数据同步到OSS
使用测试数据构建功能生成数据，具体请参见 测试数据构建。构建订单表t_order的数据，数据量为2000万行。说明 自由操作模式的实例，每个工单最大生成数据行数为100万行。构建商品表t_product的数据，数据量为1万行。新增跨库Spark SQL任务 ...
我是DBA
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
典型场景
文件上传：数据上传后，DLA元数据发现功能可自动发现并构建好元数据体系。数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto...
应用场景
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
我是管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
图层配置项说明
本文对三维城市构建器项目内的图层配置项进行了概括性说明...说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。
- 产品推荐
- 这些文档可能帮助您