测试数据构建
本文档介绍修改测试数据构建工单的审批流程、新增审批流程的操作步骤。注意事项 当测试数据构建 审批规则校验 中未配置审批流程时，系统会采用默认的审批模板。您可以通过 切换审批模板 来 修改默认审批模板。配置项说明 检测点 当一个测试...
测试数据构建
您可以通过DMS提供的测试数据构建功能，批量生成各类随机值、地区名、虚拟IP地址等信息，有效减轻您准备测试数据的负担。准备工作 已在数据库下创建表。建表操作，请参见 创建表。本文示例中数据库为 poc_dev，表为 big_table。操作步骤 本...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
构建数据
性能测试以TPC-H 100GB数据为测试数据，使用标准的DBGEN工具构造样本数据。说明 本文的TPC-H的实现基于TPC-H的基准测试，并不能与已发布的TPC-H基准测试结果相比较，本文中的测试并不符合TPC-H基准测试的所有要求。从 TPC官网 下载TPC-H...
构建数据仓库
构建智能实时数据仓库 本场景推荐的架构如下。适用行业：适用于电商、游戏、社交等互联网行业大规模数据实时查询场景。方案优势：阿里云实时数仓全套链路与离线数仓无缝打通。满足一套存储，两种计算（实时计算和离线计算）的高性价比组合...
智能数据构建与管理的审计事件
智能数据构建与管理Dataphin已与操作审计服务集成，您可以在操作审计中查询用户操作智能数据构建与管理产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。...
基于OSS-HDFS构建数据湖
本文为您介绍基于OSS-HDFS构建数据湖的使用方法。背景信息 OSS-HDFS（JindoFS）是一款云原生数据湖存储服务，相比原生OSS存储，OSS-HDFS与Hadoop生态计算引擎无缝集成，在典型的基于Hive和Spark的离线ETL场景拥有更好的表现。OSS-HDFS详情...
全量数据索引构建
全量数据构建 在HBase Shell中执行 build_external_index 为HBase表中的历史数据构建索引，该命令是异步执行的。重要 全量构建索引过程中，会阻塞HBase表的DDL操作，直到构建完成才能继续执行，但不会影响表的读写。hbase shell>build_...
构建全量数据索引
执行以下命令为宽表 testTable 的全量数据构建索引，命令是异步执行的。build_external_index 'testTable' 查看全量数据同步任务的进度。全量数据的构建由LTS完成，可以在LTS页面中查看。登录LTS操作页面。在Lindorm控制台上单击目标实例ID...
数据湖构建服务条款
如您释放服务或删除数据的，阿里云将删除您的数据，按照您的指令不再保留该等数据。就数据的删除、更改等操作，您应谨慎操作。6.4.当服务期届满、服务提前终止（包括双方协商一致提前终止，其他原因导致的提前终止等）或您发生欠费时，除...
构建测试数据
mkdir data1tb 构建测试数据。dsdgen-sc 1000-dir data1tb-TERMINATE N 参数说明如下：参数 说明 示例-sc 测试数据量的大小。10表示10GB，1000表示1000GB（1TB）-dir 生成的数据文件写入的目录。data1tb-TERMINATE 每行最后是否加字段分隔...
数据湖构建之MaxCompute湖仓一体最佳实践
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
GetRegionStatus-获取数据湖构建服务开通状态
获取数据湖构建指定地域的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/webapi/...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
EMR元数据迁移到数据湖构建（DLF）
登录数据湖构建控制台，查看是否存在数据库dlf_test_db。登录 数据湖构建控制台。在左侧导航栏，选择 元数据>元数据管理。在 数据库名称 中输入dlf_test_db，单击回车。在EMR集群执行以下命令，删除创建的数据库。drop database dlf_test_...
搭配云HBase和Spark构建一体化数据处理平台
融合云Kafka+云HBase X-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景，助力企业数据智能化。方案架构 下图是业界广泛应用的大数据中台架构。说明 其中HBase和Spark选择云...
构建字典与表格做数据富化
字典和表格是对数据进行富化时主要使用的两种数据结构，本文档主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。字典构建 直接构建 e_dict_map({"400":"error","200":"ok","*":"other"},"status","message")从任务配置...
在TDX实例中基于BigDL PPML构建全链路安全的分布式...
BigDL PPML（BigDL Privacy Preserving Machine Learning）基于Intel ® TDX技术构建了一整套解决方案，能够让您进行非常安全的数据分析和AI应用。技术架构 基于BigDL PPML，您可以在加密数据环境中，运行现有的分布式大数据分析和AI应用...
数据中台建设架构咨询服务内容说明
2.服务范围 通过阿里云数据中台产品和建设实施方法论，建设【XXX】集团数据中台数据资产目录，基于资产盘点设计数据中台技术规范及总体架构，指导客户构建数据中台建设框架，并按需完成数据中台详细设计。数据中台建设咨询内容包括【业务...
使用限制
Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据权限...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
权限设置
操作步骤 开启权限 打开 数据构建控制台 依次打开菜单：数据权限-权限设置 在数据目录（Catalog）的右侧，如数据目录处于关闭状态，点击“开启”操作，将会提示确认开启弹出框，确认后，完成权限开启。关闭权限 打开 数据构建控制台 依次...
入湖基础操作
数据湖构建（Data Lake Formation，简称DLF）支持多种入湖任务类型用于快速构建数据湖，通过入湖任务，您可以定义数据入湖的方式和所消耗的资源。本文为您介绍入湖任务的基础操作。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请...
快速入门
在 选择创建方式 对话框内选择 空间构建数据 模式并单击 创建。在 选择空间数据项目 对话框内，单击右上角的 前往空间构建平台创建项目，即可进入空间构建平台。使用空间构建平台 在 空间数据管理 页面，默认进入 我的主页 页面，单击 我的...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
DLF+EMR之统一权限最佳实践
打开 数据构建控制台。依次打开菜单：数据权限-角色。在 admin 角色中，添加用户dlf_data_admin，此时dlf_data_admin就会具备dlf管理所有数据权限的管理员。可以为任意用户配置相关数据权限。如果需要dlf_data_admin可以为在DLF控制台为RAM...
产品概述
用户可以把应用计算产生的结果输出到数据总线 DataHub中，并使用另外一个应用来处理上一个应用生成的流式数据，来构建数据处理流程的DAG。流式数据归档 用户的流式数据可以归档到 MaxCompute（原ODPS）中。用户通过创建数据总线 DataHub ...
数仓构建流程
数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解以下基本概念：数据板块：数据板块定义了数据仓库的多种命名空间，是一种系统级的概念对象，是比主题域更高维度的业务划分方法，适用于...
MaxCompute湖仓一体概述
MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...
快速入门
在 选择创建方式 对话框内选择 空间构建数据 模式并单击 创建。在 选择空间数据项目 对话框内，单击右上角的 前往空间构建平台创建项目，即可进入空间构建平台。使用空间构建平台 在 空间数据管理 页面，默认进入 我的主页 页面，单击 我的...
定义维度与构建总线矩阵
构建总线矩阵 明确每个主题域中有哪些业务过程后，即可构建总线矩阵，该总线矩阵将用于指导后续事实模型中关联维度的定义，构建数据仓库的雪花模型。您需要定义每个主题域下的业务过程和维度，并明确每个业务过程与哪些维度相关。下表是A...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
创建三维城市场景项目
三维城市构建器项目，支持通过使用 官方基底数据 和 空间构建数据 两种方式添加多个城市基底子组件和数据映射子组件。本文介绍两种创建三维城市构建器场景的方法。使用官方基底数据方式创建 在控制台内，单击切换到 三维城市构建器 页面，...
- 产品推荐
- 这些文档可能帮助您