表删除，更新和合并
对于所有操作，如果由生成目标列的表达式生成的数据类型与目标Delta表中的对应列不同，merge会尝试将其转换为表中的类型。自动架构演变 重要 merge 中的架构演变在Databricks Runtime 6.6及更高版本中可用。默认情况下，updateAll和...
生成列
生成列和涉及生成列的表的定义有以下几个限制：生成表达式只能使用不可变函数，并且不能使用子查询或以任何方式引用当前行以外的任何内容。生成表达式不能引用另一个生成列。生成表达式不能引用系统表，除了 tableoid。生成列不能具有列...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
验证数据压缩能力
运行成功后打开新的 SQL 窗口，执行如下命令，验证当前表的数据量，返回 20,000 时，则表示当前表中数据生成成功。select count(*)from orders;查看运行结果：返回租户工作台，查看已使用存储大小，数据越大越准确，以实际效果为准。压缩比...
在EMR集群运行TPC-DS Benchmark
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
基于TPC-DS测试Databricks引擎性能
generateData：更改为false，代表只执行测试集运算，不进行重复测试集数据生成。执行脚本如下：class ...
Datagen
fields.<field>.kind 为生成数据的生成器类型。String 否 random 参数可选值：random：随机生成器。sequence：序列生成器。关于生成器详情请参见 生成器。fields.<field>.min 生成随机数的最小值。与类型相同 否类型的最小值 在 fields....
TPC-DS数据
声明 MaxCompute公开数据集中的TPC-DS的数据生成与分析基于TPC-DS的基准测试，并不能与已发布的TPC-DS基准测试结果相比较，因为通过MaxCompute公开数据集进行的测试并不符合TPC-DS基准测试的所有要求。MaxCompute提供的TPC-DS只能用于产品...
什么是云原生数据湖分析
支持 Kudu 支持 支持 ECS自建Druid数据库数据 支持 支持 何时使用DLA DLA主要围绕数据湖存储OSS提供一站式的云原生数据湖分析与计算方案，如果您有如下的痛点可以使用DLA：寻求一站式的数据湖解决方案，从数据高效入湖、数据的ETL、机器...
动态文件剪枝
动态文件剪枝（Dynamic File...使用案例 测试数据生成：在本节中我们使用TPCDS数据集作为测试数据，主要使用到store_sales和item表，下载包请联系Databricks运维，并上传到您的OSS中，然后再DDI的项目空间中创建Spark作业生成测试数据：class ...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
用户价值
通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。数据服务更便捷：能够赋予数据以业务价值，让各级用户能够直观的理解数据，并以此为基础向应用输出多样、便捷的...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
构建测试数据
从 TPC官网 下载TPC-DS标准的数据生成工具DSDGEN，编译后生成二进制可执行文件dsdgen。创建存放数据文件的目录。mkdir data1tb 构建测试数据。dsdgen-sc 1000-dir data1tb-TERMINATE N 参数说明如下：参数 说明 示例-sc 测试数据量的大小。...
公开与隐藏数据表资产
背景信息 将数据建模中生成的数据表进行编目及公开后，可在发现查看和申请使用。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产管理。在左侧菜单栏，选择 系统资产管理>数据表管理，进入...
基本概念
数据看板 使用DataV创建出的基于数据生成的看板，即为数据看板。DataV能将数据由单一的数字转化为各种动态的可视化图表，从而实时地将数据展示给用户。如果您想快速创建一个数据看板，请参见 使用模板创建PC端看板。数据源 在使用DataV创建...
我是DBA
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
数据质量管理流程
在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',...
数据质量管理流程
在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-...
我是管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
步骤五：启动实例并插入数据
本文将指导您完成本教程的FLINK_SQL实时任务的运维，包括实时实例启动与测试数据的写入。步骤一：启动实时任务 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，启动 flink_dataphin 实时任务。启动实时实例对话框，配置启动...
步骤五：启动实例并插入数据
本文将指导您完成本教程的FLINK_SQL实时任务的运维，包括实时实例启动与测试数据的写入。步骤一：启动实时任务 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，启动 flink_dataphin 实时任务。启动实时实例对话框，配置启动...
构建数据
从 TPC官网 下载TPC-H标准的数据生成工具DBGEN，编译后生成二进制可执行文件dbgen。dbgen-s$scale-C$chunks-S$i-f-s：指定scale值，例如100GB时scale值为100，1TB时scale值为1000。C：一共分成几个chunk。S:当前命令生成第几个 chunk。说明...
新建账号
质量管理员：拥有创建数据表、数据源等资源的质量规则的权限，查看生成的数据质量报告。跨租户发布使用人：拥有跨租户发布数据的操作权限。数据标准管理员：拥有所有数据标准的查看、操作及管理权限。标签业务员：拥有规划模块中标签架构的...
使用DMS数据追踪进行恢复
管控模式为自由操作，最大可基于1小时范围内的数据生成回滚脚本。管控模式为稳定变更或安全协同：当未开启日志备份时，受本地日志保留时长控制，最大168小时。设置方法请参见 本地日志保留策略。当开启日志备份时，受日志备份保留时长控制...
异构数据源访问
如果您计划将现有 AnalyticDB PostgreSQL版 数据库表中的数据加载到外表，建议在外表中使用 AnalyticDB PostgreSQL版 表相同的分布策略或字段名，可以避免数据加载操作中Segment节点间额外的数据移动。示例 示例一：创建一个可写外表，在建...
模拟数据生成Faker
背景信息 模拟数据生成Faker是系统内置的连接器，它根据表中每个字段提供的Java Faker表达式生成测试数据。当您在开发或测试时，需要使用一些测试数据来验证业务逻辑时，推荐您使用模拟数据生成连接器。模拟数据生成连接器支持的信息如下。...
分区表达式介绍
对于不同格式分区表达式，需要使用${yyyy}、${MM}、${dd}等基础表达式进行拼接，例如：ds=${yyyy}-${MM}-${dd}表达式产出20220101的数据将会生成ds=2022-01-01的分区条件，且各基础表达式可通过OPERATE进行相关操作。[表达式]：计算时将...
分区表达式介绍
对于不同格式分区表达式，需要使用${yyyy}、${MM}、${dd}等基础表达式进行拼接，例如：ds=${yyyy}-${MM}-${dd}表达式产出20220101的数据将会生成ds=2022-01-01的分区条件，且各基础表达式可通过OPERATE进行相关操作。[表达式]：计算时将...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
DataWorks On Hologres使用说明
类别 描述 相关文档 版本选择 DataWorks基础版服务可满足Hologres开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的标准版、专业版、企业版服务。DataWorks标准版...
DataWorks On MaxCompute使用说明
类别 描述 相关文档 版本选择 DataWorks基础版服务可满足MaxCompute开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的标准版、专业版、企业版服务。DataWorks标准...
DataWorks On CDP/CDH使用说明
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足 CDP或CDH 基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的 标准版、专业版、企业版 ...
生成数据库脚本
在 数据库类型及版本 下拉列表中选择目标数据库类型，选择生成类型选中 表结构变更语句，选择用于对比的数据模型目标版本和初始版本，单击 生成脚本。在下方代码框查看DDL语句，复制并用于线下创建数据库。完成后单击 关闭。
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
- 产品推荐
- 这些文档可能帮助您