创建AnalyticDB for PostgreSQL数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。方式二：通过连接串模式创建数据源 该方式仅支持使用当前阿里云账号创建数据源。配置基础信息。参数 说明 数据源名称 定义数据源在DataWorks的名称，名称必须唯一。配置模式 ...
创建AnalyticDB for MySQL3.0数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。方式二：通过连接串模式创建数据源 使用该模式创建的数据源不支持用于数据开发和调度，只能用于数据同步。创建数据源配置如下。配置基础信息。参数 说明 数据源名称 定义数据源...
资产安全概述
密切结合生产开发场景：在开发生产过程中，资产安全与数据流转场景紧密结合，保障在Dataphin数据开发周期中的数据安全。相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行...
资产安全概述
密切结合生产开发场景：在开发生产过程中，资产安全与数据流转场景紧密结合，保障在Dataphin数据开发周期中的数据安全。相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行...
one-hot编码
忽略待编码数据中的空元素 该参数为 true 时，表示不对空元素编码。方式二：PAI命令方式 使用PAI命令方式，配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用，详情请参见 SQL脚本。PAI-name one_hot-project algo_public-DinputTable...
压缩数据从OSS迁移至MaxCompute
本文为您介绍如何通过MaxCompute外部表能力，将SNAPPY压缩文件数据（以半角逗号分隔）从OSS迁移至MaxCompute。前提条件 已开通MaxCompute并创建项目，详情请参见 创建MaxCompute项目。已开通OSS并创建存储空间，且Bucket中有压缩数据SNAPPY...
基本概念
转码 视频转码（Video Transcoding）是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。转码本质上是一个先解码、再编码的过程，因此转换前后的码流可能遵循相同的视频编码...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
基本概念
音视频基本概念 视频转码 视频转码是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。转码本质上是一个先解码、再编码的过程，因此转换前后的码流可能遵循相同或不同的视频...
使用ETL分析实时订单
案例背景 本案例将为您演示如何使用流式ETL功能，将实时交易数据（订单号、客户ID、产品/商品编码、交易金额、交易时间）与业务维度数据（产品编码、产品单价、产品名称等）相结合，并将满足过滤条件的数据（如统计单笔超3000的实时交易...
创建数据脱敏规则
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）创建Impala数据源、新建AnalyticDB for MySQL 3.0数据源、Dataphin支持的数据源 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）编码任务：Python计算任务的版本拓展，同时支持代码...
概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
产品优势
无优化 成本 数据压缩 深度优化的ZSTD算法，JNA重写，可杜绝Core dump，并且基于字典采样优化，压缩率比snappy提高50%，数据压缩比可高达10:1。默认为Snappy，使用ZSTD需依赖Hadoop-3.0，存在Core Dump的概率。编码 IndexableDelta算法，...
X-Engine如何支撑钉钉跃居AppStore第一
数据压缩及无效记录清理 编码之后的数据页，可以使用通用压缩算法（zlib、zstd、snappy等）进行压缩，所有处在LSM-tree低层次的数据都会默认压缩。数据压缩是以计算资源换存储空间的技术，因此选用一个压缩率小及压缩/解压速度快的压缩算法...
UTL_ENCODE
UTL_ENCODE包提供编码数据及解码数据的方法。BASE64_ENCODE 使用BASE64_ENCODE函数可以将RAW字符串或TEXT字符串转换为Base64格式的字符串。BASE64_ENCODE函数提供了以下两种语法：BASE64_ENCODE(r IN RAW)BASE64_ENCODE(loid IN OID)该函数...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
概述
系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析，不影响数据源端的线上业务运行。方案优势 T+1全量同步一键建仓...
数据类型版本说明
说明 阿里云其他产品或组件对数据类型的支持情况，请参见 组件与数据类型的兼容。选择数据类型版本 项目选择的数据类型版本影响范围如下：表的数据类型。DML语句、内置函数的行为。与MaxCompute密切相关的开发组件。因此，在选择项目的数据...
创建三维城市场景项目
说明 调整城市基底子组件的算法参数，可以帮助您调整城市基底各个要素的几何造型结构、生成点位数量和压缩数据量等，帮助解决要素之间重叠遮挡等问题。单击 选择范围 对话框右下角的 确定 即可完成三维城市构建器项目的创建，并进入项目...
创建三维城市场景项目
说明 调整城市基底子组件的算法参数，可以帮助您调整城市基底各个要素的几何造型结构、生成点位数量和压缩数据量等，帮助解决要素之间重叠遮挡等问题。单击 选择范围 对话框右下角的 确定 即可完成三维城市构建器项目的创建，并进入项目...
配置SQLServer数据源
您需要测试每个资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击 批量测试连通性。详情请参见 配置资源组与网络连通。说明...
备份恢复性能说明
规格与压缩格式 压缩后的数据量 耗时 恢复速度（相对于原始数据量）small（4线程）gzip 21.1 GB 320s 126 MB/s large（8线程）gzip 21.1 GB 161s 250 MB/s xlarge（16线程）gzip 21.1 GB 86s 468 MB/s small（4线程）lz4 31.1 GB 408s 99 ...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
数据建模：智能数据建模
维度建模：维度建模支持逆向建模，解决现有数仓的建模冷启动难题，支持可视化数仓维度建模，支持通过Excel文件导入模型和通过FML（一种类SQL的DSL）快速构建模型，支持与数据开发DataStudio无缝打通，自动生成ETL代码。数据指标：数据指标...
性能测试工具-Shell
HBASE_VERSION=2 配置测试相关参数（可选）在 AHBench/conf/ahbench-settings.properties 路径下配置测试相关的参数，如压缩、编码、线程数、数据量、字段大小等，默认不需要修改，如有需求可根据场景进行定制修改。说明 部分参数仅在特定...
性能测试工具-Shell
HBASE_VERSION=2 配置测试相关参数（可选）在AHBench/conf/ahbench-settings.properties路径下配置测试相关的参数，如压缩、编码、线程数、数据量、字段大小等，默认不需要修改，如有需求可根据场景进行定制修改。说明 部分参数仅在特定...
基本概念
音视频基本概念 转码（Transcoding）转码（Transcoding）是指将已经压缩编码的音视频码流转换成另一个音视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。转码本质上是一个先解码、再编码的过程，因此转换前后的码流...
ASMCompressor CRD说明
5 compression_strategy string 否 用于选择zlib压缩策略的值，该策略与内容的特性直接相关。取值：DEFAULT_STRATEGY：表示默认的压缩策略。这种策略由zlib库根据输入数据的特性自动选择，以获得最佳的压缩效果。FILTERED：表示使用带过滤...
CREATE DATABASE
CREATE DATABASE 将允许超级用户指定 SQL_ASCII 编码而不管区域设置，但是这种选择已被废弃并且可能在数据与数据库中存储的区域不是编码兼容时让字符串函数行为失当。编码和区域设置必须匹配模板数据的编码和区域，除非 template0 被用作...
性能测试工具-图形工具
通有配置说明（可选）以下配置测试相关的参数，如压缩、编码、线程数、数据量、字段大小、测试用例等。默认不需要修改，如有需求可根据场景进行定制修改。参数名称 参数说明 test_name 测试名称，只用作显示。table_name 测试用表名称，...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
性能测试工具-图形工具
通用配置（可选）以下配置测试相关的参数，如压缩、编码、线程数、数据量、字段大小、测试用例等。默认不需要修改，如有需求可根据场景进行修改。参数名称 参数说明 test_name 测试名称，只用作显示。table_name 测试用表名称，用于测试...
配置FTP输出组件
导出压缩文件 可选择 zip、gzip 压缩格式或 不压缩，直接以所选文件类型导出，选择压缩格式后以相应压缩格式将压缩文件合并写入FTP或直接以所选文件类型导出。导出列头 选择是否导出列头：选择导出，会在每一个文件中的第一行输出字段名。...
配置FTP输出组件
导出压缩文件 可选择 zip、gzip 压缩格式或 不压缩，直接以所选文件类型导出，选择压缩格式后以相应压缩格式将压缩文件合并写入FTP或直接以所选文件类型导出。导出列头 选择是否导出列头：选择导出，会在每一个文件中的第一行输出字段名。...
HDFS数据源
支持ORCFile数据压缩，目前支持 SNAPPY 和 ZLIB 两种压缩方式。支持SequenceFile数据压缩，目前支持 lZO 压缩方式。多个File可以支持并发读取。CSV类型支持压缩格式有gzip、bz2、zip、lzo、lzo_deflate和snappy。目前插件中Hive版本为1.1.1...
访问列存数据
低成本 通过列格式高压缩比算法、高密度低成本介质、冷热分离、多压缩编码和数据冷归档等技术，Lindorm列存相比自建系统存储成本显著降低，满足海量数据归档留存等低成本存储需求。高可用 通过纠删码等技术，Lindorm列存保证了分布式数据集...
- 产品推荐
- 这些文档可能帮助您