DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
概述
因此，您可以将文本类型的数据转换为ORC格式或者PARQUET格式，通过DLA扫描转换格式后的数据，在提高数据扫描性能的同时也帮助您节省一定的数据扫描费用。大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三...
Sensors Data（神策）数据源
DataWorks数据集成支持使用Sensors Data Writer将数据写至Sensors Data，本文为您介绍DataWorks的Sensors Data数据同步的能力支持情况。使用限制 目前仅华南1（深圳）地域支持绑定Sensors Data数据源，其他地域会陆续支持，敬请期待！不...
CAST函数
输入值类型 DECIMAL(m,d)、FLOAT、INT/INTEGER、SMALLINT、TINYINT BIGINT DOUBLE VARCHAR JSON 转换规则 原数据类型 目标数据类型 转换规则 VARCHAR JSON BOOLEAN 原数据为true或1，会被转换成1。原数据为false或0，会被转换成0。原数据为...
转换函数
TO_TMINTERVAL 描述 该函数将 CHAR、VARCHAR2、NCHAR 或 NVARCHAR2 数据类型的字符串转换为 INTERVAL YEAR TO MONTH 值。语法 TO_YMINTERVAL(char)参数 参数 说明 char CHAR、VARCHAR2、NCHAR 或 NVARCHAR2 类型，为要转换的字符串。返回...
冷热分层
冷热数据的区分方式如下：按照数据的创建时间：通常，数据写入初期，用户的关注度较高且访问频繁，此时的数据为热数据。但随着时间的推移，旧数据访问频率会越来越低，仅存在少量查询，甚至完全不查询，此时数据为冷数据。常见于交易类数据...
2024年
StarRocks Connector 2024-03-22 新增FROM_CHARSET 新说明 MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串，以便后续进行计算时使用。FROM_CHARSET 2024-03-21 新增MaxCompute TIMESTAMP_NTZ数据类型介绍 ...
访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
归档为IBD格式
当表中的数据为冷数据且对延时不敏感，或访问集中可被缓存且尾访问延迟不敏感时，您可以通过该语法将PolarStore块存储表转换为OSS对象存储表：ALTER TABLE table_name STORAGE_TYPE OSS;将数据切回PolarStore块存储模式。ALTER TABLE table...
概述
为了能够处理这些非结构化数据，通常会使用人工智能技术提取这些非结构化数据的特征，并将其转化为特征向量，再对这些特征向量进行分析和检索以实现对非结构化数据的处理。因此，将能存储、分析和检索特征向量的数据库称之为向量数据库。...
数据连接管理
操作步骤 新建实例 说明 本操作以RDS MySQL为例，为您介绍将数据库录入DTS的方法。进入 数据连接管理 页面。单击 新建实例。在弹出的对话框中，配置数据库信息。参数 说明 类型 您可以根据实际情况，选择 源端 或 目标端。实例名称 建议填...
一键建仓
背景信息 传统创建数据仓库的方法为：通过离线脚本将数据周期性地从源数据库采集至数据仓库，再进行ETL开发，这种方法的时间性较差，通常需要T+1天才能看到数据分析报表，且技术成本较高。数据管理DMS提供的一键建仓功能结合DTS同步链路和...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
时空引擎版本发布记录
新增 ST_AsMVTGeom 函数，支持将地理网格对象（GeomGrid或H3Grid）转换为瓦片坐标系的几何对象。性能优化 Geometry SQL 增强 ST_AsHMT 对于落入单个网格内的几何对象的优化处理，以提升性能。Raster SQL 增强Raster Chunk读取，采用In-...
时空数据库版本发布记录
新增cast函数支持将sfmesh类型转换为scene数据类型，转换后生成一个基于glb类型的scene数据类型。Importer SQL 新增 ST_As3dTiles 函数，支持将sfmesh转换为3dtiles瓦片进行预览。新增 ST_ImportObj 函数，支持导入obj数据格式转换为sfmesh...
时空数据库版本发布记录
新增cast函数支持将sfmesh类型转换为scene数据类型，转换后生成一个基于glb类型的scene数据类型。Importer SQL 新增 ST_As3dTiles 函数，支持将sfmesh转换为3dtiles瓦片进行预览。新增 ST_ImportObj 函数，支持导入obj数据格式转换为sfmesh...
体验智能SQL转换领航助手（Migration on Pilot）
背景 在传统的异构数据库迁移上云场景中，通常存在以下难点和痛点：源/目标两种数据库属于异构数据库，源数据库使用者不一定熟悉如何使用目标数据库及其SQL语法规则。异构数据库之间的SQL语法规则差异，导致在异构数据库迁移前后必须要对...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
数据迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。收费策略 DTS数据迁移涉及...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
转换计费方式
您可以根据业务需求，将数据同步任务或数据订阅任务的付费方式转换为按量付费或者包年包月，转换付费方式对DTS实例的正常运行无影响。注意事项 新版控制台付费方式支持按量付费和包年包月相互转换，旧版控制台付费方式只支持由按量付费转为...
数据源管理
确认查询结果为所需后，单击 运行，即可将当前数据保存为当前SQL查询的结果。删除数据 选择任一数据，单击 图标下的 移除数据源，可直接删除当前数据。缩放至图层 选择任一数据，单击 图标下的 缩放至图层，可将当前数据展示的地图数据展示...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
通过Spark导入数据
通过DataFrame方式同步MySQL数据到SelectDB 本文以MySQL为例，介绍如何通过DataFrame方式将上游的MySQL数据导入至 云数据库 SelectDB 版。启动spark-shell服务。bin/spark-shell 在spark-shell上提交任务。val mysqlDF=spark.read.format(...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
编辑数据源
本文为您介绍编辑数据源的方法。数据源添加完成之后，您可以根据大屏展示的需要，编辑数据源的内容。推荐在画布编辑页面编辑数据源。除了可以编辑数据源，还可以在该页面完成 数据映射、添加过滤器 和设定数据 自动更新 时间。操作步骤 ...
SQL查询
公共数据为您展示数据分析默认提供且不需要申请权限的表，您可使用该表快速体验SQL查询产品功能。个性化设置 支持您单击左下角的 图标进入设置页面，进行一些个性化设置：主题设置：您可以设置SQL查询的主题风格。编辑器设置：您可以设置...
数据查询与分析管控
附录：查看数据源的访问身份 工作空间模式差异 数据源环境介绍 自建数据源 默认创建自建数据源时，配置的访问该数据源的账号，拥有该自建数据源的访问权限。该功能仅对数据源查询权限进行管控，若要对数据源的读写操作进行权限管控，请参考...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
按扫描量付费
将1 TB的JSON文件转换为ORC格式，DLA只需按列扫描其中10%的数据，扫描的数据量降低至0.1 TB。经过数据格式转换、压缩和分区后，根据DLA计费模式，您需要支付的DLA扫描费用变更为：28×0.2+28×0.1+28=36.4元，总共为您节省47.6元。
- 产品推荐
- 这些文档可能帮助您