支持识别的OSS文件类型
本文介绍数据安全中心（DSC）支持识别的OSS文件类型。...164 Qpress压缩文件 81 Access数据库文件 165 Snappy压缩文件 82 可扩展存储引擎数据库文件 166 RAR压缩文件 83 MSVC程序数据库文件 167 Tar文件 84 Windows应用程序兼容性数据库 无 无
RDS MySQL物理备份文件恢复到自建数据库
本文介绍如何使用Percona XtraBackup工具，将RDS MySQL的物理备份文件恢复到自建数据库。背景 RDS MySQL支持将实例备份文件恢复到自建数据库，当前支持物理备份文件恢复、逻辑备份文件恢复等多种方式。如何选择数据恢复方案，请参见 数据...
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
UTL_I18N
RAW_TO_CHAR Function 将未在数据库字符集中编码的RAW数据转换为VARCHAR2字符串。ESCAPE_REFERENCE 此函数将文本字符串转换为与当前文档使用的字符集不同的字符参考副本。字符引用主要用于HTML和XML文档中，以独立于文档的编码表示字符。...
常见问题
可能原因：您的RDS数据库与流计算项目不在同一区域。解决方法：需要手动将流计算服务的白名单添加到RDS白名单中，详情请参见 数据存储白名单配置。源表数据无法同步到目标表中。可能原因：源表的数据类型与目标表不一致，在进行类型转换时...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
概述
因此，您可以将文本类型的数据转换为ORC格式或者PARQUET格式，通过DLA扫描转换格式后的数据，在提高数据扫描性能的同时也帮助您节省一定的数据扫描费用。大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
按扫描量付费
您可以根据不同的业务需求，把原始数据转换为上述三类格式，然后只扫描您需要的数据列，无需扫描所有数据，从而节省扫描费用。压缩数据：对原始数据进行压缩来减少数据量，建议压缩格式为Parquet或者Orc格式，然后使用DLA扫描压缩过的数据...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云...支持简单的数据转换。支持通过解析Binlog，准实时地从MySQL同步数据到 AnalyticDB PostgreSQL版。其他支持Greenplum的ETL工具。
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
转换函数
hextoraw-\x68656c6c6f20776f726c64 ASCIISTR 描述 ASCIISTR将任何字符集中的字符串或解析为字符串的表达式作为其参数，并返回数据库字符集中字符串的ASCII版本。非ASCII字符转换为\xxxx形式，其中xxxx表示UTF-16代码单元。语法 ASCIISTR...
数据归档
在左侧导航栏，单击 冷存管理，打开 归档层设置，可查看已开启数据归档的数据库。通过SQL命令查看：SELECT t.NAME AS tablespace_name,SUBSTRING_INDEX(t.NAME,'/',1)AS database_name,SUBSTRING_INDEX(t.NAME,'/',-1)AS table_name,oss....
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
集成与开发概览
通过可视化拖拉拽操作、SQL语句（100%兼容Flink）两种方式配置流式加工任务，实现流式数据的抽取、数据转换和加工、数据装载能力，适用于日志、在线数据实时加工处理、实时统计报表等各类实时数据开发场景。数据开发 任务编排。更多信息，...
数据归档
OSS和读取会占用一部分内存，同时访问OSS侧数据将占用一定比例的ECS的网络带宽资源，因此需要合理调整数据转换和数据访问的速度和频率。计费 公测期间免费。开启和关闭数据归档功能 开启数据归档功能 新购实例时，在 实例购买页 开启数据...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
配置HDFS输出组件
文件类型 选择将数据转换成存储的文件类型。文件类型 包括 Text、ORC 和 Parquet。文件编码 选择文件编码。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（HDFS数据源）写入数据时，数据写入表中的策略。加载策略包括覆盖数据和追加...
其它函数
其它函数如下表所示：函数 功能 CAST 将数据转换为目标数据类型。COALESCE 获取参数中第一个非NULL的值。GREATEST 返回参数中最大的值。IF 判断指定的条件是否为真。IS_CELLPHONE_NUMBER 判断指定的文本是否为手机号。LEAST 返回参数中...
下载备份
说明 云盘实例的快照备份下载发起后，系统会产生一个数据转换的下载任务，该任务未成功完成时（包括任务进行中及任务失败），无法获取下载链接，该情况下不会产生和收取外网流量费用。任务成功完成后，用户在使用链接下载时按实际产生的...
下载备份
相关操作 云盘实例 使用备份下载功能，将快照备份数据转换成CSV文件或SQL文件导出后，可以通过该文件将数据恢复到自建MySQL数据库中。具体操作，请参见 RDS MySQL快照备份文件恢复到自建数据库。如果您需要对RDS MySQL 云盘实例 的数据进行...
2024年
StarRocks Connector 2024-03-22 新增FROM_CHARSET 新说明 MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串，以便后续进行计算时使用。FROM_CHARSET 2024-03-21 新增MaxCompute TIMESTAMP_NTZ数据类型介绍 ...
将MySQL数据迁移到Redis
这种从源端数据库提取数据，转换格式后传入异构数据库中的方式也适用于其它异构数据库之间的数据迁移。前提条件 已创建作为源端的RDS MySQL实例且其中已存在可供迁移的表数据。已创建作为目的端的云数据库Redis版实例。已创建Linux系统的...
XML 类型
在使用文本模式向服务器传递查询以及向客户端传递查询结果（在普通模式）时，PostgreSQL 将所有在客户端和服务器之间传递的字符数据转换为目标端的字符编码。这也包括了表示 XML 值的串，正如上面的例子所述。这也通常意味着由于字符数据会...
加载矢量数据
准备工作 在加载矢量数据之前，请确保在数据库中已输入如下命令，来创建ganos_geometry扩展：CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令行工具 shp2pgsql 命令行工具是一个将Esri Shapefile文件转换为SQL文件的命令行工具。...
加载矢量数据
准备工作 在加载矢量数据之前，请确保在数据库中已输入如下命令，来创建ganos_geometry扩展：CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令行工具 shp2pgsql 命令行工具是一个将Esri Shapefile文件转换为SQL文件的命令行工具。...
加载矢量数据
准备工作 在加载矢量数据之前，请确保在数据库中已输入如下命令，来创建ganos_geometry扩展：CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令行工具 shp2pgsql 命令行工具是一个将Esri Shapefile文件转换为SQL文件的命令行工具。...
配置FTP输出组件
文件类型 选择将数据转换成存储的文件类型。文件类型 包括 Text 和 CSV。文件编码 选择文件存储在目标数据源的编码方式。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（FTP数据源）写入数据时，数据写入FTP中的策略。加载策略包括 ...
配置FTP输出组件
文件类型 选择将数据转换成存储的文件类型。文件类型 包括 Text 和 CSV。文件编码 选择文件存储在目标数据源的编码方式。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（FTP数据源）写入数据时，数据写入FTP中的策略。加载策略包括 ...
分析数据
④ 更多 单击 更多，您可以选择如下图表：面积图 条形图 散点图 股票图 插件：目前支持 类型转换，单击 图标，您可以将选中的数据 转换为数值型 和 转换成字符型。快捷键列表 单击 图标，查看各功能对应的快捷键。您可以在编辑页面的单元格...
最佳实践：数据ETL操作全流程实践
背景信息 假设一个简单的场景，开发人员想把RDS库里面的数据同步到一张MaxCompute分区表中，然后在自建系统的页面上展示经过数据分析后的报表数据，我们可以通过DataWorks OpenAPI去完成整个链路的实现。具体步骤如下所示。步骤一：创建RDS...
如何对JSON类型进行高效分析
传统数据库解决方案 传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在处理JSON数据时经常将原始JSON数据编码成二进制数据并存储到表的JSON类型列中，查询时使用JSON函数对整个JSON列数据进行实时解析与计算等。JSON作为半结构化数据...
产品架构
存算一体 StarRocks 3.0版之前采用的是存算一体（shared-nothing）架构，这是其作为MPP数据库的显著特点。在这种架构中，BE节点负责数据的存储与计算。在查询时可以直接读取本地数据进行计算，极大地提升了查询的速度，有效避免了数据传输...
功能特性
自建Oracle迁移至云原生数据仓库AnalyticDB PostgreSQL版 异构数据库间的数据类型映射关系 切流 数据库上云割接 数据库割接用于帮助用户在完成数据库评估、应用评估改造后，将业务最终平滑地迁移到云上数据库。数据库割接 周期性任务 定时...
最佳实践
本文以轮播列表柱状图组件使用数据过滤器筛选出B站网页内的视频为例，为您演示如何使用数据过滤器。操作步骤 登录 DataV控制台。在 我的可视化 页面，选择您创建的可视化应用，单击 编辑。在 画布编辑器 页面，单击 图标打开 资产列表，在...
使用示例
本文以 轮播列表柱状图 组件，使用数据过滤器筛选出B站网页内的每日推荐数据为例，为您演示数据过滤器的详细使用方法。前提条件 在可视化应用编辑器页面，添加所需要的 轮播列表柱状图 组件，详情请参见 添加资产。操作步骤 登录 DataV控制...
配置DataHub输出
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
配置AnalyticDB for MySQL输出
前提条件 配置 AnalyticDB for MySQL 输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域...
- 产品推荐
- 这些文档可能帮助您