产品架构
整体架构如下：LDFS 提供性能型、标准型、容量型等多种规格，并且面对真实场景的数据冷热特点，支持性能型/标准型、容量型多种存储混合使用的形态，以适应真实场景的数据冷热特点，可结合多模引擎的冷热分离能力，实现冷热存储空间的自由...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
XML 类型
这也通常意味着由于字符数据会在客户端和服务器之间传递时被转换成其他编码，包含在 XML 数据中的编码声明可能是无效的，因为内嵌的编码声明没有被改变。为了处理这种行为，包含在表示 xml 类型输入的字符串中包含的编码声明会被 忽略，...
加载矢量数据
准备工作 在加载矢量数据之前，请确保在数据库中已输入如下命令，来创建ganos_geometry扩展：CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令行工具 shp2pgsql 命令行工具是一个将Esri Shapefile文件转换为SQL文件的命令行工具。...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
加载矢量数据
准备工作 在加载矢量数据之前，请确保在数据库中已输入如下命令，来创建ganos_geometry扩展：CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令行工具 shp2pgsql 命令行工具是一个将Esri Shapefile文件转换为SQL文件的命令行工具。...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
冷数据归档常见问题
本文汇总了 PolarDB 冷数据归档相关的常见问题。出现"[Data Lifecycle Management]DLM storage engine is not support.The value of polar_dlm_storage_mode is OFF."报错，如何处理？您需要在 PolarDB控制台 上开启冷数据归档功能。详情请...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
购买存储容量单位包SCU
本文介绍了如何通过ECS管理控制台购买一个存储容量单位包SCU。前提条件 创建SCU前，请确保您的账号下不存在未支付的账单。操作步骤 登录 ECS管理控制台。在左侧导航栏，选择 存储与快照>>存储容量单位包。选择以下对应方式，购买存储容量...
Quick BI是否支持单位换算
产品名称 Quick BI 产品模块 可视化数据面板 概述 本文向您介绍单位换算入口，帮助您优化可视化看板展示效果。问题描述 当前数据是以“克”为单位，是否可以换算成“千克”解决方案 类似于将“克”转为“千克”，“时”转为“分”，“米”...
Sensors Data（神策）数据源
BigInt2Date 将BigInt大整数类型的数据转换为Date时间类型。示例"dataConverters":[{"type":"BigInt2Date"}]无 Str2Int 将String字符串类型的数据转换为Int整数类型。示例"dataConverters":[{"type":"Str2Int"}]无 Str2Double 将String字符...
CAST函数
输入值类型 DECIMAL(m,d)、FLOAT、INT/INTEGER、SMALLINT、TINYINT BIGINT DOUBLE VARCHAR JSON 转换规则 原数据类型 目标数据类型 转换规则 VARCHAR JSON BOOLEAN 原数据为true或1，会被转换成1。原数据为false或0，会被转换成0。原数据为...
继承和转换
DDM支持不同类型的数据模型转换，模型类型包括：Logical(default)、Hive(2.x)、MongoDB、Gbase、Oracle(11g,10g,9i)、MariaDB、Cassandra、PostgreSQL、SQLServer(2008,2014,2012)、DB2、Gauss、Hana、MaxCompute、MySQL和Teradata等。...
ODPS-0123091
0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型转换的...
pg_cast
目录 pg_cast 存储数据类型转换路径，包括内建的和用户定义的类型。说明 pg_cast 并不表示系统知道如何执行的所有类型转换，它只包括哪些不能从某些普通规则推导出的转换。例如，一个域及其基类型之间的转换并未显式地在 pg_cast 中展示。...
多选框
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
多选框
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
数据类型和转换
SELECT 子句支持使用语法:指定field的类型和基本的类型转换操作。数据类型 field value可以是浮点数、整数、字符串或者布尔值。语法:允许用户在查询中指定field value的数据类型。注释：通常，不需要在 SELECT 子句指定field value的数据...
使用简介
GeomGrid支持以下数据类型到GeomGrid的转换：text bytea geometry meshgeom sfmesh vomesh GeomGrid支持从GeomGrid到以下数据类型的转换：text bytea geometry box/box3d meshgeom vomesh H3Grid H3Grid是Ganos GeomGrid中基于Uber H3索引...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
使用简介
GeomGrid支持以下数据类型到GeomGrid的转换：text bytea geometry meshgeom sfmesh vomesh GeomGrid支持从GeomGrid到以下数据类型的转换：text bytea geometry box/box3d meshgeom vomesh H3Grid H3Grid是Ganos GeomGrid中基于Uber H3索引...
使用简介
GeomGrid支持以下数据类型到GeomGrid的转换：text bytea geometry meshgeom sfmesh vomesh GeomGrid支持从GeomGrid到以下数据类型的转换：text bytea geometry box/box3d meshgeom vomesh H3Grid H3Grid是Ganos GeomGrid中基于Uber H3索引...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
空间管理
数据库自治服务DAS 为 RDS SQL Server 提供空间管理功能，可以分层监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化...
空间管理
自治服务的空间管理功能提供分层的监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等，帮助您从各个维度了解...
手动更换可用区
系统执行迁移时间的长短跟数据容量有关，若数据量较大，可能需要几个小时，请谨慎操作。该操作一般用于调整应用和数据库的可用区分布，达到就近访问数据库的目的。Q：更换主可用区所需的时间是否等于业务不可用时间？例如当需要将备可用区...
新建过滤器
数据过滤器功能 在DataV中可以使用数据过滤器，可以通过自定义JavaScript代码，实现数据结构转换、数据筛选展示和一些简单的计算。前提条件 已进入画布编辑器页面。新建过滤器 您可以通过以下两种方法新建过滤器。通过 数据过滤器 新建。在...
配置资产数据
本文档介绍配置资产数据的方法，以及资产数据面板的内容，包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，单击 图层...
设置资产数据源
本文介绍DataV设置资产数据源的方法，以及 设置数据源 页面的内容，包括数据源、数据过滤器以及数据响应结果等。配置资产数据源 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，...
备份恢复性能说明
测试环境 配置项 配置内容 数据库类型 RDS MySQL（通用型）数据库内存 2,400M 数据库CPU 8核 数据库IOPS 1,200 测试数据 测试数据 说明 数据示例 数据库大小 测试数据库的总大小，单位为GB。102 GB 总记录数 测试数据库中所有表的总记录...
创建列
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，CREATE TABLE DDL 创建列的支持范围。语法总览 create_definition:col_name column_definition column_definition:{ data_type[NOT NULL|NULL][DEFAULT {literal|...
集成组件库开发说明
Greenplum 配置Greenplum输出组件 转换组件 组件名称 组件配置 字段选择 配置字段选择转换组件 字段计算 配置字段计算转换组件 过滤转换 配置过滤转换组件 加密转换 配置加密转换组件 解密转换 配置解密转换组件 流程组件 组件名称 组件...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
- 产品推荐
- 这些文档可能帮助您