2023年
2023-08-01 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）按量付费闲时版 2023-06 功能名称 功能描述 发布时间 发布地域 相关文档 新增JSON数据类型 新增JSON数据类型，MaxCompute支持写入...
JSON类型
当被存储在表中时，JSON 数据也像其他数据类型一样服从相同的并发控制考虑。尽管存储大型文档是可行的，但是要记住任何更新都在整行上要求一个行级锁。为了在更新事务之间减少锁争夺，可考虑把 JSON 文档限制到一个可管理的尺寸。理想情况...
GenerateDISyncTaskConfigForUpdating
DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...
GetDISyncInstanceInfo
获取实时同步任务和同步解决方案任务的运行状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
MySQL分库分表同步至Hologres（方案2.0）
说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤三：选择要同步的库表 此步骤中，您可以在 源端库表 区域选择 doc_mysql1 数据源下需要同步的源端表，您可以选择该MySQL...
DeployDISyncTask
发布实时同步任务和同步解决方案任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
用自然语言实时查看BI报表
本文介绍了PolarDB NL2BI解决方案的背景、应用场景以及如何体验NL2BI解决方案。背景 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI联合达摩院推出自研的自然语言到数据库查询语言转义（Nature Language To SQL，...
NL2BI：用自然语言实时查看BI报表
本文介绍了PolarDB NL2BI解决方案的背景、应用场景以及如何体验NL2BI解决方案。背景 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI联合达摩院推出自研的自然语言到数据库查询语言转义（Nature Language To SQL，...
复杂类型函数
JSON_FORMAT 将JSON数据转换成STRING类型，默认不自动进行美化。JSON_PARSE 将STRING类型转成JSON类型，非JSON格式转换为字符串会报错。JSON_VALID 检查字符串是否为合法的JSON格式。CAST 支持基本类型与JSON类型的转换。说明 以下函数示例...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
MySQL分库分表同步至MaxCompute
说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成...
MySQL分库分表同步至MaxCompute
说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成...
版本说明
修复问题 解决Windows下进程监控Top5和进程内存超4GB时，只上报4GB监控数据的问题。解决域名解析卡死的问题（某些系统下域名解析超过20秒）。解决部分Prometheus指标解析失败的问题。解决日志采集占用大量CPU的问题。解决可用性监控如果...
创建Log Service数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 LogHub Endpoint Log Service的...
2023年
新说明 使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行环境，以及提供部分场景下的解决方案。PyODPS DataFrame的代码运行...
创建MongoDB数据源
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB，在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中，您...
知识库
查看治理项问题解决方案 在 知识库>治理项 页面，您可以通过不同维度，查看目标维度下数据治理中心提供的治理项问题基本信息及解决方案详情。下图以研发维度示例，为您展示治理项问题相关信息。区域 描述 ① 在该区域，您可以选择使用 研发...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
创建FTP数据源
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 FTP即文件传输协议。如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成...
数据开发概述
进行数据开发时，其他用户可在其它解决方案中，直接编辑您解决方案中引用的业务流程，进行协同开发。业务流程 面向某一特定业务需求的任务、表、资源、函数的集合，业务的抽象实体。该类业务流程中的任务可按计划定时触发运行。手动业务...
字符串函数
当您需要对存储在表中的字符串数据进行截取、拼接、转化、比较、搜索等操作，您可以使用MaxCompute支持的字符串函数对指定字符串进行灵活处理。本文为您介绍MaxCompute支持的字符串函数的命令格式、参数说明及示例。MaxCompute SQL支持的...
创建PolarDB-X数据源
通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...
解决方案与客户案例
异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展，越来越多的信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为破坏...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
离线同步任务调优
跨云、跨区域同步数据时，建议网络打通后走内网进行同步，网络连通解决方案详情请参见：配置资源组与网络连通。检查数据库负载情况。限制同步速度 数据集成同步任务默认不限速，任务将在所配置的并发数的限制上以最高能达到的速度进行同步...
全增量实时同步至Hologres
说明 您需要在 数据来源 区域根据业务需要定义读取源端数据库所使用的编码格式，及源端数据库读取数据时所使用的时区。步骤三：选择要同步的表 此步骤中，您可以在 源端库表 区域选择源端数据源下需要同步的表，并单击 图标，将其移动至 已...
创建PostgreSQL数据源
通过创建PostgreSQL数据源能够实现Dataphin读取PostgreSQL的业务数据或向PostgreSQL写入数据。本文为您介绍如何创建PostgreSQL数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至...
创建Microsoft SQL Server数据源
通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，...
创建MySQL数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建Hologres数据源
新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据，及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...
Tair集群无感扩缩容
云数据库Redis集群版平滑扩缩容方案与不足 云数据库Redis集群版提供了平滑扩缩容解决方案，较好地解决了上述社区版Redis集群版扩缩容存在的部分问题，但该方案也存在如下问题：说明 该方案支持云数据库Redis云盘版。扩缩容变配期间的数据...
常见问题概览
数据库没有数据Owner时如何处理 数据变更 SQLConsole页面执行SQL语句超时中断解决方案 DMS控制台中执行数据变更任务时提示“Duplicate column name 'XXXXX'”使用新版DMS控制台进行变更时提示“Duplicate entry:XXXX”数据库返回“Row size...
Flag参数列表
MaxCompute 2.0扩展函数 SQL Session/Project odps.sql.type.json.enable JSON数据类型使用开关。关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。MaxCompute JSON数据类型 SQL Session/...
Tair集群无感扩缩容介绍
云数据库Redis集群版平滑扩缩容方案与不足 云数据库Redis集群版提供了平滑扩缩容解决方案，较好地解决了上述社区版Redis集群版扩缩容存在的部分问题，但该方案也存在如下问题：扩缩容变配期间的数据迁移过程有感知，可能存在秒级别的只读...
创建PolarDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
解决方案与客户案例
异地多活是新一代的容灾解决方案，在保证业务持续高可用的同时还能实现成本优化、地域级水平扩展、持续高可用等能力，本文会着重介绍阿里云主流数据库产品在异地多活场景下的解决方案。方案架构 异地多活从业务视角来看是通过对业务做自顶...
SET
关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。odps.ext.oss.orc.native 读表时是否使用Native ORC Reader。True：使用。False：不使用。odps.sql.job.max.time.hours 单作业最大执行时间。...
XML 类型
这也通常意味着由于字符数据会在客户端和服务器之间传递时被转换成其他编码，包含在 XML 数据中的编码声明可能是无效的，因为内嵌的编码声明没有被改变。为了处理这种行为，包含在表示 xml 类型输入的字符串中包含的编码声明会被 忽略，...
一键实时同步至Kafka
注意事项 独享集成资源组离线同步插件 Datax 版本必须大于等于20210726203000，实时同步插件 Streamx 版本必须大于等于202107121400，否则运行增量和全量同步Kafka数据时可能失败或者存在数据格式错误。离线同步插件版本：在 运维中心 找到...
大数据用户画像解决方案
进入互联网，特别是移动互联网时代，用户随时随地都会在...多维度&复杂查询：原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见：基于Lindorm的大数据用户画像解决方案 任何问题，欢迎联系 技术支持。
- 产品推荐
- 这些文档可能帮助您