DescribeDcdnDomainIspData-查询用户运营商分布数据
调用DescribeDcdnDomainIspData查询加速域名天粒度的用户运营商分布数据统计，支持获取最近90天的数据。接口说明 单用户调用频率：100 次/秒。不指定 StartTime 和 EndTime 时，默认读取过去 24 小时的数据，同时支持按指定的起止时间查询...
Dataphin调用API从MySQL数据库数据源取数据的时候乱码
概述 Dataphin调用API从MySQL数据库数据源取数据的时候乱码。...这个需要在API使用的数据源的jdbc url加个参数：useUnicode=true&characterEncoding=UTF-8，然后在半个小时之后测试观察正常。适用于 Dataphin 公有云SAASV3.6版本
Dataphin中创建Python脚本查询MaxCompute数据库数据，...
问题描述 Dataphin中创建Python脚本查询MaxCompute数据库数据，使用instr函数报错“function instr needs 2 parameters,actually have 4”。问题原因 关闭Hive兼容模式的参数未生效，Hive兼容模式下，instr函数只支持两个参数。解决方案 ...
Quick BI使用MaxCompute数据源连通性正常，创建数据集...
问题描述 本文主要介绍如何解决Quick BI使用MaxCompute数据源连通性正常，创建数据集预览报错“ODPS-1820002:Attach is not allowed due to service unavailable,fallback or retry later-There is no public service for your project”。...
为什么已使用的Dataphin数据处理单元会超过已购买的...
内容摘要：短时间内多次执行批量发布操作，有较小概率会造成已使用的数据处理单元数超过已购买的可用上限 问题描述 为什么已使用的Dataphin数据处理单元会超过已购买的可用上限？原因说明 Dataphin中，仅已经发布到生产环境的任务或表会...
Quick BI中MaxCompute数据源使用自助取数，报错“get ...
概述 本文主要介绍Quick BI中MaxCompute数据源使用自助取数报错建表失败的原因。详细信息 MaxCompute数据源的自助取数下载会创建临时表，如果连接数据源的账号没有建表权限，就会下载失败。需要在MaxCompute中给Quick BI创建数据源的用户...
使用MirrorMaker 2（Dedicated）跨集群同步数据
本文通过示例为您介绍如何通过EMR的集群脚本功能，快速部署使用MirrorMaker 2.0（MM2）服务同步数据。背景信息 本文的业务场景以EMR DataFlow集群作为目的集群，并且在目的集群中以Dedicated MirrorMaker集群的方式部署MM2，即EMR DataFlow...
Dataphin中使用Shell任务调用DataX脚本，将MaxCompute...
问题描述 Dataphin中使用Shell任务调用Datax脚本，将MaxCompute数据同步至OSS，补数据运行报错“Shell command exit with code:247”。完整的报错日志如下展示：2022-07-08 13:45:10.962[0-0-0-writer]INFO OssWriter$Task-upload part[191...
Dataphin数据源的数据库用户密码修改后测试连接失败
问题描述 Dataphin数据源的数据库用户密码修改后，测试连接失败是什么原因？解决方案 数据库修改了用户密码，在Dataphin数据源配置密码处填入修改后的新密码，然后需要点击右侧的‘更新’按钮，再测试连接即可成功。适用于 Dataphin
魔笔使用中DataGrid的自定义逻辑流加载数据页面显示很...
问题描述 魔笔使用中DataGrid的自定义逻辑流加载数据页面显示很慢。问题原因 一次性加载很多数据，DataGrid 显示就会慢，这个是符合预期的。解决方案 可以采用分页的能力去加载数据，或者采用实体数据源。
使用Java SDK写入数据时报错The count of attribute ...
问题现象 使用 表格存储 Java SDK写入数据到数据表时出现如下报错：The count of attribute columns exceeds the maximum:128 可能原因 写入数据到 表格存储 数据表时，一行最多支持写入1024列。在使用TableStoreWriter的过程中，客户端会...
Quick BI使用SQL创建数据集报错“You have an error ...
问题描述 本文主要介绍Quick BI使用SQL创建数据集报错“You have an error in your SQL syntax;check the manual that corresponds to your MySQL server version for the right syntax to use near 'option from 001产品信息”。问题原因 ...
Linux实例使用Mongo Shell登录MongoDB数据库提示...
问题描述 Linux实例使用Mongo Shell登录MongoDB数据库，提示以下错误。MongoDB shell version v3 4.10 connecting to:mongodb:ali123456XXXXXX.mongodb.rds.aliyuncs.com:3717/ 2018-12-18T14:26:11.946+0800 E QUERY [thread1]Error:...
Dataphin 通过SDK代码调用“...数据源”查询逻辑表数据...
问题描述 通过SDK代码调用“服务”模块发布的“Dataphin数据源”查询逻辑表数据，返回数据为空。但是直接拿SQL语句在Dataphin平台运行可以查询到数据。Dataphin平台查询结果如下：具体的代码如下：public class DataphinDataSourceTest { ...
DescribeDomainUsageData-查询用量数据
支持查询的时间粒度：根据单次查询的最大时间跨度不同，请求参数 Interval 支持不同的查询数据时间粒度，对应的可查询历史数据时间范围和数据延迟如下：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5 分钟 3 天 93 ...
Dataphin管道集成任务输入组件为OSS数据源报“object ...
问题描述 管道集成任务，输入组件为OSS数据源，报“Object 无效，Object名称在使用UTF-8编码后长度必须在1-1023之间”错。问题原因“object前缀”输入项中输入的数据文件名称中有中文存在。解决方案 在“object前缀”传入全部为英文的数据...
DescribeDcdnDomainUsageData-查询用量数据
支持查询的时间粒度：根据单次查询的最大时间跨度不同，请求参数 Interval 支持不同的查询数据时间粒度，对应的可查询历史数据时间范围和数据延迟如下：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5 分钟 3 天 93 ...
Dataphin 通过SDK代码调用“...数据源”查询逻辑表数据...
问题描述 Dataphin 通过SDK代码调用“服务”模块发布的“Dataphin数据源”查询逻辑表数据，运行报错“java.sql.SQLException:execute error:Table forbidden”问题原因 SQL语句中没有带业务板块导致。解决方案 修改SDK代码，SQL语句中加上...
Dataphin数据服务模块发布的List类型的API，测试调用...
API服务参数定义情况：SDK代码不设置参数条件的代码截图：代码不设置参数条件数据返回结果：在Dataphin平台测试调用该API数据返回正常：问题原因 SDK代码中分页条件的pagestart参数值设置不对，pagestart是从0开始的，客户代码中传递的是1...
查询用户区域分布数据统计
调用DescribeDcdnDomainRegionData查询加速域名天粒度的用户区域分布数据统计，支持获取90天的数据。接口说明 说明 当您不指定 StartTime 和 EndTime 时，默认读取过去 24 小时的数据；指定 StartTime 和 EndTime 时，按指定的起止时间查询...
DescribeVodTranscodeData-查询转码用量数据
调用DescribeVodTranscodeData查询转码用量数据。接口说明 说明 目前服务地址仅支持：华东 2（上海）。当起始结束时间间隔在 7 天以内时，返回小时粒度的数据。当起始结束时间间隔大于 7 天时，返回天粒度的数据，最大间隔为 31 天。调试 ...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
全景视角
数据使用视角：在数据分析、发布或使用数据服务等数据使用场景下，建议您使用数据使用视角，关注查看数据使用过程中，浏览、访问过的表列表、拥有权限的数据服务等方面的情况。详情请参见：数据使用视角。数据生产视角：在数据开发场景下，...
Dataphin Java代码调用数据服务API报错“API not ...
问题描述 Dataphin Java代码调用数据服务API报错“API not found with `POST/get/XXX`。问题原因 该数据服务API不存在或Java代码请求方式错误。解决方案 如果数据服务API存在，则修改Java代码请求方式即可。适用于 Dataphin 数据服务
Dataphin Java代码调用数据服务API报错“Columns Auth...
问题描述 Dataphin Java代码调用数据服务API报错“Columns Auth Check Failed:XXX。问题原因 Java代码编辑错误，数据服务API没有该返回值。解决方案 修改Java代码，去掉不存在的数据服务API返回值即可。适用于 Dataphin 数据服务API
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
简介
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您解答数据的相关问题的工具时，您可以使用DMS的数据工作站功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速...
公共规范
时间类型数据使用STRING类型（如果有特殊的格式要求，可以选择性使用DATETIME类型）。状态使用STRING类型。公共字段定义规范 数据统计日期的分区字段按以下标准：按天分区：ds(YYYYMMDD)。按小时分区：hh(00~23)。按分钟：mi(00~59)。is_{...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
导出数据
数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。说明 建议导出的数据超过200条时使用数据水印嵌入。未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
SQL 条件过滤数据
本文为您介绍创建数据迁移或数据同步项目时，选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步项目时，您可以设置 SQL 过滤条件来过滤数据。完成设置后，只有满足过滤条件的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
SQL Console初体验
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
- 产品推荐
- 这些文档可能帮助您