数据服务入门
DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
全景视角
数据使用视角：在数据分析、发布或使用数据服务等数据使用场景下，建议您使用数据使用视角，关注查看数据使用过程中，浏览、访问过的表列表、拥有权限的数据服务等方面的情况。详情请参见：数据使用视角。数据生产视角：在数据开发场景下，...
持久内存型
大规格优化 解决大规格下执行AOF重写调用fork引起的延时抖动、服务数据加载慢等问题，无需在性能与持久化中取舍。可提供128~512 GB的大容量主从规格，集群版预计最大规格为32 TB。掉电数据不丢失 强大的命令级持久化保障，每个写操作持久化...
持久内存型
大规格优化 解决大规格下执行AOF重写调用fork引起的延时抖动、服务数据加载慢等问题，无需在性能与持久化中取舍。可提供128~512 GB的大容量主从规格，集群版预计最大规格为32 TB。掉电数据不丢失 强大的命令级持久化保障，每个写操作持久化...
通过函数计算节点实现GitHub实时数据分析与结果发送
开通 大数据开发治理平台DataWorks 并创建工作空间（本实践以使用标准模式工作空间为例，简单模式的操作类似）。操作详情请参见 开通DataWorks服务、创建工作空间。开通 云原生大数据计算服务MaxCompute，并创建MaxCompute项目。操作详情请...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
流式数据通道概述
流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-per-second）场景下的性能瓶颈。本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
使用指南
账本数据服务返回数据为 JSON 格式，具体格式参考账本数据结构部分。合约开发请参考 开发指南。合约消息推送开发流程 用户智能合约使用合约消息推送服务API接口，开发流程如下：在 BaaS 平台上获取消息合约名称。获取合约消息推送 API 接口...
周期任务补数据
如果主键或来源表未发生变更，您可以选择全表补数据模式或指定字段补数据模式：全表：适用于数据表的所有字段都需要补数据的场景。说明 不包括注册上挂字段。指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：...
周期任务补数据
如果主键或来源表未发生变更，您可以选择全表补数据模式或指定字段补数据模式：全表：适用于数据表的所有字段都需要补数据的场景。说明 不包括注册上挂字段。指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：...
进入组件分析模式
进入分析模式数据面板 BI分析子组件类：单击资产面板中的 BI分析 模块，单击或拖拽模块列表中支持分析模式的子组件，通过添加这些子组件可以快捷创建包含特定种类子组件的分析模式地图组件。图 4.添加特定子组件 图 5.进入子组件分析模式 ...
数据库代理服务管理
独占代理：数据库代理服务实例单独占用计算资源，客户可以根据实际业务诉求随时扩容数据库代理资源规格，适用于较大访问流量的业务。代理类型介绍 OceanBase 数据库代理提供两种类型代理服务：共享代理和独占代理。共享代理：共享CPU物理...
独享数据服务资源组
为保证用户创建并封装在数据服务中的API在被外部应用调用时，能达到高QPS以及满足可用性保障，企业需要使用独享数据服务资源以确保调用的高效和可靠。独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，...
CREATE DATABASE
DEFAULT_SINGLE（版本要求：PolarDB-X 5.4.17-16921956及以上）指定AUTO模式数据库是否使用单表自动打散至各个DN节点的分布策略，该选项仅对AUTO模式数据库有效，对DRDS模式数据库无效。参数取值如下：当DEFAULT_SINGLE='on' 时，AUTO模式...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
DataWorks产品安全能力介绍
数据API鉴权&发布审批：支持对数据服务API配置鉴权方式及策略，并对API的发布配置审批管控策略。说明 仅DataWorks企业版支持发布及审批数据服务API。泄露数据溯源：支持提取数据泄露文件中数据的水印信息，帮助管理员定位泄露数据的责任人...
创建数据库
本文介绍如何在 PolarDB-X 实例上创建数据库。操作步骤 登录 PolarDB...两种模式的详细介绍请参见 AUTO模式数据库与DRDS模式数据库。备注说明 备注该数据库的相关信息，便于后续数据库管理。该参数为非必填项，最多支持256个字符。单击 确定。
使用DataWorks数据服务生成API
本文为您介绍如何通过DataWorks的数据服务，生成并发布数据API，用于在DataV中进行调用并展示。前提条件 在开始本案例前，您需要首先完成 准备工作。背景信息 注意 按照本文档操作后，可以获取到您数据API的AppCode、AppKey和AppSecret，请...
Dataphin支持的数据源
数据服务中Basic模式和Dev-Prod模式的Prod环境读取生产数据源，Dev-Prod模式的Dev环境读取开发数据源。同步任务不支持生产开发双环境，产品中的数据源读写的都是生产数据源。说明 在内置的数据源类型中，未有所需接入的数据源类型时，您可...
极简模式控制台
本文介绍数据管理DMS控制台的极简模式，包含如何进入、退出极简模式以及注意事项。前提条件 开通 DMS 服务。功能优势 界面简洁、易上手、操作空间大。可以随时查找目标数据库实例，无需反复切换到控制台首页标签页。注意事项 新用户首次...
创建数据板块
创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据研发效率，研发人员职能边界模糊，计算存储预算有限制，推荐 此模式。创建Basic模式数据板块，请...
创建数据板块
创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据研发效率，研发人员职能边界模糊，计算存储预算有限制，推荐 此模式。创建Basic模式数据板块，请...
跨境SaaS:深圳市易仓科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳市...
概述
OceanBase MySQL 模式兼容 MySQL 的大部分数据类型，详见 OceanBase MySQL 数据类型概述。由于 OB MySQL 的 DDL 语法与 MySQL DDL 语法存在一定的差异性，即 OB MySQL 有部分特有的拓展语法，这部分 DDL 语法可能无法解析。说明 不支持 OB ...
注意事项
DataWorks数据服务向导模式生成API，只支持单表简单条件查询。脚本模式支持用户编写查询SQL语句，支持多表关联查询、函数以及复杂条件，您可以根据自己的需求灵活选择。Lightning采用PostgreSQL的语法，因此在编写SQL时，需要注意：要使用...
新建数据服务API-SQL模式
数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，减少资源操作成本。本文介绍如何通过SQL模式新建API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 ...
JindoFS块存储模式
数据以Block形式存储在后端存储OSS上，本地Namespace服务维护元数据信息，该模式在性能上较优，无论是数据性能还是元数据性能。应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-...
JindoFS缓存模式
概述 缓存模式兼容现有OSS存储方式，文件以对象的形式存储在OSS上，每个文件根据实际访问情况会在本地进行数据和元数据的缓存，从而提高访问数据以及元数据的性能，Cache模式提供不同元数据同步策略以满足您在不同场景下的需求。...
文档更新动态（2024年）
更新说明 通过直连数据源模式创建API 数据服务系统配置 管理中心-跨租户发布-待发布对象 数据标准相关对象支持查看详情和版本对比操作，包括标准集目录、标准集、公共标准属性、词根、码表等相关对象。新增码表目录、公共日历、离线代码...
开启托管模式的网格拓扑
数据面Kubernetes集群内部署模式 托管模式 数据面Kubernetes集群内部署模式 在数据面Kubernetes集群内部署模式下，服务网格 实例中的每个数据面集群都单独部署一个网格拓扑服务实例。数据面Kubernetes集群内部署的特点如下：每个数据面集群...
什么是数据库审计
数据库审计服务是一款专业、主动、实时监控数据库安全的审计产品，可用于审计阿里云原生数据库和自建数据库。数据库审计服务将数据库监控、审计技术与公共云环境相结合，针对数据库SQL注入、风险操作等数据库风险行为进行记录与告警，形成...
新建数据服务API-向导模式
选择云计算资源为“dataq_dws_rds”，服务资源组选择为“数据服务系统资源组”，新建模式选择“向导模式”，选择源数据表为“ys_xyk_bkxx”，在返回参数下勾选所有字段。在 请求参数 区域，单击+请求参数，选择参数名称“climit”，条件...
OSS/OSS-HDFS概述
JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式），JindoFSx存储加速系统（原JindoFS Cache模式），JindoSDK大数据万能SDK和全面兼容的生态工具（JindoFuse、JindoDistCp）、插件支持。更多信息，...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
客户案例
通过“先鉴别，后发货”的服务模式，为用户打造透明、健康、安全的文化消费环境，让普通消费者敢于购买国风好物，感受国风文化的魅力。客户诉求 随着电商业务的快速发展，期望能采用云平台提供的SaaS、PaaS服务搭建研发系统，助力提升开发...
通过日志服务迁移日志数据至MaxCompute
本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至MaxCompute。前提条件 执行本操作的账号为主账号。已开通日志服务，详情请参见 开通日志服务。背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该...
退款说明
如果您不需要使用 数据管理DMS 新版的稳定变更模式、安全协同模式和敏感数据保护付费服务，请根据本文操作进行退订。注意事项 退订包年包月或按量付费的敏感数据保护服务，不会清理实例上已有的数据分类分级信息（含配置的脱敏规则）。说明...
- 产品推荐
- 这些文档可能帮助您