Data API功能简介
鉴权通过则获取数据库连接，失败则直接响应失败信息。SQL参数合法性校验，验证参数类型是否合法、是否为空等。SQL参数赋值，将传入的实参赋值给对应的形参。执行SQL并获取执行结果。获取结果集并对结果集进行处理。根据用户配置，构建接口...
应用场景
DTS提供的数据订阅功能，可以在不影响线上业务的情况下，帮助您获取实时增量数据。通过DTS提供的SDK，您可以将订阅到的增量数据同步至分析系统中进行实时分析。轻量级缓存更新策略 传输方式：数据订阅 为提高业务访问速度，提升业务读并发...
2020年
2020-02-26 全部区域 GROUPING SETS 支持通过HTTPS获取外部表数据 如果需要底层通过HTTPS获取数据，您可以将命令 set odps.sql.unstructured.data.oss.use.https=true;与SQL语句一起提交执行。2020-02-26 全部区域 创建OSS外部表 外部表...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网...事件驱动 通过数据订阅获取宽表引擎或时序引擎中的变更数据，并对变更数据进行处理。
API概览
GetDBListFromAgent 通过备份网关获取数据库列表 该接口用于通过备份网关获取物理备份的库表数据。DescribeRegions 查看DBS支持地域 该接口用于查看DBS支持地域。InitializeDbsServiceLinkedRole 授权DBS服务关联角色 该接口用于将服务关联...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
API概览
数据服务 数据服务 GetUpsertCollectionDataJob 获取异步上传向量数据任务 通过JobId获取异步上传向量数据的任务的进度和结果。UpsertCollectionDataAsync 异步上传向量数据 使用本地文件或公网可免密访问的文件链接异步上传向量数据，最大...
区块概述
更新样式 动作接口，用于在获取数据之后，通过 串行数据处理 逻辑节点处理数据后，最后调用了 垂直胶囊柱状图 组件的 更新组件配置 动作。下图是上述案例的区块在使用时对外展示的 数据源配置、交互配置 和 蓝图参数内容 的样式。数据源...
数据表
已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧导航栏，选择 资产明细>我可使用的，在 我可使用的 页面，选择 数据表＞...
数据表
已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧导航栏，选择 资产明细>我已授权的＞数据表。在 我已授权 的数据表页面...
DB2数据源
DB2 Writer通过数据同步框架获取Reader生成的协议数据，通过 insert into（当主键/唯一性索引冲突时，冲突的行会写不进去）语句，写入数据至DB2。另外出于性能考虑采用了 PreparedStatement+Batch，并且设置了 rewriteBatchedStatements=...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等...敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行不同的方式管理，阿里云公共云采用KMS管理，私有化部署采用本地密钥管理。
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等...敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行不同的方式管理，阿里云公共云采用KMS管理，私有化部署采用本地密钥管理。
API概览
DescribeDistributeTableList 获取数据库表列表。ModifyDatabaseDescription 修改数据库描述。DescribeDbList 查看实例下的数据库详情。地域 DescribeRegions 查看支持的地域和可用区。账号管理 CreateAccount 创建普通账号。...
数据分析：即时快速分析
流动：在线数据分析可以从不同业务系统的数据库获取数据进行分析。DataWorks数据分析支持导出数据为MaxCompute表，或分享结果数据至指定成员，并赋予其权限。数据可以在不同的系统和人员之间流动。安全：所有SQL查询、SQL结果下载等功能的...
API概览
ListDoctorJobsStats 批量获取任务运行汇总数据 通过EMR Doctor批量获取任务基本运行汇总信息。ListDoctorReports 批量获取集群报告 批量获取 EMR Doctor 整体分析结果报告。GetDoctorReportComponentSummary 获取指定组件报告 获取 EMR ...
设置数据时效
获取数据时效 请求路径和方法 请求路径 请求方法 描述/api/ttl GET 查询数据时效 请求内容 无需请求实体 响应说明 200 表示成功，其他返回码表示失败，错误信息参见公共 响应状态码。返回 JSON 举例：{"val":7776000 } val 的值即为 ttl 的...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
资产全景及目录概述
支持表级及字段级血缘展示，通过数据血缘关系，获取数据生产的全链路信息，为您解决找数难、理解数据难的问题。支持在个人数据中心快捷查看自己所负责的资产。名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的...
资产全景及目录概述
支持表级及字段级血缘展示，通过数据血缘关系，获取数据生产的全链路信息，为您解决找数难、理解数据难的问题。支持在个人数据中心快捷查看自己所负责的资产。名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的...
GetQueryOptimizeDataTrend-获取查询治理趋势数据
如果请求参数 InstanceIds 不为空时，即使设置了 Region 参数，也以 InstanceIds 所传入的第一个实例所在地域为准获取数据。说明 在中国内地各地域创建的实例，传入此参数时，都为 cn-china。cn-china 返回参数 名称 类型 描述 示例值 ...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
ListDataImportSQLType-获取数据导入SQL类型
获取数据导入SQL类型。接口说明 仅支持导入模式为安全模式的数据导入工单使用此 API，不支持极速模式的数据导入使用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
GetDataImportSQL-获取数据导入的SQL
获取数据导入的SQL。接口说明 仅支持导入模式为安全模式的数据导入工单使用此 API，不支持极速模式的数据导入使用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
DataWorks数据集成
对于数据导出，请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置...
配置数据源
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置数据源。前提条件 为了保障数据源和服务资源组之间的正常数据访问，需要完成网络连通与白名单的配置，否则将无法...
添加Open API数据源
在DataV中，最常见的场景是使用Open API调用其他的云产品的API，获取数据并展示出来。前提条件 已准备好待添加的Open API数据源。添加Open API数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
添加Open API数据源
在DataV中，最常见的场景是使用Open API调用其他的云产品的API，获取数据并展示出来。前提条件 已准备好待添加的Open API数据源。添加Open API数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 ...
数据模型架构规范
良好的数据模型可以帮助我们更好地存储数据，更有效率地获取数据，保证数据间的一致性。模型设计的基本原则 高内聚和低耦合 一个逻辑和物理模型由哪些记录和字段组成，应该遵循最基本的软件设计方法论中的高内聚和低耦合原则。主要从数据...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务连接、SDK、工具和数据导入导出、上云等常见操作。背景信息 MaxCompute提供了多种数据上传下载的通道支持，方便您在各种场景下进行技术方案选型时参考。批量数据...
我是安全管理员
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据...
同步时源库为SQL Server的注意事项及限制
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
快速开始
卡片编辑-数据设置 操作 说明 查看数据列/明细数据 通过切换页签，查看当前卡片相关的数据列和数据明细。设置参数字段 直接拖拽至对应 X轴、Y轴 和 颜色 等字段中，并根据所需变更聚合方式、粒度方式和分组。字段筛选 通过对不同字段进行...
我是DBA
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL...
- 产品推荐
- 这些文档可能帮助您