首页 > TAG信息列表 > ODPS

asp.net上传大文件的解决方案

​  1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们

crontab执行脚本失败,手动执行成功问题

  因为 crontab 的 环境的问题,在 crontab 自动执行时,它不会加载 PATH 全部路径,我们必须在脚本里面声明出来。所以把odpscmd的环境变量加到shell脚本中就可以了。 ODPS_HOME=/mnt/odpscmd_public export PATH=$PATH:$ODPS_HOME/bin   或者在/etc/profile文件中配置环境变量

ajax支持超大文件HTTP断点续传

​  1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们

Java实现浏览器端大文件分片上传

​  1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们

java文件断点上传

1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就

java web 能够实现整个文件夹的上传下载吗?

​  1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们

php上传整个文件夹

​  1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们

spark写文件到odps报错异常

spark读写odps异常 报错信息:问题现象:排查原因:解决: 报错信息: ERROR ApplicationMaster: User class threw exception: java.io.IOException: GetFileMeta PANGU_CAPABILITY_NO_PERMISSION PANGU_CAPABILITY_NO_PERMISSION PanguPermissionException When GetFileMeta

大文件上传控件

​  1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们

大文件上传控件

1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就

asp.net上传文件夹

​  1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们

使用 Java SDK 获取 MaxCompute 的表结构并写入到 Excel 中

package com.xjr7670; import com.aliyun.odps.*; import com.aliyun.odps.account.Account; import com.aliyun.odps.account.AliyunAccount; import com.aliyun.odps.type.TypeInfo; import org.apache.poi.hssf.usermodel.HSSFRow; import org.apache.poi.hssf.usermodel.

前端实现浏览器端大文件分块上传

前端实现浏览器端大文件分块上传 1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这

PHP 大文件上传代码(500M以上)

PHP 大文件上传代码(500M以上) 1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份

阿里云maxcompute系列--用pyodps+odps sql实现钉钉机器人预警推送

场景 我们在使用maxcompute进行数据处理,我们会需要对上下游的数据质量作一些规则校验,用以来识别是否有脏数据影响了我们的数据质量。 而校验后,若是发现了脏数据,就需要第一时间通知到数据负责人,以便于数据质量负责人/数据运维角色的人员可以及时得知问题,让他们有充分的数据对数据进

Phoenix实战 | Phoenix ODPSBulkLoadTool使用案例

1.创建ODPS表create table hbaseport.odps_test (key string,value1 string,value2 bigint);2.配置MR集群访问云HBASE环境开通云 HBase HDFS 端口配置hdfs-site.xml使之能访问云HBASE HA的hdfs, 具体参考这里配置hbase-site.xml文件可访问云HBASE在MR集群上创建临时conf目录,

完美解决前端无法上传大文件方法

1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就

ODPS的TRANS_ARRAY应用

–qlr拆分 drop table if exists tmp_fcxx_qlr; create table tmp_fcxx_qlr as select zl ,qlr_old ,qlr_new from ( select trans_array(2, ‘;’, zl, qlr, qlr) as (zl, qlr_old, qlr_new) from dc01_rkk_ml_zcxx_bdcqrxx where dt = ‘

免申请获得DataWorks生产环境表权限

背景 项目开发过程中,测试和开发需要查询生产环境表,来进行测试或者定位线上问题。按照流程,需要在【安全中心】申请表权限,然后项目管理员审批。该流程繁琐,影响测试和问题定位效率。所以,这篇文章教大家如何配置权限,一劳永逸地解决申请权限的问题。 配置步骤 1. 准备一个权限适当

html+php超大视频上传控件

1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就需

上传大型视频文件到服务器的控件

1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就需

ODPS与Kettle融合之道

场景介绍 传统的数据治理厂商(没有采用云计算技术),往往使用 Oracle 作为数仓的存储,使用 Kettle 作为ETL和流程调度工具。依托于 Oracle 的稳定、高效,以及 Kettle 的灵活,传统架构可以胜任各种复杂的场景。他们数据治理的架构简单来说是这样的: 随着云计算技术的不断发展和推广,传

MaxCompute

WordCount示例 1.下载MaxCompute客户端工具 1.下载客户端 http://repo.aliyun.com/download/odpscmd/0.29.2/odpscmd_public.zip 2.配置和使用 1).解压缩后,odpscmd 会在用户目录下新建一个名字叫odpscmd 的目录,其中保存了 odpscmd 的配置文件 ~/.odpscmd/odps_config.ini,打开它

91家纺网本地版,没有odps代码模块,只有redis和mysql,数据库配置需要参考无odps版本的数据库配置

import re from threading import Thread import threading from urllib import parse from datetime import datetime   import random  import requests import time   from scrapy import Selector from models import *   store_list_urls = [] pro

odps UDAF解析

UDAF class odps.udf.BaseUDAF 继承此类实现Python UDAF。 BaseUDAF.new_buffer() 实现此方法返回聚合函数的中间值的buffer。buffer必须是mutable object(比如list, dict),并且buffer的大小不应该随数据量递增,在极限情况下,buffer marshal过后的大小不应该超过2Mb。 BaseUDAF.itera