其他分享
首页 > 其他分享> > postgres s3 fdw 试用

postgres s3 fdw 试用

作者:互联网

s3 是一个很不错的文件存储系统,以下是一个简单的试用s3 fdw (使用https://github.com/smomni/s3_fdw_py)此版本兼容pg11
同时使用了python3 开发,使用multicorn (很强大)

环境准备

 
version: "3"
services:
  postgres:
    image: dalongrong/pg-s3-fdw:latest
    environment:
      - POSTGRES_PASSWORD=dalong
    ports:
      - 5432:5432
  minio:
    image: minio/minio
    environment:
      - MINIO_ACCESS_KEY=dalongrong
      - MINIO_SECRET_KEY=dalongrong
    ports:
      - 9000:9000
    command: server /data
docker-compose up -d
启动之后打开 <a href="http://localhost:9000">http://localhost:9000</a> 账户信息  dalongrong dalongrong  
创建桶,同时上传文档apps.csv 以及users.csv 到minio 

使用s3 fdw

CREATE EXTENSION multicorn;
CREATE SERVER multicorn_es FOREIGN DATA WRAPPER multicorn
OPTIONS (
  wrapper 's3_fdw.S3ForeignDataWrapper'
);
// users
CREATE FOREIGN TABLE users
    (
        name text,
        age int,
        tel TEXT,
        app TEXT
    )
SERVER multicorn_es
OPTIONS
    (
        bucket_name 'apps',
        object_name 'users.csv',
        access_key 'dalongrong',
        secret_key 'dalongrong',
        endpoint_url 'http://minio:9000'
    );
// apps
CREATE FOREIGN TABLE apps
    (
        name text,
        version text
    )
SERVER multicorn_es
OPTIONS
    (
        bucket_name 'apps',
        object_name 'apps.csv',
        access_key 'dalongrong',
        secret_key 'dalongrong',
        endpoint_url 'http://minio:9000'
    );
select * from users a join apps b on a.app=b.name;

 

 

说明

通过s3 fdw 集成s3数据到pg还是一个很不错的,可以灵活的进行数据分析,同时集成pgspider 可以实现类似greenplum 的功能

参考资料

https://github.com/rongfengliang/pg-s3-fdw-learning
https://github.com/smomni/s3_fdw_py

标签:postgres,s3,dalongrong,apps,fdw,multicorn,name
来源: https://www.cnblogs.com/rongfengliang/p/12363382.html