使用apache amoro + trino+minio搭建iceberg数据湖架构

使用apache amoro + trino+minio搭建iceberg数据湖架构

以下是基于 Apache Amoro + Trino + MinIO 搭建 Iceberg 数据湖架构的核心步骤和关键配置：
架构组件角色‌

• ‌MinIO‌：提供兼容 S3 API 的云原生对象存储，作为 Iceberg 表的底层存储系统。官方文档：
  
• ‌Apache Iceberg‌：表格式层，负责数据文件管理、ACID 事务支持及元数据版本控制。
  
• ‌Apache Amoro‌：湖仓管理系统，提供表管理、自动优化（如小文件合并）及多引擎协调（Trino/Flink/Spark）。官方文档：https://amoro.apache.org/quick-start/
  
• ‌Trino‌：分布式 SQL 查询引擎，用于高性能分析查询。官方文档：https://trino.io/docs/current/connector/iceberg.html
  

‌另外，此文章不包括ETL数据写入到apache iceberg，这一章需要应用 apache flink + DolphinScheduler（调度系统），请自行研究。
部署流程

以下是使用docker-compose搭建Apache Amoro、MinIO和Trino的集成环境方案，可用于日常开发环境。
确保已安装Docker 27.0.3 和Docker Compose。
把下面的yaml保存到docker-compose.yml的文件中：

1. version: "3"
3. services:
4.   minio:
5.     image: minio/minio
6.     container_name: minio
7.     environment:
8.       - MINIO_ROOT_USER=admin
9.       - MINIO_ROOT_PASSWORD=password
10.       - MINIO_DOMAIN=minio
11.     networks:
12.       amoro_network:
13.         aliases:
14.           - warehouse.minio
15.     ports:
16.       - 9001:9001
17.       - 9000:9000
18.     command: [ "server", "/data", "--console-address", ":9001" ]
19.   amoro:
20.     image: apache/amoro
21.     container_name: amoro
22.     ports:
23.       - 8081:8081
24.       - 1630:1630
25.       - 1260:1260
26.     environment:
27.       - JVM_XMS=1024
28.     networks:
29.       amoro_network:
30.     volumes:
31.       - ./amoro:/tmp/warehouse
32.     command: ["/entrypoint.sh", "ams"]
33.     tty: true
34.     stdin_open: true
35.   trino:
36.     image: trinodb/trino:419
37.     container_name: trino
38.     environment:
39.       - AWS_ACCESS_KEY_ID=admin
40.       - AWS_SECRET_ACCESS_KEY=password
41.       - AWS_REGION=us-east-1
42.     volumes:
43.       - ./example.properties:/etc/trino/catalog/example.properties
44.     networks:
45.       amoro_network:
46.         aliases:
47.           - warehouse.trino
48.     ports:
49.       - 8080:8080
51. networks:
52.   amoro_network:
53.     driver: bridge

复制代码

接下来，在docker-compose.yml所在的目录下创建example.properties文件:

1. connector.name=iceberg
2. iceberg.catalog.type=rest
3. iceberg.rest-catalog.uri=http://<IP地址>:1630/api/iceberg/rest
4. iceberg.rest-catalog.warehouse=
5. fs.native-s3.enabled=true
6. s3.endpoint=http://<IP地址>:9000
7. s3.region=us-east-1
8. s3.aws-access-key=admin
9. s3.aws-secret-key=password

复制代码

最后一步骤：使用以下命令启动docker容器：

1. docker-compose up -d

复制代码

启动之后，trino容器可能会出现启动失败。不要着急，接下来将amoro配置完，重启容器即可。
配置

minio 创建 bucket

打开http://localhost:9000在浏览器中，输入admin/password登录minio界面。

amoro 配置

Create optimizer group

Open http://localhost:1630 in a browser, enter admin/admin to log in to the dashboard.
Click on Optimizing in the sidebar, choose Optimizer Groups and click Add Group button to create a new group befre creating catalog

Create catalog

Click on Catalogs in the sidebar, click on the + button under Catalog List to create a test catalog, and name it to demo_catalog:
o use the Iceberg Format, select Type as Internal Catalog, and choose Iceberg as Table Format.

按照上面配置的，修改example.properties文件。然后执行以下命令：

1. docker stop tirno
2. docker rm trino
3. docker-compose up trino

复制代码

Demo steps

Initialize tables

Click on amoro system Terminal in the sidebar, you can create the test tables here using SQL. Terminal supports executing Spark SQL statements for now.

1. CREATE DATABASE IF NOT EXISTS db;
2. CREATE TABLE IF NOT EXISTS db.tb_users (
3.     id INT,
4.     name string,
5.     ts TIMESTAMP
6. ) USING iceberg
7. PARTITIONED BY (days(ts));
9. INSERT OVERWRITE db.tb_users VALUES
10. (1, "eric", timestamp("2022-07-01 12:32:00")),
11. (2, "frank", timestamp("2022-07-02 09:11:00")),
12. (3, "lee", timestamp("2022-07-02 10:11:00"));
14. SELECT * FROM db.user;

复制代码

Click on the RUN button uppon the SQL editor, and wait for the SQL query to finish executing. You can then see the query results under the SQL editor.
Initialize tables

start up the docker containers with this command:

1. docker exec -it tirno trino

复制代码

1. trino> show catalogs;
2. Catalog
3. ---------
4. example
5. jmx     
6. memory  
7. system  
8. tpcds   
9. tpch   
10. (6 rows)
12. trino> show schemas in example;
13.        Schema      
14. --------------------
15. db                 
16. information_schema
17. (2 rows)
19. trino> show tables in example.db;
20. Table
21. -------
22. tb_users
23. (1 row)
26. trino> select * from example.db.tb_users;
27. id | name  |               ts               
28. ----+-------+--------------------------------
29.   1 | eric  | 2022-07-01 12:32:00.000000 UTC  
30.   2 | frank | 2022-07-02 09:11:00.000000 UTC
31.   3 | lee   | 2022-07-02 10:11:00.000000 UTC  
32. (3 rows)

复制代码

到此为止，我们的架构就搭建完成。
关键注意事项

• 首次启动需在Amoro中创建MinIO存储配置
  
• Trino查询前需在Amoro中创建表并同步元数据
  
• 生产环境建议配置持久化卷和网络隔离
  

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！