Netflix 的大数据发现服务框架 Metacat 的教程

JAVA herman 1866浏览 0评论
公告:“业余草”微信公众号提供免费CSDN下载服务(只下Java资源),关注业余草微信公众号,添加作者微信:xttblog,发送下载链接帮助你免费下载!
本博客日IP超过1800,PV 2600 左右,急需赞助商。
极客时间所有课程通过我的二维码购买后返现24元微信红包,请加博主新的微信号:xttblog,之前的微信号好友位已满,备注:返现
所有面试题(java、前端、数据库、springboot等)一网打尽,请关注文末小程序
视频教程免费领

Metacat 是 Netflix 的最新开源的一款产品。被称为大数据发现服务框架。关于它的相关介绍,我在上一篇文章中已经相信的做了描述,有兴趣的可以点击《Netflix 的 metacat 简介》进行阅读。本文主要介绍它的简单用法和入门教程。

在使用 Metacat 之前,我们首先需要,下载它的相关源码和 jar 文件。执行下面的 git 命令即可。

git clone git@github.com:Netflix/metacat.git
cd metacat
./gradlew clean build

下载源码后,执行 ./gradlew clean build 进行构建。

构建完成后,将在metacat-war/build/libs目录下生成metacat WAR文件。Metacat需要两个基本配置:

  • metacat.plugin.config.location:包含目录配置的目录的路径。请查看用于功能测试的样本
  • metacat.usermetadata.config.location:包含用于存储用户元数据的连接属性的配置文件的路径。请看这个例子

本地运行

将构建的 WAR 放入 metacat-war/build/libs 并将其部署到现有的 Tomcat 中 ROOT.war

REST API可以访问, http://localhost:8080/mds/v1/catalog

Swagger API文档可以访问, http://localhost:8080/swagger-ui.html

Docker撰写示例

先决条件:已安装Docker撰写

要使用一些样本目录启动自包含的Metacat环境,请运行以下命令。这将启动一个docker-compose包含Metacat容器,Hive Metastore容器,Cassandra容器和PostgreSQL容器集群。

./gradlew metacatPorts
  • metacatPorts – 打印出哪些暴露的端口映射到内部容器端口。查找映射的端口(MAPPED_PORT)到端口8080。

REST API可以被访问, http://localhost:<MAPPED_PORT>/mds/v1/catalog

Swagger API文档可以访问, http://localhost:<MAPPED_PORT>/swagger-ui.html

停止docker撰写群集:

./gradlew stopMetacatCluster

更多关于 Metacat 和 druid、hive、jdbc、mysql、pig、postgresql、redshift、s3、snowflake等的用法,请参考官方 github

业余草公众号

最后,欢迎关注我的个人微信公众号:业余草(yyucao)!可加QQ1群:135430763(2000人群已满),QQ2群:454796847(已满),QQ3群:187424846(已满)。QQ群进群密码:xttblog,想加微信群的朋友,之前的微信号好友已满,请加博主新的微信号:xttblog,备注:“xttblog”,添加博主微信拉你进群。备注错误不会同意好友申请。再次感谢您的关注!后续有精彩内容会第一时间发给您!原创文章投稿请发送至532009913@qq.com邮箱。商务合作可添加助理微信进行沟通!

本文原文出处:业余草: » Netflix 的大数据发现服务框架 Metacat 的教程