这里先介绍下kafka的基本知识及应用场景:它是一个分布式、高吞吐量、容错性好的消息队列,基于生产者、消费者模型来实现消息的生产消费,在我们的应用系统中,可以起到数据流缓存、解耦合、高效的作用。
下面是kafka命令行的基本操作。
操作mysql工具类
下面介绍的是操作mysql的工具类,集成增删改查等功能方法,使用dbcp数据库连接池,让你的程序更高效。具体请看详情。
身份证号校验工具类IdentityUtil
一个人的身份证号,每个字符都有他独特的含义,前2位代表省、自治区、直辖市代码,3-4位代表地级市、盟、自治州代码,5-6位代表县、县级市、区代码,7-14位代表出生年月日,15-17位代表当天出生的顺序号,奇数代表男,偶数代表女,18位为校验码,由0-9、X组成,这个校验码的由来,是由前17位数字计算得来,具体计算方式,可以参考下述代码。
java操作hbase工具类
HBase是一个基于HDFS的数据库,拥有高可用、大量数据存储、列式存储等特点,在非结构化数据与半结构化数据存储方面,有很大的优势。我们一般测试时使用hbase shell命令行的方式来操作hbase数据库比较方便,但是在数据逻辑处理比较复杂时,那肯定是用它提供的API来操作更方便啦,下面就来给出一个java版操作hbase的工具类,提供给大家,我自己也一直使用这个类。
Spark累加器的使用方法
运行spark程序,使用到了累加器Accumulator,目前使用的是spark2.3.0,累加器Accumulator的定义方法变了,具体查看详细内容。
Git服务器端配置详解
我们在公司中,一个项目在开发过程中必定要涉及到同事之间的协同作战,此时代码管理就必不可少了,程序员用的最多的就是git了吧,但是公司的代码是禁止上传到github上的,所以需要自己搭建一个内部的git server服务器供公司内部使用,下面来具体就介绍。
ambari管理监控hadoop生态系统的环境安装及问题解答
首先来介绍下ambari,它是一个apache的一个顶级项目,hadoop生态组件的监控、管理工具,相比较于cloudera公司的CDH,它的特点是完全开源,一键部署安装、管理、监控大数据各组件,省时省力,下面就来介绍ambari环境是如何安装的。
