liyanyang0316's repositories
mykit-db-sync
mykit中分离出的强大的数据库同步工具——mykit-db-sync。 基于java开发的功能强大、配置灵活的数据库之间同步工具，和数据产生器一样，均是前段时间因为项目需要编写的小工具，在实际应用场景中，我们经常需要定期将一个数据库的数据同步到另外一个数据库中，常见的一种做法是将源数据库的数据dump为sql文件，然后到目标数据库执行sql文件完成数据库的导入，但是这种方法至少存在以下问题： - 需要手工操作，效率低 - 当涉及数据表较多时，容易遗漏、出错 - 如果要定期同步，操作人容易忘记 - 难以应付频繁变更数据表或者字段 针对以上存在的问题，将珍贵人力从这种重复、无意义的工作中解脱出来，特意开发这个小工具，其中主要配置主要在jobs.xml中完成
go-d-bus
MySQL传输数据工具
Teddy
Spark Streaming监控平台，支持任务部署与告警、自启动
CoolplaySpark
酷玩 Spark: Spark 源代码解析、Spark 类库等
utils4s
scala、spark使用过程中，各种测试用例以及相关资料整理
FreeBook
基于MVP模式开发的带缓存网络爬虫,采用最流行框架搭建,干货多多
housedb
房源数据爬虫。支持断点续爬，价格变更通知，提供数据的分析统计服务。
SeimiCrawler
一个敏捷的，分布式的爬虫框架;An agile, distributed crawler framework.
gecco
Easy to use lightweight web crawler（易用的轻量化网络爬虫）
WebCollector
WebCollector is an open source web crawler framework based on Java.It provides some simple interfaces for crawling the Web,you can setup a multi-threaded web crawler in less than 5 minutes.
dubbox
Dubbox now means Dubbo eXtensions, and it adds features like RESTful remoting, Kyro/FST serialization, etc to the Dubbo service framework.
JSONUtil
JSON generation and parsing utility library for Java.
UniPinyin
Java 汉语拼音查询工具。支持CJK基本字符集及扩充区A的中文汉字，共26679个，其中多音字6769个。
CommonExcel
Excel处理工具集
SoleBooks
类似豆瓣读书，提供一个书籍查看、搜索、交流的平台
social-sdk
微信、微博、QQ登录、腾讯微博...
ExcelUtil
用于导入导出Excel的Util包，基于Java的POI。可将List<Bean>导出成Excel，或读取Excel成List<Bean>,读取时有验证和Log。
p2p
玖信贷微信项目
hermes
开源p2p软件
sp2p
晓风p2p
p2p-2
p2p
Export
数据的导出（支持DB2、MySQL、Oracle、Teradata数据库的数据导出）、合并（支持将多个小数据文件合并成一个大的数据文件）、传输（支持FTP、SFTP数据传输）程序，适用于向指定FTP服务器供数的情况，常见于多个源系统以数据文件的形式向数据仓库集中供数。该程序目前已在某农村信用社数据仓库项目中投入使用。
weibo-spider
新浪微博爬虫，采用Java语言开发，基于HTTPClient 4.0，采用MySQL存储爬取数据，支持多进程并发执行。功能包括：爬取微博、评论、转发、关注列表（层次）。根据数据需求，持续更新...
spider
a simple distributed spider in Java. Java编写的一个简单分布式爬虫