php-filter
PHP敏感词过滤系统,采用php c扩展swoole开发。压测2W并发无error,实际并发根据服务器性能和响应时间做集群。
技术预研
敏感词过滤技术，采用搜索树算法，常用的算法：
1、trie 字典树算法【搜索快速，内存占用大】
2、DoubleArrayTrie 双数组树算法【基于trie的改进，速度相当，主要用双树结构来解决内存占用大的问题】
3、Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配【Aho Corasick使得trie算法提速】
本系统，采用PHP编写的简单树算法。2,3通常用于百万以上敏感词库的过滤。
2有C实现的扩展，只支持PHP5.6以下不再升级。【实测，性能和php7+字典树差不多】 3只有JAVA的扩展。
RadixTree(基数树) 效率对比，推论字典树算法性能最优：http://www.hankcs.com/nlp/performance-comparison-of-several-trie-tree.html
安装
1、安装php7.1以上,性能比5.6提高1倍。
2、安装swoole 1.9扩展,该版本稳定。
linux环境一键安装包：https://github.com/cn-suibin/SD_SETUP
使用
1、字典树生成：sudo php reload_dict.php
2、服务开启：sudo sh start.sh
3、服务关闭：sudo sh stop.sh
4、浏览器输入:http://192.168.248.243:9502/?content=中华人民共和国
备注：
字典明文文件：dict.txt
生成的字典树：blackword.tree