zejunwang1

CSTS

中文自然语言推理与语义相似度数据集

LLMTuner

大语言模型指令调优工具（支持 FlashAttention）

bert4vec

一个基于预训练的句向量生成工具

bert_text_classification

基于 BERT 模型的中文文本分类工具

chatglm_tuning

基于 LoRA 和 P-Tuning v2 的 ChatGLM-6B 高效参数微调

bertorch

基于 pytorch 的 bert 实现和下游任务微调

easytokenizer

高性能文本 Tokenizer 库

bloom_tuning

BLOOM 模型的指令微调

gpt2classifier

基于中文 GPT2 预训练模型的文本分类微调

darmatch

一个非常高效的字符串匹配工具，支持正向/反向最大匹配分词和多模式字符串精确匹配

fastMatch

Large-scale exact string matching tool

lightltp

基于 onnxruntime 推理引擎的中文 ltp 词法分析

gpt2ppl-zh

基于中文 GPT2 预训练模型的语句困惑度计算

simbert_distill

Two-stage SimBERT distillation

fastlcs

An effective tool for solving LCS problems

CTCDataset

中文纠错数据集汇总

ElectraForSpellingCheck

基于 Electra 预训练模型的中文拼写检查

stringutils

A bridge between Unicode encoded strings and std::string.

asio

Asio C++ Library

Firefly

Firefly(流萤): 中文对话式大语言模型

learn-unicode

Learn Unicode the easy way

old_repo

sentsplit

中文分句

system_info

Get hardware information, header-only

zejunwang1

Config files for my GitHub profile.

BELLE

BELLE: Be Everyone's Large Language model Engine（开源中文对话大模型）

learn-regex

Learn regex the easy way

linux-command

Linux 常用命令总结

tiny-utf8

Unicode (UTF-8) capable std::string

TurboTransformers

a fast and user-friendly runtime for transformer inference (Bert, Albert, GPT2, Decoders, etc) on CPU and GPU.