llamacpp归一化与AGM阿格姆项目
ziwang-com opened this issue · comments
大势所趋,殊途同归。
我们AGM战略方向没问题,路越走越宽
https://github.com/ggerganov/ggml/issues/220
前不久,谷歌,openAI新闻说:我们没有护城河,开源llm是趋势。
而这其中,全球最活跃的GPT-LLM大模型社区,无疑是:llamaccp社区。
https://github.com/ggerganov/llama.cpp/
全球顶级GPT-hacker,基本上都聚集在Github项目网站的llamaccp社区。
最流行的LLM模型文件格式:ggml=gg+ml。
其中:gg,就是社区发起人ggerganov格格尔加诺夫的姓名缩写,ml是机器学习简称。
近日,llamaccp社区发布了近期的项目路线图,其中多个核心项目,与我们的AGM项目,非常类似。
参见:
这一方面是:大势所趋,殊途同归。
另外,也说明我们AGM项目,战略方向没问题,路越走越宽
就像毛老爷子说的:把朋友搞的多多的,把敌人搞的少少的。
llamaccp社区,发起人ggerganov格格尔加诺夫,在最新的llama.cpp-roadmap项目路线图,公布了一系列规划,其中与AGM项目相关的有以下几组:
#启动mini迷你模型研究,开始从微观角度剖析GPT大模型。
@xaedes的惊人工作继续给人留下深刻印象:从头开始训练文本 #1652
最终,凭借训练迷你模型的能力,我有兴趣制作以下想法的小原型,以便更快地推理:将大型LLM与小型LLM相结合,以加快推理速度 #630(评论)
与zw-AGM阿格姆,基于微观 token粒子权重关系图谱类似,不过没有这么细化。工程还是需要逐步深入,AGM是理论先行,两者并不矛盾。
mini迷你模型,一直是AGM项目的重点,AGM社区,也汇聚了多组相关项目:nanoGPT,miniGPT,tinyTensor,languagemodels,以及相关的衍生项目:miniChain迷你链,miniAGI等等。
参见AGM社区相关栏目:
https://github.com/ziwang-com/AGM/issues
langChain杀手2:MiniChain迷你链-全球首发
#MUL_MAT微调算法
一些非常好的观点和分析微调MUL_MAT、新线程(旋转+等待/通知)、通过拆分计算阶段加速q_f32 BLAS #1632
这个与我们的zero-lora零调参类似,通过直接基于权重的数学运算,代替AI模型的暴力运算,大幅度提高效率。
参见:
GPT商机急所:zero-lora零训练算法
#推进社区对统一 ggml 模型格式的努力
这项工作最近启动,旨在为模型提供面向未来的文件格式:ggml
新的文件格式提案:GGJTv4/GGUF ggml#220
归一化,是AGM项目的核心,是目前GPT和AI领域最前沿的课题。
AI模型的一致性,归一化,或者说随机性,本质上都是一回事。
这个问题的难点在于:
AI项目工程,需要输出结果保持统一的风格,类似字库,每种字体必须风格统一,不然无法成为一体。
但是,所有的AI模型,每次训练时,都必须输入一个seed随机种子数,不然,模型就会出现overfitting过度拟合。
这两者,在学理上是相互矛盾的,类似这些的悖论。所以必须通过非常复杂的流程,进行调整,逼近。
sd制图的ctrl-NET的控制网,和lanchain兰链,为什么架构那么繁琐,丑陋,也是因为无法从学理上解决,只能采用外挂模式,强行模拟。
如果你在寻找一个伟大的项目,AGM就是。
AGM阿格姆:AI权重粒子模型,无论是工程项目,还有相关的理论体系,有大量的工作,需要大家补充完善。
想刷高分paper,以及在GPT时代,寻找市场机会的llm创业团队,尽管放马过来。