llamacpp归一化与AGM阿格姆项目

Question

ziwang-com opened this issue a year ago · comments

大势所趋，殊途同归。
我们AGM战略方向没问题，路越走越宽

前不久，谷歌，openAI新闻说：我们没有护城河，开源llm是趋势。

而这其中，全球最活跃的GPT-LLM大模型社区，无疑是：llamaccp社区。

全球顶级GPT-hacker，基本上都聚集在Github项目网站的llamaccp社区。

最流行的LLM模型文件格式：ggml=gg+ml。

其中：gg，就是社区发起人ggerganov格格尔加诺夫的姓名缩写，ml是机器学习简称。

近日，llamaccp社区发布了近期的项目路线图，其中多个核心项目，与我们的AGM项目，非常类似。

参见：

这一方面是：大势所趋，殊途同归。

另外，也说明我们AGM项目，战略方向没问题，路越走越宽
就像毛老爷子说的：把朋友搞的多多的，把敌人搞的少少的。
llamaccp社区，发起人ggerganov格格尔加诺夫，在最新的llama.cpp-roadmap项目路线图，公布了一系列规划，其中与AGM项目相关的有以下几组：

#启动mini迷你模型研究，开始从微观角度剖析GPT大模型。

@xaedes的惊人工作继续给人留下深刻印象：从头开始训练文本 #1652

最终，凭借训练迷你模型的能力，我有兴趣制作以下想法的小原型，以便更快地推理：将大型LLM与小型LLM相结合，以加快推理速度 #630（评论）

与zw-AGM阿格姆，基于微观 token粒子权重关系图谱类似，不过没有这么细化。工程还是需要逐步深入，AGM是理论先行，两者并不矛盾。

mini迷你模型，一直是AGM项目的重点，AGM社区，也汇聚了多组相关项目：nanoGPT，miniGPT，tinyTensor，languagemodels，以及相关的衍生项目：miniChain迷你链，miniAGI等等。

参见AGM社区相关栏目：

#MUL_MAT微调算法

一些非常好的观点和分析微调MUL_MAT、新线程（旋转+等待/通知）、通过拆分计算阶段加速q_f32 BLAS #1632

这个与我们的zero-lora零调参类似，通过直接基于权重的数学运算，代替AI模型的暴力运算，大幅度提高效率。
参见：
GPT商机急所：zero-lora零训练算法

#推进社区对统一 ggml 模型格式的努力

这项工作最近启动，旨在为模型提供面向未来的文件格式：ggml

新的文件格式提案：GGJTv4/GGUF ggml#220

归一化，是AGM项目的核心，是目前GPT和AI领域最前沿的课题。
AI模型的一致性，归一化，或者说随机性，本质上都是一回事。

这个问题的难点在于：
AI项目工程，需要输出结果保持统一的风格，类似字库，每种字体必须风格统一，不然无法成为一体。
但是，所有的AI模型，每次训练时，都必须输入一个seed随机种子数，不然，模型就会出现overfitting过度拟合。

这两者，在学理上是相互矛盾的，类似这些的悖论。所以必须通过非常复杂的流程，进行调整，逼近。

sd制图的ctrl-NET的控制网，和lanchain兰链，为什么架构那么繁琐，丑陋，也是因为无法从学理上解决，只能采用外挂模式，强行模拟。

如果你在寻找一个伟大的项目，AGM就是。

AGM阿格姆：AI权重粒子模型，无论是工程项目，还有相关的理论体系，有大量的工作，需要大家补充完善。

想刷高分paper，以及在GPT时代，寻找市场机会的llm创业团队，尽管放马过来。