Initial K3 snapshot: 0.5B KDA/MLA/MoE train path

Standalone tree split from LLMRL/projects/kda. Includes Triton dt_bias
backward fix, train_k3 --preset 0.5b, SFT, Docker runtime, and tests.
This commit is contained in:
dela
2026-08-25 14:43:17 +08:00
commit 584f7e9e73
140 changed files with 21592 additions and 0 deletions
+20
View File
@@ -0,0 +1,20 @@
今天天气很好。
人工智能的发展改变了世界。
请把窗户打开。
猫坐在垫子上。
这本书值得一读。
会议将在下午三点开始。
他昨天去了北京。
我们需要更多的训练数据。
太阳从东边升起。
这个问题还没有答案。
她正在学习线性代数。
不要把评测集拿去训练。
河对面有一座旧桥。
请稍等,我马上回来。
科学是对自然的系统探索。
他们在公园里散步。
这台电脑的内存是十六吉字节。
翻译时不要照抄原文。
春天的风很温和。
我把钥匙放在桌子上了。