旧版异构 XML 课程清洗与百万级 ECDICT 词库自动化分级编译管线：键盘小鹿课程架构解密

一、 历史打字题库的三大结构性顽疾

国内早期打字软件的课程资源普遍积累于 Windows 98 到 XP 时代，其内容资产在今天的前端工程中表现出严重的不可维护性：

• P1 & P2 & P3 -> KeyDeerCompilationPipeline
• KeyDeerCompilationPipeline -> CleanCourses["输出紧凑分级课程包 (keyboard / pinyin / english / chinese)"]
• 1. 乱码、幽灵控制字符与 XML 嵌套爆炸： 旧版课程大多采用定制的 XML 格式存储。在数十年的拷贝流转中，同一个题库目录下经常混杂着 GBK、Big5、Windows-1252 等异构编码。更致命的是，文本中潜藏着 \x00 到 \x1F 的非打印 ASCII 控制字符，在现代浏览器使用 DOMParser 解析时会直接抛出 XML Parsing Error: not well-formed 严重崩溃。
• 2. 词汇选录“重手速、轻教学”的教研脱节： 旧软件为了追求打字测速，题库中塞满了大量杂乱无章的冷僻词。10 岁左右的小学生在刚接触键盘时，屏幕上却跳出“antidisestablishmentarianism”这类毫无实际使用价值的生僻单词，既不能帮助课内学习，又让孩子对打字产生恐惧感。
• 3. 百万级开源词库（ECDICT）的“大而无当”： 虽然社区开源了优秀的百万级词典数据库（如包含了 77 万词条的 ECDICT），但其全量 CSV/SQLite 数据库体积极其庞大，且包含了大量专业缩写、化学式、俚语和未过滤的敏感内容，绝不能直接粗暴塞入面向少儿的打字应用中。

二、 键盘小鹿课程编译管线架构设计

键盘小鹿在工程内建立了独立的分级编译管线，将题库治理彻底移出运行期，全部在构建期完成：

• RawXML["旧版异构 XML 课程文件"] -> EncodingDetect["智能编码探测 & 脏字符擦除"]
• RawECDICT["ECDICT 百万级词典 (CSV/JSON)"] -> GradeFilter["牛津3000 / 柯林斯星级 / 新课标权重过滤"]
• EncodingDetect & GradeFilter -> PipeEngine["自动化分级编译管道 (Compiler Pipeline)"]
• PipeEngine -> Stage1["阶段 1: 键盘基准键与字母指法 (keyboard)"]
• PipeEngine -> Stage2["阶段 2: 小学拼音声韵母进阶 (pinyin-primary)"]
• PipeEngine -> Stage3["阶段 3: 小学英语同步词库 (english-primary)"]
• PipeEngine -> Stage4["阶段 4: 小学常用汉字与高频词 (chinese-primary)"]
• PipeEngine -> Stage5["阶段 5: 初中核心词汇突破 (english-middle)"]
• PipeEngine -> Stage6["阶段 6: 经典古诗文实战任务 (task-typing)"]
• Stage1 & Stage2 & Stage3 & Stage4 & Stage5 & Stage6 -> OutputJSON["输出生产级标准化分级 JSON 包"]

三、 核心工程实现细节

// scripts/generate-english-grade-courses.mjs 核心编译管线
import fs from 'node:fs'
import readline from 'node:readline'

const TARGET_OUTPUT_DIR = 'public/static/course/student/english-primary'

// 分级打分规则与过滤阈值
function evaluateWordGrade(wordEntry) {
  const { word, collins, oxford, tag, translation } = wordEntry

  // 1. 过滤非法或不适合少儿的词条 (如含特殊符号、超长、敏感词)
  if (!/^[a-zA-Z]{2,14}$/.test(word)) return null
  if (!translation || translation.includes('粗俗') || translation.includes('俚语')) return null

  const collinsLevel = parseInt(collins, 10) || 0
  const isOxford = oxford === '1'
  const isZk = tag && tag.includes('zk') // 中考词汇
  const isGk = tag && tag.includes('gk') // 高考词汇

  // 2. 按年级阶梯精准定级
  if (collinsLevel >= 4 && isOxford) {
    return 'grade-3' // 小学三年级核心启蒙词汇 (如 apple, book, cat)
  } else if (collinsLevel >= 3 || isZk) {
    return 'grade-4-5' // 小学中高年级进阶词汇
  } else if (collinsLevel >= 2 || isGk) {
    return 'middle-school' // 初中拓展词汇
  }
  return null
}

export async function compileECDICTPipeline(rawCsvPath) {
  console.log('[Compiler] 启动 ECDICT 词典自动化分级过滤管线...')
  const fileStream = fs.createReadStream(rawCsvPath)
  const rl = readline.createInterface({ input: fileStream, crlfDelay: Infinity })

  const gradeBuckets = {
    'grade-3': [],
    'grade-4-5': [],
    'middle-school': []
  }

  for await (const line of rl) {
    const fields = line.split(',')
    if (fields.length < 5) continue

    const wordData = {
      word: fields[0],
      phonetic: fields[1] || '',
      translation: fields[3] || '',
      collins: fields[5] || '0',
      oxford: fields[6] || '0',
      tag: fields[7] || ''
    }

    const assignedGrade = evaluateWordGrade(wordData)
    if (assignedGrade && gradeBuckets[assignedGrade].length < 800) {
      gradeBuckets[assignedGrade].push({
        w: wordData.word,
        p: wordData.phonetic,
        t: wordData.translation.split('\\n')[0].replace(/"/g, '') // 仅保留最简明第一释义
      })
    }
  }

  // 3. 将各个分级序列化输出为紧凑的课程 JSON 包
  for (const [grade, words] of Object.entries(gradeBuckets)) {
    const outPath = `${TARGET_OUTPUT_DIR}/${grade}.json`
    fs.writeFileSync(outPath, JSON.stringify({ version: '2.0', total: words.length, items: words }), 'utf8')
    console.log(`[Compiler] 成功编译生成 ${grade}.json，精选词汇 ${words.length} 条`)
  }
}

• 1. 百万级词库过滤与自动化分级编译脚本（generate-english-grade-courses.mjs）： 编译脚本基于 Node.js 流式读取原始 ECDICT 数据，根据 柯林斯星级（Collins 1~5 星）、牛津核心词（Oxford 3000）与中国教育部中小学义务教育英语课程标准 建立三维打分模型：
• 2. 异构 XML 流式清洗与容错加载器（courseLoader.ts）： 在客户端与 Web 端，加载旧版历史课程包时，不再直接丢给原生解析器，而是经过一道强大的“排毒与归一化过滤器”：

四、 工业级排查复盘：词库清洗中的“脏翻译与不合规例句”

在第一轮词库编译上线后，教研团队通过巡查发现了一个隐蔽问题：

• 1. 问题发现： 部分英文单词如 beat、shoot，在原始开源词典的第一释义中直接包含了不适合小学生的暴力或偏门释义，严重影响了儿童打字软件的教育严肃性。
• 2. 根因与两级净化架构： 开源字典面向成年人与专业翻译场景，优先收录了所有语境的极端释义。少儿打字软件决不能机械照搬原文字典。 重构方案：我们引入了“教育语境优先净化表（Education-First Lexicon Whitelist）”： - 建立中小学高频 3500 词标准释义基准表； - 在自动化编译管线中，优先使用经教研老师审定的权威课标释义（如 beat 在小学阶段优先显示为“打败、敲打（乐器）”，严格屏蔽敏感衍生含义）； - 只有在白名单外的拓展词，才通过过滤词网筛入次级释义，确保全站词汇 100% 适合中小学课堂与家庭陪伴场景。

五、 编译管线治理前后收益指标