关于拼音数据库
LuoZijun opened this issue · comments
你好，我将 ./pinyin-data/pinyin.txt 文件进行去声调处理，并统计所有的音节（不带音调），发现了一些奇怪的音节，经过查询后，发现 ế 是越南汉字的训读方式，并非汉语的训读方式。当然不仅仅一个，以下是 根据 ./pinyin-data/pinyin.txt 统计出来的所有可能的 音节:
[
"a", "ai", "an", "ang", "ao",
"ba", "bai", "ban", "bang", "bao", "bei", "ben", "beng", "bi", "bian", "biao", "bie", "bin", "bing", "bo", "bu",
"ca", "cai", "can", "cang", "cao", "ce", "cei", "cen", "ceng", "cha", "chai", "chan", "chang", "chao", "che", "chen",
"cheng", "chi", "chong", "chou", "chu", "chua", "chuai", "chuan", "chuang",
"chui", "chun", "chuo", "ci", "cong", "cou", "cu", "cuan", "cui", "cun", "cuo",
"da", "dai", "dan", "dang", "dao", "de", "dei", "den", "deng", "di", "dia", "dian", "diao", "die", "din", "ding",
"diu", "dong", "dou", "du", "duan", "dui", "dun", "duo",
"e", "ei", "en", "eng", "er",
"fa", "fan", "fang", "fei", "fen", "feng", "fiao", "fo", "fou", "fu",
"ga", "gai", "gan", "gang", "gao", "ge", "gei", "gen", "geng", "gong", "gou", "gu", "gua", "guai", "guan", "guang", "gui", "gun", "guo",
"ha", "hai", "han", "hang", "hao", "he", "hei", "hen", "heng", "hm", "hng", "hong", "hou", "hu", "hua", "huai", "huan", "huang", "hui", "hun", "huo",
"ji", "jia", "jian", "jiang", "jiao", "jie", "jin", "jing", "jiong", "jiu", "ju", "juan", "jue", "jun",
"ka", "kai", "kan", "kang", "kao", "ke", "kei", "ken", "keng", "kong", "kou", "ku", "kua", "kuai", "kuan", "kuang", "kui", "kun", "kuo",
"la", "lai", "lan", "lang", "lao", "le", "lei", "len", "leng", "li", "lia", "lian", "liang", "liao", "lie", "lin", "ling", "liu",
"lo", "long", "lou", "lu", "luan", "lun", "luo", "lv", "lve",
"ma", "mai", "man", "mang", "mao", "me", "mei", "men", "meng", "mi", "mian", "miao", "mie", "min", "ming", "miu", "mo", "mou", "mu", "m\u{300}", "m\u{304}",
"n", "na", "nai", "nan", "nang", "nao", "ne", "nei", "nen", "neng", "ng", "ni", "nia", "nian", "niang", "niao", "nie", "nin", "ning", "niu", "nong", "nou", "nu",
"nuan", "nun", "nuo", "nv", "nve",
"o", "ou",
"pa", "pai", "pan", "pang", "pao", "pei", "pen", "peng", "pi", "pian", "piao", "pie", "pin", "ping", "po", "pou", "pu",
"qi", "qia", "qian", "qiang", "qiao", "qie", "qin", "qing", "qiong", "qiu", "qu", "quan", "que", "qun",
"ran", "rang", "rao", "re", "ren", "reng", "ri", "rong", "rou", "ru", "rua", "ruan", "rui", "run", "ruo",
"sa", "sai", "san", "sang", "sao", "se", "sen", "seng", "sha", "shai", "shan", "shang", "shao", "she", "shei", "shen", "sheng", "shi",
"shou", "shu", "shua", "shuai", "shuan", "shuang", "shui", "shun", "shuo", "si", "song", "sou", "su", "suan", "sui", "sun", "suo",
"ta", "tai", "tan", "tang", "tao", "te", "tei", "teng", "ti", "tian", "tiao", "tie", "ting", "tong", "tou", "tu", "tuan", "tui", "tun", "tuo",
"wa", "wai", "wan", "wang", "wei", "wen", "weng", "wo", "wong", "wu",
"xi", "xia", "xian", "xiang", "xiao", "xie", "xin", "xing", "xiong", "xiu", "xu", "xuan", "xue", "xun",
"ya", "yan", "yang", "yao", "ye", "yi", "yin", "ying", "yo", "yong", "you", "yu", "yuan", "yue", "yun",
"za", "zai", "zan", "zang", "zao", "ze", "zei", "zen", "zeng", "zha", "zhai", "zhan", "zhang", "zhao", "zhe", "zhei", "zhen", "zheng",
"zhi", "zhong", "zhou", "zhu", "zhua", "zhuai", "zhuan", "zhuang", "zhui", "zhun", "zhuo", "zi", "zong", "zou", "zu", "zuan", "zui",
"zun", "zuo",
"ê\u{304}", "ê\u{30c}",
"ǹ",
"ǹg",
"ḿ",
"ế",
"ề"
]
我们这个库是汉语拼音的库，想必这些其它地区文化的训读方式应该要剔除？
如果不符合该规范的，我觉得都不应该视为汉语拼音:
另外，想询问下，这些数据的来源是来自于哪里呢（我个人倾向于使用教育部的数据）？
@LuoZijun 主要数据来自 Unihan Database ，详见 https://github.com/mozillazg/pinyin-data 中的说明。
用教育部的数据当然是最理想的，据我所知教育部并没有发布网上可用的电子版数据，如果发布过话，欢迎告知。
@LuoZijun ế 这个看了一下汉语拼音方案，其实是属于汉语拼音的。
来源：http://www.moe.gov.cn/ewebeditor/uploadfile/2015/03/02/20150302165814246.pdf
pinyin-data 中目前是 欸 和 誒 这两个字用到了这个拼音，比如 欸:
-
你截图的 教育部出版的 那个读音，你应该没有看仔细，你再仔细看下，那个是
e3。
而 越南汉字 那个是 尖符号上面还有一个小点，这不是 汉语拼音。 -
你的第二幅图片来源于《康熙字典》，但是汉语拼音是简化字训读方案，简化字本来就不完整包含《康熙字典》里面的汉字的。毕竟每朝每代都会淘汰一些字。当然维基百科上面的提到几个读音附加到 汉语拼音方案了，分别是: 'ń' | 'ň' | 'ǹ' | 'ḿ' | "m̀" , 这些也是《康熙字典》里面的，加入他只是方便阅读这几个特殊的康熙汉字。其它的则不在此之列。毕竟康熙之前还有很多古怪汉字呢。
- 那个
ế上面不是点，是声调符号，是ê的第二声。e3是ě跟ê的尖尖的方向不一样。 - 嗯，这个问题主要还是教育部没有发布所有汉字拼音的电子版数据。我怀疑甚至连实体版的标准都没有。
另外提个想法: 汉语拼音所用的 字母是否应该包含进 字典里面呢？毕竟他们也有发音。还有 0-9 阿拉伯数字。
一般汉字中如果包含这些字符都不会把它们当成有拼音的吧，如果要加感觉得有个东西可以控制是否为这些字符注音，你觉得呢？
一般汉字中如果包含这些字符都不会把它们当成有拼音的吧，如果要加感觉得有个东西可以控制是否为这些字符注音，你觉得呢？
根据你后来的为 char 实现 PinYin 特性的设计，用户自己已经有了控制是否为这些字符注音的能力了 👍
@mozillazg 我觉得 Unihan Database 这个来源数据是可靠的，我之前以为是 “字典” 之类的网站上面爬取的。另外你提到 pinyin.txt 数据包括了一些手工修正的数据, 这个可以标出是根据什么来修正的吗？
我在想，是不是可以直接使用 Unihan Database 返回 拼音数据，并不需要对这份数据做其它处理（诸如分类）。
比如:
pub enum PinYinSource {
// 漢語大字典
kHanyuPinyin,
// 现代汉语词典
kXHC1983,
kHanyuPinlu,
kMandarin,
}
fn pinyin(source: &PinYinSource) -> PinYin;@LuoZijun 是否需要做处理主要看数据能否满足需求，如果目前的数据已经满足需求了可以不处理。
@mozillazg 嗯，
卓 字在 Unihan Database 中的数据记录:
U+5353 kCantonese coek3 zoek3
U+5353 kDefinition profound, brilliant, lofty
U+5353 kHangul 탁:0E
U+5353 kHanyuPinyin 10061.060:zhuō
U+5353 kJapaneseKun SUGURERU
U+5353 kJapaneseOn TAKU
U+5353 kKorean THAK
U+5353 kMandarin zhuō
U+5353 kTang djak
U+5353 kVietnamese trác
U+5353 kXHC1983 1526.060:zhuō
卓 字在 《汉语大字典》中的数据记录:
卓: zhuó（旧读 zhuō）
看来是属于补漏？其它的“修正”数据也是属于补漏性质吗？
我读了一些 pinyin-data 的一些 issue ，总结下修正应该是发生在以下场景当中:
- 多音字的数据不全（比如
卓字在《汉语大字典》里面有古音zhuō和今音zhuó两种读音） - 现代汉语发音数据不正确（比如
卓字在现代发音zhuó而不是zhuō）
@LuoZijun 是的，主要是这两种情况，还有几个是 unihan 中没有数据，《汉语大词典》之类的有数据补了一下拼音。不过整体修改的数据很少，只是在有用户反馈的时候检查了一下，没有刻意去一个一个的检查。
修改都在下面两个文件中进行：
@mozillazg 这个我的想法是，我们不动 Unihan 的数据库，但是另外提供一个函数和数据库来做可选转换。
这样想是因为 维护一个数据库，特别是像 Unihan 这种如此庞大的数据库，是需要相当的精力和专业能力的（以及财力？），这些我们似乎都没有。同时，我也非常乐观的认为这些错误，如果能够联系到 Unihan 的维护人员，并给出相关文献资料，我想应该是会在另外一个版本能得到修正（这在以后有时间可以琢磨下是否可行）？
如果仅仅维护一个修正数据库，那么相对来讲就会轻松很多。
同时，修正数据库能够严谨的给出数据条目的修正类型，应该会更友好。（比如明确标注出数据修正性质: 新增/替换/删除）
当然最后，Rust 的 Unihan 数据库的 PR 还在等待 Review 当中，可能需要等待一些时日 :)
非常感谢那位提交 PR 的协作者。
use unicode::Unihan;
use pinyin::PinYin;
fn main (){
let text = "一段文本。";
let words = text.words();
let res = words.iter()
.zip( words.iter().map(|word| word.pinyin_with_fixed()) )
.cloned()
.collect::<Vec<(String, String)>>();
// [ ("一段", "Yiduan4"), ("文本", "Wenben3"), ("。", "") ]
}