人人能看懂的智能拼音输入法源码及数据，不到300行C++

1. 全部文件的行数
3.      720 gb2312.utf8
4.    16463 hz-py.utf8
5. 2894733 slm.arpa # 文本文件格式的语言模型
7.       15 h.h
8.      125 ime.cpp
9.      109 pinyin.cpp
10.       44 seg.cpp
11.       17 Makefile
13.       63 mk-bin.py

复制代码

〔百度网盘下载 .7z 17M〕提取码: 243u
语料：别人的词典
语言模型工具：KenSLM
模型：GB2312汉字的2-gram; 未做prune
存储：SQLite. 严正声明：本人会写二分搜索和用Python排序。 :-) 

• SQLite生成的数据库111M，如果把索引开全，139M，速度还不快
  
• 我在KenSLM 里幻想了一通各种优化
  

NT何意？No Threshold; Nuclear/No Threat; New Technology，都与我不再有关。
-lsqlite3 -lreadline即可，这两个都是系统默认安装的。
seg *.txt 分字 （把字用空格隔开）。输出到stdout，可 >，可 | 给KenSLM，它抱怨不能mmap，使用慢速 read.
mk-bin.py 把 hz-py.utf8 和 slm.arpa 转成 slm.bin
ime用slm.bin，输入行可编辑（用了readline)。源码摘抄：

1. int main () {
2.   for (string s; (s = input()).size(); _slm.predict(s));
3.   return 0;
4. }
6. void SLM::predict (const string& s) {
7.   _m.resize(0);
8.   for (const auto& py : break_pystr(s.c_str())) _m.emplace_back(get_column(py));
9.   if (!_m.size()) return;
10.   for (const auto& v : _m) if (!v.size()) return;
11.   viterbi(), print();
12. }
14. void SLM::viterbi () 第70~第92行
16. struct SLM {
17.   vector<vector<Token>> _m; // matrix (lattice)
18.   vector<int> _path;
19.   
20.   vector<Token> get_column(const string& py);
21.   double bigram(int x, int y, int y2);
22.   void viterbi();
23.   void print();
24.   void predict(const string& s);
25. };
27. struct Token { // 抄全了
28.   Token (const uint8_t* s) { memcpy(hz, s, 4); } // *(int*)... ARM上字节对齐问题...
29.   bool operator< (const Token& that) const { return prob > that.prob; }
30.   char  hz[4]; // UTF-8
31.   double prob, bop; // 1-gram; backoff probability/penalty
32.   double max;
33.   int from;
34. };

复制代码

〔如何在Windows下开发输入法：Mini How-to〕

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

分享、互助 让互联网精神温暖你我