zhanghaiting

搜狗实验室新闻数据可以用于文本分类、新词发现、命名实体识别、自动摘要等。在解码和分词时遇到了几个问题，这里总结一下。 虽然解析为GB2312，但是用GB2312和GBK解码...

熵的单位为二进制位（比特），又称为自信息，可以视为描述一个随机变量的不确定性的数量。它表示信息源每发一个符号所提供的平均信息量。熵越大，不确定性就越大，正确估计其值的可能性...