关于文本纠错之编辑距离

一 编辑距离

   目的纠错。以下为百科介绍

Levenshtein 距离，又称编辑距离，指的是两个字符串之间，由一个转换成另一个所需的最少编辑操作次数。

许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。

编辑距离的算法是首先由俄国科学家Levenshtein提出的，故又叫Levenshtein Distance。

算法也是比较经典的，leetcode-cn.com/problems/ed…

还是动态规划实现。

 理论部分到此结束

二落地

  如果MYSQL数据量少，可以使用自定义的函数。代码如下：

DELIMITER $$
CREATE FUNCTION levenshtein( s1 VARCHAR(255), s2 VARCHAR(255) )
    RETURNS INT
    DETERMINISTIC
    BEGIN
        DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
        DECLARE s1_char CHAR;
        -- max strlen=255
        DECLARE cv0, cv1 VARBINARY(256);

        SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;

        IF s1 = s2 THEN
            RETURN 0;
        ELSEIF s1_len = 0 THEN
            RETURN s2_len;
        ELSEIF s2_len = 0 THEN
            RETURN s1_len;
        ELSE
            WHILE j <= s2_len DO
                SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
            END WHILE;
            WHILE i <= s1_len DO
                SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
                WHILE j <= s2_len DO
                    SET c = c + 1;
                    IF s1_char = SUBSTRING(s2, j, 1) THEN
                        SET cost = 0; ELSE SET cost = 1;
                    END IF;
                    SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
                    IF c > c_temp THEN SET c = c_temp; END IF;
                    SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
                    IF c > c_temp THEN
                        SET c = c_temp;
                    END IF;
                    SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
                END WHILE;
                SET cv1 = cv0, i = i + 1;
            END WHILE;
        END IF;
        RETURN c;
    END$$
DELIMITER ;

使用语法：SELECT * from test where levenshtein('品他病损害',name) BETWEEN 0 AND 3 

可见这种模糊查询的效果是like实现不了的。

但是能否线上落地，需要自己评估数量。因为毕竟是自定义函数。数据量少几百条几千条OK，要是几万条得验证下，很可能就是一个SQL10秒了。

我不推荐这种方式。数据库挂了就因小失大了。

自己写OK。也可以偷懒找个三方的库。

推荐用apache的

这里的quer就是查询的，target就是字典的。假设无序的前提下暴力循环就好 

          int sdistance = LevenshteinDistance.getDefaultInstance().apply(query, target);

具体distance的范围，需要根据业务去做取舍。如果》3我觉得就偏差太多，难以起到纠错的目的。

我们以医院为例：假设目标有

首都儿科研究所

北京佑安医院

String query = "首度儿科研究所";
System.out.println(EditDistanceUtil.match(query, str));

就能找到：首都儿科研究所

三  HammingDistance

 汉明距离，提一下也不展开。在包括信息论、编码理论、密码学等领域都有应用。我理解是偏2个二进制码字之间的相似程度的。

我目前的感觉是，编辑距离是硬匹配。怎么解释下呢？就是没有业界那种考虑上下文的好。

***************************

看到这里了，如果对你有所帮助，就点个赞吧。