fix(markdown): identify CJK correctly (#5402)
parent
1bce579f8d
commit
4e7fca5047
|
@ -4,8 +4,23 @@ const cjkRegex = require("cjk-regex");
|
||||||
const regexpUtil = require("regexp-util");
|
const regexpUtil = require("regexp-util");
|
||||||
const unicodeRegex = require("unicode-regex");
|
const unicodeRegex = require("unicode-regex");
|
||||||
|
|
||||||
const cjkPattern = cjkRegex().toString();
|
const cjkPattern = cjkRegex()
|
||||||
const kPattern = unicodeRegex({ Script: ["Hangul"] }).toString();
|
.union(
|
||||||
|
unicodeRegex({
|
||||||
|
Script_Extensions: ["Han", "Katakana", "Hiragana", "Hangul", "Bopomofo"],
|
||||||
|
General_Category: [
|
||||||
|
"Other_Letter",
|
||||||
|
"Letter_Number",
|
||||||
|
"Other_Symbol",
|
||||||
|
"Modifier_Letter"
|
||||||
|
]
|
||||||
|
})
|
||||||
|
)
|
||||||
|
.toString();
|
||||||
|
|
||||||
|
const kPattern = unicodeRegex({ Script: ["Hangul"] })
|
||||||
|
.union(unicodeRegex({ Script_Extensions: ["Hangul"] }))
|
||||||
|
.toString();
|
||||||
|
|
||||||
// http://spec.commonmark.org/0.25/#ascii-punctuation-character
|
// http://spec.commonmark.org/0.25/#ascii-punctuation-character
|
||||||
const asciiPunctuationCharset = /* prettier-ignore */ regexpUtil.charset(
|
const asciiPunctuationCharset = /* prettier-ignore */ regexpUtil.charset(
|
||||||
|
|
|
@ -6,6 +6,8 @@ exports[`chinese-japanese.md - markdown-verify 1`] = `
|
||||||
全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白
|
全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白
|
||||||
|
|
||||||
空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白
|
空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白
|
||||||
|
|
||||||
|
何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
|
||||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
||||||
這是一段很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長
|
這是一段很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長
|
||||||
很長的段落
|
很長的段落
|
||||||
|
@ -16,6 +18,8 @@ exports[`chinese-japanese.md - markdown-verify 1`] = `
|
||||||
空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白
|
空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白
|
||||||
全形空白 空白全形空白全形空白全形空白
|
全形空白 空白全形空白全形空白全形空白
|
||||||
|
|
||||||
|
何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
|
||||||
|
|
||||||
`;
|
`;
|
||||||
|
|
||||||
exports[`korean.md - markdown-verify 1`] = `
|
exports[`korean.md - markdown-verify 1`] = `
|
||||||
|
|
|
@ -3,3 +3,5 @@
|
||||||
全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白
|
全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白全 形 空白
|
||||||
|
|
||||||
空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白
|
空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白
|
||||||
|
|
||||||
|
何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
|
||||||
|
|
Loading…
Reference in New Issue