fix(markdown): identify CJK correctly (#5402)

src/language-markdown/constants.evaluate.js

@@ -4,8 +4,23 @@ const cjkRegex = require("cjk-regex");
 const regexpUtil = require("regexp-util");
 const unicodeRegex = require("unicode-regex");
 
-const cjkPattern = cjkRegex().toString();
-const kPattern = unicodeRegex({ Script: ["Hangul"] }).toString();
+const cjkPattern = cjkRegex()
+  .union(
+    unicodeRegex({
+      Script_Extensions: ["Han", "Katakana", "Hiragana", "Hangul", "Bopomofo"],
+      General_Category: [
+        "Other_Letter",
+        "Letter_Number",
+        "Other_Symbol",
+        "Modifier_Letter"
+      ]
+    })
+  )
+  .toString();
+
+const kPattern = unicodeRegex({ Script: ["Hangul"] })
+  .union(unicodeRegex({ Script_Extensions: ["Hangul"] }))
+  .toString();
 
 // http://spec.commonmark.org/0.25/#ascii-punctuation-character
 const asciiPunctuationCharset = /* prettier-ignore */ regexpUtil.charset(

tests/markdown_splitCjkText/__snapshots__/jsfmt.spec.js.snap

@@ -6,6 +6,8 @@ exports[`chinese-japanese.md - markdown-verify 1`] = `
 全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白
 
 空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白全形空白
+
+何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 這是一段很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長
 很長的段落
@@ -16,6 +18,8 @@ exports[`chinese-japanese.md - markdown-verify 1`] = `
 空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白
 全形空白　空白全形空白全形空白全形空白
 
+何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
+
 `;
 
 exports[`korean.md - markdown-verify 1`] = `

tests/markdown_splitCjkText/chinese-japanese.md

@@ -3,3 +3,5 @@
 全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白
 
 空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白全形空白
+
+何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。