The following warnings occurred:
Warning [2] Undefined variable $can_link - Line: 6 - File: showthread.php(1658) : eval()'d code PHP 8.5.12 (Linux)
File Line Function
/inc/class_error.php 157 errorHandler->error
/showthread.php(1658) : eval()'d code 6 errorHandler->error_callback
/showthread.php 1658 eval




Confirmation that spaces are really spaces
#26
Thanks @quimqu for the effort!

(15-11-2025, 05:27 PM)quimqu wrote: You are not allowed to view links. Register or Login to view.EVALUATION RESULTS, length aware BPE:
Correct starts: 93.626%  Correct ends: 93.626%
Boundary recall: 93.626%  Perfect words: 87.406%

Example, first 200 characters segmented:
ถึงแม้ว่า | หน | ัง | ส | ือ | ภควัตคีตาฺ | จะ | ได้รับความ | นิ | ยม | จากการ | พิ | ม | พ | ์ | และการ | อ | ่าน | อย่าง | แ | พร | ่ | หลาย | เดิม | ที | เป็น | ตอน | หนึ่ง | ของ | มหา | ภ | าร | ต | ะฺ | ซึ่งเป็น | วรรณกรรม | ประ | วัต | ิ | ศาสตร์ | ภา | ษ | าส | ัน | ส | ก | ฤ | ต | ของ | โลก | ในอ | ดีต | มหา | ภ | าร | ต | ะฺ | กล่าว | ถึง | สถาน | การณ์ | ซึ่ง | น | ํ | า | เร | าม | าส | ู่

Unfortunately, this is not correct. It is even very far off. I wonder how the tool decided on the 90+% percentages.

The line:

ถึงแม้ว่าหนังสือ.ภควัตคีตาฺ.จะได้รับความนิยมจากการพิมพ์และการอ่านอย่างแพร่หลาย.เดิมทีเป็นตอนหนึ่งของ.มหาภารตะฺ.ซึ่งเป็นวรรณกรรมประวัติศาสตร์ภาษาสันสกฤตของโลกในอดีต.มหาภารตะฺ

is quite an unfortunate choice as a sample Thai text. It includes several names that are Sanskrit. The full stops are also unusual and while they may be used in Thai, here they seem to also represent quotes. The character that looks like a tiny dot below some characters is normally not used.
I doubt that this was the main cause for the failure, but it will not have helped. 
Reply


Messages In This Thread
RE: Confirmation that spaces are really spaces - by ReneZ - 16-11-2025, 02:54 PM

Possibly Related Threads…
Thread Author Replies Views Last Post
  [split] Measure uncertain spaces? Koen G 8 1,924 24-08-2026, 08:09 AM
Last Post: Pointless..
  Uncertain spaces as evidence of verbose glyph pairs kckluge 0 1,638 01-01-2026, 05:24 AM
Last Post: kckluge
  n-grams while ignoring spaces? Koen G 10 10,125 17-03-2025, 05:32 PM
Last Post: zachary.kaelan
  Using Massimiliano Zattera's slot sequence or a different one to find missing spaces? nablator 8 8,733 15-05-2024, 12:14 AM
Last Post: ReneZ
  Ambiguous Spaces Emma May Smith 28 22,021 19-03-2024, 09:49 AM
Last Post: MarcoP
  Bigrams across uncertain spaces RobGea 26 22,048 24-05-2022, 07:02 AM
Last Post: MarcoP
  Spaces and Entropy Koen G 32 32,510 22-05-2022, 12:28 AM
Last Post: Anton
  Spaces and word cases Barbrey 0 4,647 26-07-2021, 02:17 AM
Last Post: Barbrey

Forum Jump:


Users browsing this thread: 3 Guest(s)