Corpus

Thai Corpus - คลังข้อมูลภาษาไทย

Wordlist

- รายการคำศัพท์ภาษาไทยจากพจนานุกรม ฉบับราชบัณฑิตยสถาน พ.ศ. 2554 https://gist.github.com/anonymous/36568e5aaa73790e718757ff5f481afe
- new-thaidict.txt - https://github.com/wannaphongcom/pythainlp/raw/master/pythainlp/corpus/new-thaidict.txt
  • รายการคำศัพท์ภาษาไทยจากพจนานุกรม ฉบับราชบัณฑิตยสถาน พ.ศ. 2554
  • libthai 
  • ชื่อสกุลเงินต่างประเทศ
  • lexitron
  • lexitron 2
- Thai-zip-geolocation พิกัดละติจูด ลองจิจูด ของรหัสไปรษณีย์
- Thailand-Address ข้อมูลที่อยู่ sql, json
- Thai CG Bank คู่มือ https://github.com/crishoj/thcg/raw/master/doc/Thai_Dependency_Guideline_v.1.4.pdf
- พจนานุกรม ใช้ข้อมูลจาก e4thai
- Best I Corpus Corpus จาก Nectec
- Orchid Corpus Corpus จาก Nectec คู่มือ https://drive.google.com/file/d/0B0l6No313QAhS1VUZ240U2d6VUk/view?usp=drive_web
- HSE Corpus รวบรวมและจัดทำขึ้นโดย HSE School of Linguistics จากประเทศรัสเซีย
- รายชื่อคำทั่วไป และคำเฉพาะกลุ่มต่างๆ จาก libthai github.com/tlwg/libthai/tree/master/data
- คำที่พบบ่อยสุด 5000 คำแรกจาก Thai National Corpus http://www.arts.chula.ac.th/~ling/TNC/category.php?id=58
- รายการคำจาก พจนานุกรม Oxford TH->EN https://drive.google.com/file/d/0B0l6No313QAhREI4NGtMRXhIYms/view
- Thai Sentiment Text https://github.com/wannaphongcom/lexicon-thai/tree/master/ข้อความ/ 
- Thai Frequency Lists with English Definitions http://womenlearnthai.com/index.php/thai-frequency-lists-with-english-definitions/

Web Online

Stop Word

WordNet


Dictionary

LEXiTRON http://lexitron.nectec.or.th/2009_1/index.php?q=common_manager/download#latest_version 
Japanese Thai Dictionary http://www.jtdic.com/download_db.html
Longdo Dictionary Data - https://dict.longdo.com/page/download
  • English Dictionary
  • Japanese Thai Dictionary
  • German Thai Dictionary
  • French Thai Dictionary

โพสต์ยอดนิยมจากบล็อกนี้

RWKV: เมื่อ transformer ยังช้าเกินไป

รูปภาพ
ปัจจุบันนี้กระแส  LLM กำลังมา transformer จำพวก decoder model กลายเป็นกระแสหลัก  ด้วยความสามารถหลายด้านที่มาพร้อมกับขนาดโมเดลที่ใหญ่ขึ้น  แต่ด้วยขนาดกับสถาปัตยกรรม transformer จึงต้องการ resource  ที่ค่อนข้างโหดทั้ง GPU กับ CPU รวมถึงฮาร์ดแวร์เร่งความเร็ว กับเทคนิคต่าง  ๆ ในการย่อขนาดกับเร่งความเร็วแต่แลกมาด้วยประสิทธิภาพที่ลดลงไปด้วย  ทำให้ผู้คนบางส่วนหันไปมอง ออกแบบสถาปัตยกรรมอื่น ๆ หนึ่งในนั้น คือ RWKV  ที่นำข้อดี RNN กับ transformer (parallelizable) มารวมกัน Receptance  Weighted Key Value (RWKV) เป็นโมเดลที่นำความสามารถเทรนแบบขนาน  (parallelizable) ของ transformer เมื่อตอนเทรนโมเดล  และประสิทธิภาพในการใช้งานแบบ RNN มารวมกัน อย่างที่เรารู้กันว่า RNN  ไม่สามารถเทรนแบบขนาน (parallelizable) ได้ โดย RWKV แก้ไขจุดนี้ไป  โดยมีการพัฒนามาสองปีกว่า และได้รับการตีพิมพ์ใน EMNLP 2023 แบบ findings  ซึ่งใน paper นี้เป็น RWKV-4 แต่ปัจจุบัน RWKV พัฒนามาจนถึง RWKV-6 แล้ว RWKV-6  เป็นโมเดล RWKV รุ่นที่ 6 เป็น Open source (Apache 2.0...
อ่านต่อ

ทำ POS tagging ภาษาไทยโดยใช้ Neural Network ด้วย nlpnet

nlpnet เป็นเครื่องมือสำหรับใช้ทำ part-of-speech tagging, semantic role labeling และ dependency parsing โดยใช้ Neural Network โดยรันบน Python 2.7 (ไม่รองรับ Windows) และเป็น MIT License การติดตั้ง ใช้คำสั่ง $ pip install nlpnet การเตรียมข้อมูลภาษาไทย เราใช้ข้อมูล orchid มาทำเป็น CoNLL format ตั้งชื่อว่า thaipostag.txt ที่มี 4 column ตามตัวอย่างนี้ 1    การ    _    FIXN 2    ประชุม    _    VACT 3    ทาง    _    NCMN 4    วิชาการ    _    NCMN 5    <space>    _    PUNC 6    ครั้ง    _    CFQC 7    ที่1    _    DONM column แรกเป็นลำดับประโยค column ที่ 2 เป็นคำ และอันสุดท้ายเป็น POS tagging กำกับแต่ละคำ โหลดไฟล์ข้อมูลที่จัดทำไว้ได้จาก https://gist.github.com/wannaph...
อ่านต่อ