【เรื่องเล่า Token】ทำไม AI ถึงคิดเงินตาม Token? มาหาคำตอบกัน! —เรียน AI ไปเรื่อยๆ 040

คำนำ

• ได้ยินว่า AI คิดเงินตาม Token จริงเหรอ?
  • อันนี้ใช้แล้วกิน Token โหดมาก
  • เปิดคอมทั้งคืนไม่ยอมปิด กิน Token ไปเท่าไหร่แล้วเนี่ย ฟังดูเหมือนเสียบ้านไปหนึ่งหลังเลยมั้ย?
• ทำไมต้องคิดเงินเป็น Token ด้วยล่ะ?
  • ได้ยินว่า Token คิดเงินสองทางด้วยนะ
  • ถาม AI ก็คิดเงิน ตอบก็คิดเงินอีก นี่มันเกินไปแล้วมั้ง
  • งั้น AI ก็ไม่ต้องพูดจาไร้สาระเยอะสิ!
• Token คือคำศัพท์หรือตัวอักษรกันแน่?
  • ตัวอักษรจีนคิดเงินยังไง
  • ภาษาอาหรับคิดเงินยังไง
• Token มีความหมายต่างกันยังไงในกระบวนการทำระบบไอทีขององค์กร?
  • ระบบไอทีแบบเดิมก็แค่จัดวางสถาปัตยกรรมแล้วทำฐานข้อมูล
  • ทำไมการใช้งาน AI ถึงมีปัญหาเรื่อง Token เข้ามาเกี่ยวข้อง?

บทความนี้จะพยายามตอบคำถามเหล่านี้ ว่าเจ้า Token ที่เราได้ยินกันบ่อยๆ จริงๆ แล้วมันคืออะไร? บทความยาวหน่อย อดใจรออ่านหน่อยนะ

ในประวัติศาสตร์การพัฒนาคอมพิวเตอร์ มักจะมีคำศัพท์ที่ฟังดูน่ากลัวเกิดขึ้นมากมาย พอเวลาผ่านไปก็ค่อยๆ เข้ามาอยู่ในชีวิตคนทั่วไป แล้วก็กลายเป็นคำที่ติดปากกันไป อย่าง Prompt ก็เป็นตัวอย่างที่ดี และ Token ก็เช่นกัน ตอนนี้ดูเหมือนว่ามันจะดังออกนอกวงการไปแล้ว
แล้วมันเป็นเพราะ OpenAI เป็นคนคิดขึ้นมา แล้วบรรดาบริษัทในวงการต่างเห็นพ้องกันว่าเป็นวิธีคิดเงินที่ดีงาม หรือว่ามันมีเหตุผลอื่นซ่อนอยู่?
เรามาเริ่มจากที่มาของมันก่อนดีกว่า

ในสภาพแวดล้อมองค์กร การใช้เทคโนโลยี AI เพื่อช่วยลดต้นทุนและเพิ่มประสิทธิภาพ การเข้าใจเรื่อง Token จะช่วยให้เราเข้าใจการนำ AI ไปใช้ในองค์กรได้ดียิ่งขึ้น พูดให้เข้าใจง่าย ๆ ก็คือมันเหมือนกับตัวต่อบล็อก เราต่อบล็อกเหล่านี้เพื่อสร้างแอปพลิเคชันที่เราต้องการ ซึ่งช่วยเพิ่มประสิทธิภาพในการทำงาน

พื้นฐานของ Token

แนวคิดพื้นฐานของ Token

เรามาดูคำอธิบายเกี่ยวกับ Token จาก OpenAI อย่างเป็นทางการ กันก่อน:

• 1 token ~= ตัวอักษรภาษาอังกฤษ 4 ตัว
• 1 token ~= ¾ คำ
• 100 tokens ~= 75 คำ
  หรือ
• 1-2 ประโยค ~= 30 Token
• 1 ย่อหน้า ~= 100 tokens
• 1,500 คำ ~= 2048 tokens

อ่านแล้วรู้สึกยังไงบ้าง งงกันไหม? นี่มันต่างอะไรกับที่ขงจื๊อรู้ว่าตัวอักษร “茴” เขียนได้กี่แบบ? เอาล่ะ มาดูกันว่ามันเป็นยังไงจริง ๆ:

Learning AI Meticulously, Sharing Knowledge Joyfully

ลองทายดูว่าประโยคนี้มีกี่ Token? 6 คำ ก็น่าจะ 6 Token สินะ? แต่ไม่ใช่หรอก!

ใน ChatGPT 4 มันคือ 10 Token จากที่เห็นเป็นสีบล็อก ๆ เครื่องหมายวรรคตอนถูกนับแยกต่างหาก และ Joyfully ถูกแยกเป็น Joy กับ fully

จากโค้ดสู่บทสนทนา: ความจำเป็นในการนำ Token เข้ามาใช้

ภาษาหลักของคอมพิวเตอร์คือรหัสไบนารีที่ประกอบด้วย 0 และ 1 ซึ่งเป็นรูปแบบพื้นฐานที่สุดของโปรแกรมและข้อมูลทั้งหมด ไม่ว่าเราจะใช้ภาษาโปรแกรมมิ่งระดับสูงอย่าง Python หรือ Java หรือไฟล์มัลติมีเดียต่างๆ เช่น รูปภาพและวิดีโอ ทุกอย่างจะถูกแปลงเป็นภาษาเครื่องนี้ ในวิทยาการคอมพิวเตอร์แบบดั้งเดิม ผู้เชี่ยวชาญพยายามอย่างเต็มที่เพื่อทำให้ความซับซ้อนของโลกแห่งความจริงเป็นนามธรรม โดยการกำหนดชนิดข้อมูลที่ชัดเจน เช่น สตริง (ชุดของตัวอักษร) และจำนวนเต็ม (ตัวเลข) เพื่อจัดการกับข้อมูล วิธีการนี้มีประสิทธิภาพมากในการจัดการกับข้อมูลที่มีโครงสร้าง เช่น การคำนวณทางคณิตศาสตร์หรือการค้นหาฐานข้อมูล

อย่างไรก็ตาม เมื่อเทคโนโลยีก้าวหน้าและความต้องการของผู้คนเพิ่มมากขึ้น เราต้องการให้คอมพิวเตอร์ไม่เพียงแต่ประมวลผลตัวเลขและโค้ดเท่านั้น แต่ยังสามารถเข้าใจและประมวลผลภาษาธรรมชาติ ซึ่งก็คือภาษาที่เราใช้ในชีวิตประจำวันได้อีกด้วย นี่คือที่มาของสาขาการประมวลผลภาษาธรรมชาติ (NLP, Natural Language Processing) ซึ่งมีเป้าหมายเพื่อให้คอมพิวเตอร์เข้าใจ ตีความ และสร้างภาษาของมนุษย์

เมื่อพิจารณาถึงลักษณะเฉพาะของภาษาธรรมชาติ ไม่ว่าจะเป็นความหลากหลาย การพึ่งพาบริบท และความคลุมเครือ เราจึงไม่ได้เผชิญกับปัญหาแบบง่ายๆ อย่าง 1+1=2 อีกต่อไป สิ่งที่เราต้องแก้ไขตอนนี้คือจะทำให้คอมพิวเตอร์เข้าใจประโยคอย่างเช่น “วันนี้วันศุกร์ วันหยุดสุดสัปดาห์ไปเที่ยวไหนดี? อยู่บ้านเรียน AI เป็นไง?” และวิเคราะห์อารมณ์หรือแปลเป็นภาษาอื่นต่อไปได้ ในสถานการณ์แบบนี้ ชนิดข้อมูลแบบดั้งเดิมไม่เพียงพออีกต่อไป

นี่คือเหตุผลที่เราจำเป็นต้องนำแนวคิดเรื่อง Token เข้ามาใช้ การทำ Tokenization คือการแยกข้อมูลข้อความที่ซับซ้อนออกเป็นหน่วยย่อยๆ ที่คอมพิวเตอร์ประมวลผลได้ง่ายขึ้น เช่น คำ วลี หรือเครื่องหมายวรรคตอน ด้วยวิธีนี้ คอมพิวเตอร์จะสามารถประมวลผลภาษาได้อย่างมีประสิทธิภาพมากขึ้น ดึงความหมายจากข้อความได้ ไม่ใช่แค่นับจำนวนตัวอักษรเท่านั้น

จากความแน่นอนสู่ความคลุมเครือ: การเขียนโปรแกรมแบบดั้งเดิมจัดการกับข้อมูลที่ชัดเจนและคาดเดาได้ ในขณะที่ NLP เกี่ยวข้องกับการตีความคำที่มีหลายความหมายและภาษาที่ขึ้นอยู่กับบริบท

จากโครงสร้างสู่ไร้โครงสร้าง: ต่างจากฐานข้อมูลหรืออัลกอริทึมที่มีโครงสร้างชัดเจน NLP จัดการกับข้อความภาษาธรรมชาติที่ลื่นไหลและไม่มีรูปแบบตายตัว

Token คืออะไร? ทำไมต้องแปลงข้อความเป็น Token?

ลองนึกภาพว่าในกระแส Generative AI นี้ หนึ่งในกรณีการใช้งานที่พบได้บ่อยมากคือการสรุปความแบบรวดเร็ว เราสามารถเข้าใจข้อมูลสำคัญได้โดยไม่ต้องอ่านทุกคำทีละตัว Token มีบทบาทสำคัญในกระบวนการนี้ ช่วยให้คอมพิวเตอร์ “เข้าใจ” และประมวลผลข้อความปริมาณมากได้

Token คืออะไร?

ในงานประมวลผลภาษาธรรมชาติ Token โดยทั่วไปหมายถึงส่วนย่อยๆ ของข้อความที่มีความหมาย ซึ่งส่วนเหล่านี้อาจเป็นคำ วลี หรือเครื่องหมายวรรคตอน ก็ได้ ดังตัวอย่างในภาพด้านบน

ทำไมต้องแปลงเป็น Token?

การแปลงข้อความเป็น Token นั้น คล้าย ๆ กับการแยกย่อยรายงานธุรกิจที่ซับซ้อนออกเป็นส่วนสำคัญ ๆ หรือการแยกเนื้อหาอีเมลออกเป็นประเด็นหลัก ๆ การแยกย่อยแบบนี้ทำให้คอมพิวเตอร์สามารถประมวลผลและวิเคราะห์ภาษาได้อย่างมีประสิทธิภาพมากขึ้น ซึ่งนำไปสู่การทำงานต่าง ๆ เช่น การค้นหาข้อมูลสำคัญ การแปลภาษาอัตโนมัติ หรือการวิเคราะห์ความรู้สึก

ยกตัวอย่างเช่น มีคนเปิดร้านอาหาร连锁บนแพลตฟอร์ม Meituan แล้วอยากวิเคราะห์รีวิวจากลูกค้าเพื่อพัฒนาสินค้า (จะเรียกว่าปรับปรุงก็ได้นะ) การแยกเนื้อหารีวิวออกเป็น Token จะช่วยให้ระบุปัญหาที่พบบ่อย หรือจุดที่ถูกตำหนิได้ง่ายขึ้น

ดูเผิน ๆ Token ก็เหมือนคำศัพท์ทั่วไป แต่ความเป็นจริงแล้วมันเป็นแบบนั้นหรือ?

ความแตกต่างและความเชื่อมโยงระหว่าง Token กับตัวอักษรและคำ

	นิยาม	ลักษณะเด่น	ตัวอย่าง
ตัวอักษร (Character)	องค์ประกอบพื้นฐานที่ใช้สร้างข้อความ`	ไม่จำเป็นต้องสื่อความหมายที่สมบูรณ์ด้วยตัวเอง แต่เมื่อรวมกับตัวอักษรอื่นจะกลายเป็นคำได้	happy
คำ (Word)	เกิดจากตัวอักษรหลายตัวรวมกัน และสามารถสื่อความหมายได้	เป็นหน่วยพื้นฐานในการส่งข้อมูล ให้ข้อมูลที่สมบูรณ์กว่าตัวอักษรเดี่ยว ๆ	I’m happy
Token	โดยทั่วไปจะตรงกับคำ แต่มีความยืดหยุ่นกว่า อาจเป็นวลี เครื่องหมายวรรคตอน หรือแม้แต่รากศัพท์ คำนำหน้า ฯลฯ	นิยามของ Token ขึ้นอยู่กับวัตถุประสงค์การใช้งาน เช่น การวิเคราะห์ข้อความ การแปลด้วยเครื่อง ฯลฯ	I, 'm, happy

เมื่ออ่านมาถึงตรงนี้ เราก็พอจะเริ่มเห็นภาพแล้วว่าเรื่องนี้ส่วนใหญ่ต้องพึ่งพาความเข้าใจในตัวภาษาเองของเรามากทีเดียว

ถึงแม้ว่าตัวอักษร คำ และ Token ในเชิงเทคนิคอาจจะแตกต่างกัน แต่ในกระบวนการประมวลผลข้อความแล้ว สิ่งเหล่านี้มีความเกี่ยวข้องกันอย่างใกล้ชิด ตัวอักษรคือพื้นฐานของการสร้างคำ และคำก็คือองค์ประกอบที่ก่อร่างเป็น Token ในทางปฏิบัติจริง การระบุและการใช้งาน Token นั้นต้องอาศัยความเข้าใจในตัวอักษรและคำเป็นพื้นฐาน

ยกตัวอย่างเช่น ถ้าเราต้องการวิเคราะห์รายงานเกี่ยวกับแนวโน้มตลาด การใช้ Tokenization จะช่วยให้เราระบุคำสำคัญได้อย่างรวดเร็ว (เช่น “การเติบโต” “ความเสี่ยง” “โอกาส” เป็นต้น) ซึ่งช่วยให้ผู้บริหารจับใจความสำคัญของรายงานได้ในเวลาอันรวดเร็ว

โดยสรุปแล้ว Token คือวิธีการที่ช่วยให้คอมพิวเตอร์ประมวลผลและ “เข้าใจ” ข้อความได้ มันทำให้การประมวลผลข้อความแบบอัตโนมัติเป็นไปได้ ซึ่งช่วยสนับสนุนให้องค์กรนำข้อมูลภาษาไปใช้ในการตัดสินใจที่ขับเคลื่อนด้วยข้อมูลได้อย่างมีประสิทธิภาพมากขึ้น

แล้ว Token ถูกสร้างขึ้นมาได้อย่างไร และถูกประมวลผลด้วยวิธีไหน? ตรงนี้แหละที่เราต้องมองออกไปนอกกรอบแนวคิดการเขียนโปรแกรมแบบเดิม ๆ

การสร้างและการประมวลผล Token

Token ถูกสร้างขึ้นมาได้อย่างไร? ขั้นตอนการแปลงข้อความเป็น Token โดยละเอียด

โมเดลแต่ละตัวมีขั้นตอนการประมวลผลที่แตกต่างกัน เพื่อให้เข้าใจง่ายขึ้น จึงขอสรุปเป็นขั้นตอนคร่าวๆ แบบนี้ ในการขุดคุ้ยคุณค่าของข้อมูลที่สะสมอยู่ในระบบองค์กร เราจำเป็นต้องคำนึงถึงลำดับความสำคัญของคุณค่าของข้อมูล ประกอบกับต้นทุนในการประมวลผลข้อมูล เพื่อประเมินตัดสินใจอย่างเหมาะสม

ยกตัวอย่างเช่น

Token 生成

预处理

โอเค นี่คือข้อความตัวอย่างที่มีทั้งภาษาจีน อังกฤษ และตัวเลขปนกัน รวมถึงมีองค์ประกอบบางอย่างที่ต้องผ่านการเตรียมข้อมูลล่วงหน้า:

在2024年，AI技术快速發展。例如，OpenAI 发布了GPT-4o模型，这个模型不仅性能强大，而且在处理<code>自然语言</code>方面具有突破性的进展。但是，我们需要去除一些常用但无信息量的停用词，比如“的”，“了”等等。关于这些技术的详情，请访问我们的官网

1. ลบอักขระที่ไม่จำเป็น:

   • กำจัดแท็กโค้ดเว็บอย่าง <code> และ </code> ซึ่งโดยทั่วไปแล้วไม่มีข้อมูลที่เป็นประโยชน์ในข้อความ

2. ปรับข้อความให้เป็นมาตรฐาน:

   • แปลงตัวอักษรภาษาอังกฤษทั้งหมดเป็นตัวพิมพ์เล็กเพื่อลดความแตกต่างของตัวพิมพ์ใหญ่-เล็ก เช่น “OpenAI” เปลี่ยนเป็น “openai”
   • แปลงตัวอักษรจีนตัวเต็มเป็นตัวย่อ หากข้อความมีตัวเต็ม เช่น “發展” เปลี่ยนเป็น “发展”

3. ตัดคำหยุด (Stop Words):

   • ระบุและตัดคำที่พบบ่อยแต่มักไม่มีความสำคัญ เช่น “的” “了” เป็นต้น

หลังจากขั้นตอนการเตรียมข้อมูลล่วงหน้าเหล่านี้ ข้อความจะมีความเป็นมาตรฐานมากขึ้น สะดวกต่อการแบ่งคำและการประมวลผลแบบ Token ในขั้นถัดไป ช่วยเพิ่มความแม่นยำและประสิทธิภาพของงานวิเคราะห์ในภายหลัง

在2024年，AI技术快速发展。例如，OpenAI 发布GPT-4o模型，这个模型不仅性能强大，而且在处理自然语言方面具有突破性进展。但是，我们需要去除一些常用但无信息量停用词，比如“”，“”等等。关于这些技术详情，请访问我们官网

การแบ่งคำ

การแบ่งคำ ตามชื่อก็คือการแยกคำในประโยคออกจากกัน เพื่อให้ง่ายต่อการประมวลผลในขั้นถัดไป เปรียบเสมือนเรามีลูกปัดอยู่หนึ่งเส้น แล้วต้องหาจุดที่เหมาะสมในการตัดให้ขาดออกจากกัน

แล้วจะแบ่งคำอย่างไรล่ะ? วิธีที่เรานึกได้ง่ายๆ ก็คือการเปิดพจนานุกรมเทียบดู ซึ่งก็เป็นวิธีที่เคยถูกนำมาใช้จริงในอดีต หลังจากแบ่งเสร็จแล้วก็จะได้ประมาณนี้

在 / 2024 / 年 / ， / AI / 技术 / 快速 / 发展 / 。 / 例如 / ， / OpenAI / 发布 / GPT-4o / 模型 / ， / 这个 / 模型 / 不仅 / 性能 / 强大 / ， / 而且 / 在 / 处理 / 自然语言 / 方面 / 具有 / 突破性 / 进展 / 。 / 但是 / ， / 我们 / 需要 / 去除 / 一些 / 常用 / 但 / 无 / 信息量 / 停用词 / ， / 比如 / “ ” / ， / “ ” / 等等 / 。 / 关于 / 这些 / 技术 / 详情 / ， / 请 / 访问 / 我们 / 官网

แน่นอนว่าในทางปฏิบัติจริง การแบ่งคำมีรายละเอียดอีกมากมาย พอจะสรุปเป็นแนวทางใหญ่ๆ ได้ดังนี้:

1. กำหนดขอบเขตของคำ:

   • สำหรับภาษาอังกฤษและภาษาที่ใช้ช่องว่างคั่นคำ เรื่องนี้ค่อนข้างง่าย เหมือนตอนเราอ่านภาษาอังกฤษ เราสามารถรู้ได้ง่ายๆ ผ่านช่องว่างว่าคำหนึ่งจบลงและอีกคำหนึ่งเริ่มต้นตรงไหน
     -แต่สำหรับภาษาจีน เรื่องกลับซับซ้อนกว่ามาก เพราะการเขียนภาษาจีนต่อเนื่องกันไป ไม่มีช่องว่างให้เห็นชัดเจน ในกรณีนี้ เราจำเป็นต้องใช้วิธีอื่นเพื่อพิจารณาว่าตัวอักษรกลุ่มใดควรประกอบกันเป็นคำที่มีความหมาย

2. ใช้พจนานุกรมและกฎเกณฑ์:

   • วิธีแบบพจนานุกรม: เหมือนกับการเปิดพจนานุกรมดูความหมาย เราจะใช้ลิสต์ขนาดใหญ่ (พจนานุกรม) ในการค้นหาและจับคู่คำในข้อความ วิธีนี้ทำได้ง่ายแต่มีข้อจำกัด เพราะคำใหม่หรือคำที่พบได้ยากอาจไม่มีอยู่ในพจนานุกรม
   • วิธีแบบกฎเกณฑ์: วิธีนี้ใช้กฎเฉพาะในการตัดสินความสัมพันธ์ระหว่างตัวอักษร เช่น ข้อมูลไวยากรณ์และบริบทโดยรอบ เพื่อกำหนดว่าควรจะรวมกันเป็นคำหรือไม่

3. วิธีการทางสถิติและการเรียนรู้:

   • ใช้ข้อมูลทางสถิติเพื่อเรียนรู้ว่าตัวอักษรหรือคำใดมักจะปรากฏร่วมกันบ่อยๆ วิธีนี้วิเคราะห์ข้อมูลข้อความปริมาณมาก เพื่อเรียนรู้และคาดเดาขอบเขตของคำ

4. วิธีแบบผสมผสาน:

   • ในทางปฏิบัติจริง มักจะนำวิธีการข้างต้นมารวมกัน เพื่อเพิ่มความแม่นยำและความเหมาะสมในการตัดคำ

พูดง่ายๆ คือ:

• ภาษาอังกฤษ: ตัดคำโดยใช้ช่องว่างและเครื่องหมายวรรคตอน
• ภาษาจีน: ใช้อัลกอริทึมในการระบุขอบเขตของคำ

ไลบรารีตัดคำภาษาจีนที่ยอดเยี่ยม—结巴分词 (Jieba) แต่ก็ไม่ได้อัปเดตมาเกือบ 4 ปีแล้ว

ตรรกะการตัดคำแบบดั้งเดิม ให้ความสำคัญกับความหมายของคำในบริบทจริงและข้อมูลรอบข้างค่อนข้างน้อย ดูตัวอย่างด้านล่างนี้

你为/何总/打call
你/为何/总打call

何总 เป็นคน 为何 เป็นคำ ความกำกวมที่งดงามนี้ช่างงดงามจริงๆ!

หลังจากตัดคำเสร็จแล้ว ก็เริ่มทำงานในขั้นตอน Tokenization ต่อ

Token化

การทำ Tokenization เป็นขั้นตอนสำคัญในการประมวลผลข้อมูลข้อความ ซึ่งเป็นการปรับแต่งและแยกหน่วยย่อยของข้อความให้ละเอียดยิ่งขึ้นจากการแบ่งคำทั่วไป เพื่อให้เหมาะกับการประมวลผลและวิเคราะห์ข้อมูลในขั้นตอนถัดไป ต่อไปเราจะใช้ข้อความที่คุณให้มาเพื่ออธิบายกระบวนการ Tokenization อย่างเป็นรูปธรรม

1. รวมคำเฉพาะและวลีเฉพาะเข้าด้วยกัน:

   • ถือว่า “OpenAI” และ “GPT-4 o” เป็น Token แยกกัน เนื่องจากเป็นคำเฉพาะที่มีความหมายในตัวเอง
   • “自然语言” ในฐานะคำผสมตายตัวและศัพท์เทคนิค ควรถูกมองเป็น Token เดียวทั้งหน่วย

2. เครื่องหมายวรรคตอนเป็น Token อิสระ:

   • เครื่องหมายวรรคตอน เช่น จุลภาค (，) มหัพภาค (。) และอัญประกาศ (“ ”) ควรถูกจัดเป็น Token แยก เนื่องจากมีบทบาทด้านไวยากรณ์และโครงสร้างในข้อความ

3. จัดการกับเครื่องหมายอ้างอิง:

   • ช่องว่างภายในเครื่องหมายคำพูดว่างเปล่า (เช่น ช่องว่างใน “ ”) ควรถูกมองว่าเป็น Token ที่ผิดพลาดหรือไม่มีความหมาย และตัดทิ้งไป

ผลลัพธ์หลังการ Tokenization

在 / 2024 / 年 / ， / AI / 技术 / 快速 / 发展 / 。 / 例如 / ， / OpenAI / 发布 / GPT-4o / 模型 / ， / 这个 / 模型 / 不仅 / 性能 / 强大 / ， / 而且 / 在 / 处理 / 自然语言 / 方面 / 具有 / 突破性 / 进展 / 。 / 但是 / ， / 我们 / 需要 / 去除 / 一些 / 常用 / 但 / 无 / 信息量 / 停用词 / ， / 比如 / ， / 等等 / 。 / 关于 / 这些 / 技术 / 详情 / ， / 请 / 访问 / 我们 / 官网

ผลลัพธ์ที่ได้จากการประมวลผลนี้กระชับ มีความหมาย และเหมาะสำหรับงาน NLP ในขั้นถัดไป เช่น การวิเคราะห์ข้อความ การวิเคราะห์ความรู้สึก เป็นต้น ด้วยการทำ Tokenization อย่างเหมาะสม เราจะสามารถจับความหมายและโครงสร้างของข้อความได้อย่างมีประสิทธิภาพมากขึ้น ซึ่งเป็นพื้นฐานสำคัญสำหรับการทำความเข้าใจและวิเคราะห์ข้อความในเชิงลึก

ที่น่าสนใจคือ Tokenization และ Vectorization นั้นเกี่ยวข้องกันอย่างใกล้ชิดแต่ไม่เหมือนกัน โดย Vectorization คือการแปลงเนื้อหาเหล่านี้ให้เป็นค่าตัวเลข ซึ่งจะกล่าวถึงในภายหลัง

บทบาทของคำศัพท์ (Vocabulary) ในการสร้าง Token

จากการวิเคราะห์ก่อนหน้านี้ เราทราบแล้วว่าในกระบวนการสร้าง Token นั้น คำศัพท์ (Vocabulary) มีบทบาทสำคัญอย่างมาก

การจำแนกขอบเขต (Boundary Recognition) การรับประกันความสอดคล้อง (Consistency Guarantee) การบีบอัดข้อมูล (Information Compression) การเพิ่มความเร็วในการประมวลผล (Processing Speed Improvement) การรักษาความหมาย (Semantic Maintenance):

การดูแลรักษาและอัปเดตคำศัพท์อย่างต่อเนื่อง จะช่วยให้กระบวนการสร้าง Token ได้รับการปรับปรุงให้ดีขึ้นอยู่เสมอ สามารถปรับตัวเข้ากับการเปลี่ยนแปลงของภาษาและการเกิดขึ้นของคำศัพท์ใหม่ ๆ ซึ่งจะช่วยเพิ่มความสามารถในการปรับตัวและความแม่นยำของทั้งระบบ

การจัดการกับอักขระพิเศษ (เช่น เครื่องหมายวรรคตอน ช่องว่าง)

ในกระบวนการสร้าง Token การจัดการกับอักขระพิเศษเป็นประเด็นที่ต้องให้ความใส่ใจเป็นพิเศษ อักขระพิเศษ เช่น เครื่องหมายวรรคตอนและช่องว่าง มักมีบทบาทสำคัญในการสื่อโครงสร้างและความหมายภายในข้อความ

1. เครื่องหมายวรรคตอน：เครื่องหมายวรรคตอนมักใช้เพื่อแสดงโครงสร้างของประโยค เช่น มหัพภาค (。) ท้ายประโยค จุลภาค (,) ใช้คั่นรายการหรืออนุประโยค หรืออัญประกาศ (“”) ใช้ระบุคำพูดโดยตรง เป็นต้น ในการทำ Tokenization เครื่องหมายวรรคตอนมักถูกจัดเป็น Token แยกต่างหาก เนื่องจากมันสามารถส่งผลต่อน้ำเสียงและโครงสร้างของประโยค และในบางครั้งยังสามารถเปลี่ยนความหมายของประโยคได้อีกด้วย

2. ช่องว่าง：ในภาษาอังกฤษและภาษาที่ใช้อักษรละตินอื่นๆ ช่องว่างเป็นตัวกลางหลักในการแบ่งคำ ในกระบวนการ Tokenization ตัวช่องว่างเองมักไม่ถูกเก็บเป็น Token แต่การมีอยู่ของมันมีความสำคัญอย่างยิ่งต่อการกำหนดขอบเขตของคำ อย่างไรก็ตาม ในข้อความที่มีการจัดรูปแบบบางประเภท ช่องว่างอาจถูกใช้เพื่อความสวยงามทางสายตา ซึ่งในกรณีนี้จำเป็นต้องพิจารณาวิธีการจัดการตามบริบท

3. อักขระพิเศษสำหรับการจัดรูปแบบ：เช่น แท็บ (Tab) อักขระขึ้นบรรทัดใหม่ (\n) เป็นต้น มีบทบาทในการควบคุมรูปแบบภายในข้อความ อักขระเหล่านี้อาจต้องถูกละเว้นหรือจัดการเป็นพิเศษในบางกรณี เช่น เมื่อประมวลผลไฟล์ข้อความธรรมดา (plain text)

การจัดการอักขระพิเศษเหล่านี้อย่างถูกต้องเป็นส่วนสำคัญที่ทำให้การ Tokenization ข้อความมีประสิทธิภาพ กลยุทธ์ในการจัดการกับอักขระเหล่านี้ส่งผลโดยตรงต่อประสิทธิภาพของการวิเคราะห์ข้อความและการประยุกต์ใช้งานในขั้นถัดไป ในการออกแบบระบบ NLP จำเป็นต้องพิจารณาตรรกะในการจัดการอักขระเหล่านี้อย่างรอบคอบ เพื่อให้รองรับความต้องการในการใช้งานและลักษณะของข้อมูลที่หลากหลาย

จากเนื้อหาข้างต้น เราก็จะเห็นได้ว่าภาษาที่แตกต่างกันนั้นมีการจัดการกับ Token ที่แตกต่างกันออกไป ซึ่งความแตกต่างเหล่านี้ช่วยให้เราเข้าใจได้ดียิ่งขึ้น

ความหลากหลายและความยืดหยุ่นของ Token

วิธีการทำ Tokenization ในภาษาต่างๆ

โครงสร้างและไวยากรณ์ของแต่ละภาษามีความแตกต่างกัน จึงทำให้วิธีการทำ Tokenization ต้องมีความยืดหยุ่นและปรับตัวได้สูง ตัวอย่างเช่น:

• ภาษาอังกฤษและภาษายุโรปตะวันตกอื่นๆ: ภาษาเหล่านี้มักใช้ช่องว่างเป็นตัวคั่นระหว่างคำ ทำให้การทำ Tokenization ค่อนข้างตรงไปตรงมา ตัวอย่างเช่น ประโยค “The quick brown fox” สามารถแยกตามช่องว่างได้ง่ายๆ เป็น “The”, “quick”, “brown”, “fox”

• ภาษาจีน ญี่ปุ่น และเกาหลี: ภาษาเหล่านี้ไม่มีตัวคั่นระหว่างคำที่ชัดเจน ทำให้การทำ Tokenization มีความซับซ้อนมากขึ้น ภาษาจีนอาจต้องอาศัยพจนานุกรมหรือโมเดลที่ใช้สถิติในการระบุว่ากลุ่มตัวอักษรใดบ้างที่รวมกันแล้วมีความหมายเป็นคำ ตัวอย่างเช่น “快速发展” ต้องถูกจดจำให้เป็น Token เดียวทั้งหมด ไม่ใช่แยกเป็น “快速” และ “发展”

• ภาษาอาหรับและฮีบรู: ภาษาเหล่านี้ที่เขียนจากขวาไปซ้ายนั้น ในการทำ Tokenization ต้องคำนึงถึงทั้งทิศทางการเขียน และยังต้องจัดการกับปัญหาการเชื่อมตัวอักษร ซึ่งเป็นข้อกำหนดพิเศษสำหรับอัลกอริทึมการทำ Tokenization

การเข้าใจความแตกต่างเหล่านี้ช่วยให้การจัดการข้อมูลหลายภาษามีประสิทธิภาพมากขึ้นในธุรกิจระดับโลก ช่วยปรับปรุงอินเทอร์เฟซผู้ใช้แบบหลายภาษาและการสร้างคอนเทนต์ รวมถึงยกระดับประสบการณ์ผู้ใช้และการขยายตลาด

ขนาดและความละเอียดของ Token ถูกกำหนดอย่างไร?

ขนาดและความละเอียดของ Token ขึ้นอยู่กับความต้องการเฉพาะของแอปพลิเคชันและระดับความลึกของการประมวลผลที่คาดหวัง:

• Token แบบละเอียด (Fine-grained): มักใช้ในสถานการณ์ที่ต้องอาศัยความเข้าใจภาษาระดับลึก เช่น การวิเคราะห์ความรู้สึก (Sentiment Analysis) หรือการค้นหาเชิงความหมาย (Semantic Search) ตัวอย่างเช่น การแยกคำประสมออกเป็นส่วนย่อย ๆ ช่วยให้โมเดลจับความเปลี่ยนแปลงเล็กน้อยของความหมายในภาษาได้ละเอียดมากขึ้น

• Token แบบหยาบ (Coarse-grained): เหมาะสำหรับสถานการณ์ที่ต้องประมวลผลข้อมูลข้อความปริมาณมากอย่างรวดเร็ว เช่น การจัดหมวดหมู่เอกสาร หรือการสกัดคำสำคัญเบื้องต้น การทำ Token แบบหยาบช่วยลดความซับซ้อนในการประมวลผลและความต้องการด้านการคำนวณ

การกำหนดความละเอียดของ Token มักเกี่ยวข้องกับการหาสมดุลระหว่างความเร็วในการประมวลผลและความแม่นยำเชิงความหมาย ผู้บริหารที่เข้าใจจุดนี้จะช่วยให้ตัดสินใจได้อย่างรอบคอบมากขึ้นในการดำเนินโครงการ AI ว่าจะเลือกเทคโนโลยีและเครื่องมือใดให้ตรงกับความต้องการทางธุรกิจจริง ๆ

การทำความเข้าใจวิธีการแปลงข้อความเป็น Token ในภาษาต่าง ๆ รวมถึงหลักการกำหนดขนาดและความละเอียดของ Token จะช่วยให้คุณ:

1. ประเมินโปรเจกต์ AI ได้ดีขึ้น: การเข้าใจความซับซ้อนและความท้าทายของการทำ Tokenization ช่วยให้คุณตัดสินใจซื้อหรือพัฒนาโซลูชัน AI ได้อย่างมีข้อมูลมากขึ้น
2. ปรับปรุงการดำเนินงานระดับโลก: ความสามารถในการทำ Tokenization ที่รองรับหลายภาษาคือกุญแจสำคัญสู่ความสำเร็จของธุรกิจระดับโลก ช่วยพัฒนาการสื่อสารข้ามวัฒนธรรมและการโต้ตอบกับผู้ใช้
3. เพิ่มประสิทธิภาพการประมวลผลข้อมูล: การเลือกความละเอียดของ Token ที่เหมาะสมช่วยให้คุณตอบโจทย์ความต้องการทางธุรกิจพร้อมกับเพิ่มประสิทธิภาพและลดต้นทุนในการประมวลผลข้อมูล

แล้ว Token ส่งผลต่อโมเดลอย่างไร?

Token กับประสิทธิภาพของโมเดล AI

กลยุทธ์การจัดการ Token ส่งผลต่อพื้นที่บริบท (Context Space) ของโมเดลขนาดใหญ่ในระดับหนึ่ง เวลาเราคุยกับ AI ไปมาหลายรอบ หากเนื้อหามากเกินไป AI จะลืมสิ่งที่พูดไปก่อนหน้า ซึ่งก็คือข้อจำกัดด้านบริบทนั่นเอง ด้านล่างคือข้อจำกัดด้านบริบทของโมเดลภาษาขนาดใหญ่เมื่อปีที่แล้ว

src: https://s10251.pcdn.co/pdf/2023-Alan-D-Thompson-2023-Context-Windows-Rev-0.pdf

นี่คือข้อมูลจากปีที่แล้ว ด้านล่างเป็นกราฟของ Gemini

src: https://beebom.com/gemini-1-5-pro-announced/

Kimi ในจีนประมวลผลไฟล์ PDF ได้ถึง 100M ขนาดของ context space กลายเป็นจุดขายสำคัญทางการตลาดไปแล้ว แล้วมันส่งผลกระทบอะไรบ้างล่ะ?

ในบริบทของ scaling law ในปัจจุบัน การเลือกใช้กลยุทธ์ Token ที่แตกต่างกัน ยังคงอยู่ในขอบเขตของการปรุงแต่งอัลกอริทึมระดับล่าง กล่าวคือ การปรับแต่งกลยุทธ์ Token ให้เหมาะสมนั้น ยังเทียบไม่ได้กับการซื้อการ์ดจอเพิ่มให้เยอะๆ เลย

ผลกระทบของ Token ต่อประสิทธิภาพของโมเดล

จำนวน Token ส่งผลต่อความซับซ้อนในการคำนวณและการใช้หน่วยความจำของโมเดลอย่างไร?

ในโมเดล AI แบบ generative เช่น GPT-4 หรือโมเดลอื่นๆ ที่ใช้สถาปัตยกรรม Transformer จำนวน Token มีความสัมพันธ์โดยตรงกับความซับซ้อนในการคำนวณและการใช้หน่วยความจำของโมเดล ทุกครั้งที่เพิ่ม Token หนึ่งตัว โมเดลจะต้องประมวลผลจุดข้อมูลมากขึ้น ซึ่งไม่เพียงแต่เพิ่มภาระในการคำนวณระหว่างการเทรนและการอนุมานผล แต่ยังเพิ่มความต้องการหน่วยความจำอีกด้วย ตัวอย่างเช่น ในการเทรนโมเดลภาษา โมเดลจำเป็นต้องจัดเก็บและคำนวณความสัมพันธ์ระหว่างแต่ละ Token กับ Token อื่นๆ ทั้งหมด ซึ่งเห็นได้ชัดเจนเป็นพิเศษในกลไก self-attention ของโมเดล

ตัวอย่างประกอบ: ลองนึกถึงโปรเจกต์แชทบอทแบบ generative หากประวัติการสนทนาที่ป้อนเข้ายาวเกินไป (นั่นคือมีจำนวน Token มาก) โมเดลอาจทำงานช้าลงเมื่อสร้างการตอบสนอง และใช้ทรัพยากรการคำนวณมากขึ้น เช่น ประวัติการสนทนาที่มี Token หลายพันตัวอาจทำให้ความเร็วในการประมวลผลลดลงอย่างเห็นได้ชัด โดยเฉพาะบนอุปกรณ์ที่มีทรัพยากรจำกัด

หากมองในมุมที่เข้าใจง่ายๆ บริษัทโมเดลใหญ่ๆ เหล่านี้ไม่ขยายความจุ ก็ย่อมมีเหตุผลในเชิงปฏิบัติของพวกเขาเอง แล้วขนาดที่ใหญ่กว่านั้นจะดีกว่าเสมอหรือ?

จำนวน Token ที่มากขึ้นหมายถึงประสิทธิภาพของโมเดลที่ดีขึ้นเสมอหรือไม่?

ไม่เสมอไปที่จำนวน Token ที่มากขึ้นจะหมายถึงประสิทธิภาพของโมเดลที่ดีขึ้น ในวงการ Generative AI จำนวน Token ที่เหมาะสมจะช่วยให้โมเดลจับบริบทและทำความเข้าใจได้แม่นยำยิ่งขึ้น ซึ่งส่งผลให้เนื้อหาที่สร้างออกมามีความเกี่ยวข้องและถูกต้องมากขึ้น อย่างไรก็ตาม Token ที่มากเกินไปอาจนำข้อมูลที่ไม่เกี่ยวข้องเข้ามา ทำให้ประสิทธิภาพของโมเดลและคุณภาพของผลลัพธ์ลดลง

ตัวอย่างประกอบ: ในระบบ AI ที่ใช้สร้างรายงานการตลาด การแบ่ง Token อย่างแม่นยำจะช่วยให้ข้อมูลสำคัญถูกเน้นออกมาเด่นชัด แทนที่จะจมหายไปกับรายละเอียดที่ไม่จำเป็นจำนวนมาก ตัวอย่างเช่น ระบบจำเป็นต้องสรุปข่าวการเงินจำนวนมากให้เป็นบทสรุปที่กระชับ การมี Token มากเกินไปอาจทำให้รายงานที่สร้างออกมารกเรื่อยและจับประเด็นหลักไม่ได้

ในปัจจุบัน การประมวลผลไฟล์ขนาดใหญ่ของบริษัทโมเดลใหญ่ๆ ในเชิงวิศวกรรมมักใช้กลยุทธ์คล้ายกับคลาวด์สตอเรจ กล่าวคือ เมื่อผู้ใช้ A อัปโหลดไฟล์หนึ่งไปแล้ว ผู้ใช้ B อัปโหลดไฟล์เดียวกัน ระบบจะไม่นำมาวิเคราะห์ใหม่ แต่ใช้ผลลัพธ์จากการวิเคราะห์ครั้งแรกของ A ได้เลย ยิ่งเนื้อหาสะสมมากขึ้นเท่าไร ก็ยิ่งกลายเป็นข้อได้เปรียบทางผลิตภัณฑ์ของตัวเองมากขึ้นเท่านั้น

การปรับการใช้ Token ให้เหมาะสม

จะหาจุดสมดุลระหว่างจำนวน Token และประสิทธิภาพของโมเดลได้อย่างไร?

กลยุทธ์เรื่อง Token ในที่นี้ เน้นไปที่กลยุทธ์การใช้งาน Prompt สำหรับผู้ใช้งานทั่วไปเป็นหลัก เพื่อให้ผลลัพธ์ที่ได้ตรงกับความคาดหวังของเรามากยิ่งขึ้น

การหาจุดสมดุลที่เหมาะสมระหว่างจำนวน Token กับประสิทธิภาพของโมเดล ถือเป็นกุญแจสำคัญที่จะทำให้โมเดล AI เชิงสร้างสรรค์ (Generative AI) ทั้งมีประสิทธิภาพสูงและมีความแม่นยำ โดยปกติแล้วต้องอาศัยการปรับแต่งผ่านการลองผิดลองถูก รวมถึงการใช้เทคนิคการปรับแต่งโมเดลขั้นสูง

ตัวอย่างประกอบ : ในระบบสร้างเนื้อหาอัตโนมัติ การบริหารจัดการการใช้ Token ถือเป็นความท้าทายคลาสสิก ระบบอาจต้องดึงข้อมูลสำคัญจากบทความยาวๆ มาสรุปเป็นเนื้อหาสั้น ในกรณีนี้ การเลือกจำนวน Token ที่เหมาะสมเพื่อคงข้อมูลให้เพียงพอ ขณะเดียวกันก็หลีกเลี่ยงโครงสร้างโมเดลที่ซับซ้อนเกินจำเป็น ถือเป็นเรื่องสำคัญอย่างยิ่ง

ความสัมพันธ์ระหว่าง Token กับ Context Window และผลกระทบต่อคุณภาพของข้อความที่สร้างขึ้น

ในงาน Generative AI การตั้งค่า Token และ Context Window ส่งผลโดยตรงต่อความต่อเนื่องและความสมเหตุสมผลของข้อความที่สร้างขึ้น ยิ่ง Context Window มีขนาดใหญ่เท่าไร โมเดลก็ยิ่งสามารถนำข้อมูลในอดีตมาพิจารณาได้มากขึ้นเท่านั้น ส่งผลให้ข้อความที่สร้างออกมามีความลื่นไหลและเป็นธรรมชาติมากขึ้น

ตัวอย่างประกอบ : สมมติว่าใช้โมเดล AI เพื่อเขียนบทความบล็อกเชิงเทคนิค หากตั้งค่า Context Window ไว้เล็กเกินไป โมเดลอาจไม่สามารถเชื่อมโยงเนื้อหาในแต่ละส่วนของบทความได้อย่างมีประสิทธิภาพ ส่งผลให้เนื้อหาที่ได้ขาดความต่อเนื่องทางตรรกะ การปรับการใช้ Token และขนาดของ Context Window ให้เหมาะสม จะช่วยยกระดับคุณภาพและความอ่านง่ายของบทความได้อย่างมีนัยสำคัญ

ต่อไปนี้เข้าสู่หัวข้อที่เราได้พูดถึงตอนต้น สำหรับระบบแอปพลิเคชัน เราต้องการให้ผู้ใช้มีประสบการณ์การใช้งานที่ดี แต่ก็ต้องคำนึงถึงต้นทุนด้วย

โมเดลการใช้งานเชิงพาณิชย์และการคิดค่าบริการแบบ Token

ขอดูตารางนี้ก่อน เพื่อดูอัตราการคิดค่าบริการของโมเดลภาษาขนาดใหญ่ในปัจจุบัน

src： https://yourgpt.ai/tools/openai-and-other-llm-api-pricing-calculator

โดยทั่วไปแล้ว การใช้งานโมเดลภาษาขนาดใหญ่สามารถแบ่งได้เป็นสองแบบ คือการสนทนาผ่านเว็บเพจ และการเรียกใช้ผ่าน API สำหรับการใช้งานผ่านเว็บเพจ OpenAI ถือเป็นผู้กำหนดมาตรฐานไปแล้ว คือ 20 ดอลลาร์ต่อเดือน แต่การเรียกใช้ผ่าน API นั้นไม่ใช่แบบนั้นเลย ตัวเลขค่าใช้จ่ายไหลออกมาแบบไม่ทันตั้งตัวเป็นเรื่องปกติ

เกมแมวไล่จับหนู แม้จะเป็น ChatGPT Plus แล้ว ก็ยังมีข้อจำกัดเรื่องจำนวนรอบการสนทนาภายใน 3 ชั่วโมง หลายคนพยายามใช้วิธีคล้ายกับเว็บ crawler เพื่อใช้งาน ChatGPT ผ่านเว็บโดยไม่ใช้ API แต่โค้ดโอเพนซอร์สพวกนี้ส่วนใหญ่ก็โดนจัดการไปหมดแล้ว!

สมัยก่อน ตรรกะการคิดค่าบริการของโทรคมนาคมคือคิดตามระยะเวลา นึกย้อนไปก็เป็นช่วงที่ทำกำไรได้มหาศาล ต่อมาจึงมีระบบคิดแบบรายเดือน ซึ่งการคิดค่าบริการแบบ Token ในปัจจุบันก็มีแนวคิดคล้ายคลึงกัน

ตรรกะการคิดค่าบริการแบบ Token

ทำไมต้องคิดค่าบริการแบบ Token? ความสมเหตุสมผลและโมเดลเชิงพาณิชย์ของมัน

รูปแบบการคิดค่าบริการแบบ Token เป็นสิ่งที่พบได้บ่อยมากในบริการ AI โดยเฉพาะอย่างยิ่งในการใช้บริการโมเดลภาษาจากผู้ให้บริการอย่าง OpenAI เป็นต้น โมเดลการคิดเงินแบบนี้อิงตามปริมาณการใช้งานจริงของผู้ใช้ นั่นคือคิดเงินตามจำนวน Token ที่ประมวลผลในแต่ละคำขอ

ความสมเหตุสมผล:
ความสมเหตุสมผลของโมเดลการคิดเงินแบบ Token อยู่ที่ว่ามันสามารถสะท้อนปริมาณทรัพยากรที่ผู้ใช้ใช้จริงได้อย่างแม่นยำ Token แต่ละตัวแทนข้อมูลหนึ่งหน่วยที่โมเดลต้องประมวลผล ยิ่งมี Token มากก็หมายถึงการใช้ทรัพยากรในการคำนวณที่มากขึ้น ดังนั้น วิธีการคิดเงินแบบนี้จึงช่วยให้ผู้ใช้จ่ายตามปริมาณการใช้งานจริงของตัวเอง ขณะเดียวกันก็เป็นแรงจูงใจให้ผู้ใช้ปรับแต่งอินพุตของตัวเองให้เหมาะสม และหลีกเลี่ยงการสิ้นเปลืองโดยไม่จำเป็น

โมเดลเชิงพาณิชย์:
ในมุมมองเชิงธุรกิจ โมเดลการคิดเงินแบบ Token ช่วยให้ผู้ให้บริการ AI มีกรอบการคิดค่าบริการที่ยืดหยุ่นและเป็นธรรม โดยผู้ให้บริการสามารถกำหนดระดับราคาที่แตกต่างกันตามโหลดของระบบและต้นทุนการดำเนินงาน ซึ่งช่วยดึงดูดผู้ใช้ที่มีความต้องการหลากหลาย ครอบคลุมฐานลูกค้าที่หลากหลายตั้งแต่ผู้พัฒนารายย่อยไปจนถึงองค์กรขนาดใหญ่

การเปรียบเทียบการคิดเงินแบบ Token กับวิธีอื่นๆ (เช่น นับจำนวนคำ จำนวนตัวอักษร หรือเวลา)

เมื่อเทียบกับโมเดลการคิดเงินแบบอื่นๆ ที่พบได้ทั่วไป การคิดเงินแบบ Token มีข้อดีและข้อจำกัดที่โดดเด่นดังนี้:

• การคิดค่าบริการตามจำนวนคำและตัวอักษร: วิธีการคิดค่าบริการแบบนี้เข้าใจง่าย ตรงไปตรงมา และคาดเดางบประมาณได้ไม่ยาก อย่างไรก็ตาม วิธีนี้มักไม่คำนึงถึงความซับซ้อนของการประมวลผลหรือการใช้ทรัพยากรคอมพิวเตอร์จริง ๆ เช่น การประมวลผลประโยคยาว ๆ ที่ใช้คำศัพท์ง่าย ๆ อาจง่ายกว่าการประมวลผลคำศัพท์เทคนิคเฉพาะทาง แต่ถ้าคิดตามจำนวนคำ ค่าใช้จ่ายอาจสูงกว่าโดยไม่จำเป็น

• การคิดค่าบริการตามเวลา: โมเดลการคิดค่าบริการที่อิงกับเวลา (เช่น คิดเป็นนาทีหรือชั่วโมง) เหมาะกับบริการที่ต้องทำงานต่อเนื่อง เช่น การประมวลผลข้อมูลแบบสตรีมมิ่งหรือการเรียนรู้ออนไลน์ แต่สำหรับงานสั้น ๆ ที่เป็นแบบเรียกใช้ครั้งเดียว (request-based) โมเดลแบบนี้อาจทำให้การคิดค่าบริการไม่เป็นธรรมหรือไม่แม่นยำ

การคิดค่าบริการแบบ Token นำเสนอการวัดที่ละเอียดกว่า ซึ่งสามารถสะท้อนปริมาณทรัพยากรที่ผู้ใช้ใช้จริงได้อย่างเป็นธรรมมากกว่า

ต้นทุนของบริษัทโมเดลภาษาขนาดใหญ่ พอจะมองคร่าวๆ ได้ดังนี้

1. ต้นทุนด้านการวิจัยและพัฒนา (บุคลากร + การทดลอง)
2. ต้นทุนด้านการฝึกฝนโมเดล (ทรัพยากรการคำนวณ + การจัดการข้อมูล)
3. ต้นทุนด้านการปรับใช้ (โครงสร้างพื้นฐาน + ต้นทุนการจัดเก็บข้อมูล)
4. ต้นทุนด้านการบำรุงรักษาและอัปเดต
5. ต้นทุนด้านจริยธรรมและการปฏิบัติตามข้อกำหนด (ความปลอดภัยของข้อมูล, การปฏิบัติตามกฎระเบียบด้านข้อมูล)
   การจะให้ต้นทุนทั้งหมดนี้ถูกแบกรับด้วย Token เพียงอย่างเดียวนั้นดูไม่ค่อยสมจริงเท่าไหร่ สถานการณ์จริงคงต้องให้คนในวงการเท่านั้นที่ประเมินได้ และน่าจะเป็นวิธีประเมินที่เหมาะสมที่สุดในยุคนี้แล้ว

ผลกระทบจริงของการคิดค่าบริการแบบ Token

ผลกระทบของรูปแบบการคิดค่าบริการแบบต่างๆ ที่มีต่อผู้ใช้และนักพัฒนา

รูปแบบการคิดค่าบริการแบบ Token หมายความว่าผู้ใช้ต้องบริหารจัดการคำขอ API ของตัวเองอย่างรอบคอบมากขึ้น เพื่อควบคุมค่าใช้จ่าย นักพัฒนาจำเป็นต้องออกแบบคำค้นหาให้มีประสิทธิภาพ ลดการใช้ Token ที่ไม่จำเป็น เพื่อให้ได้คุณค่าสูงสุดจากแต่ละคำขอ วิธีการคิดค่าบริการแบบนี้ช่วยกระตุ้นให้นักพัฒนาปรับแต่งกระบวนการป้อนข้อมูลและการประมวลผลให้เหมาะสม แต่ก็อาจเพิ่มความซับซ้อนในการพัฒนาและงานปรับแต่งในช่วงแรกได้เช่นกัน

สำหรับผู้ให้บริการ การคิดค่าบริการแบบ Token ช่วยปรับสมดุลโหลดของเซิร์ฟเวอร์ คาดการณ์รายได้ และจัดสรรทรัพยากรได้อย่างมีประสิทธิภาพ อีกทั้งยังใช้เป็นกลไกตอบรับสำหรับการปรับปรุงผลิตภัณฑ์และปรับกลยุทธ์ด้านราคา ช่วยให้ผู้ให้บริการตอบสนองความต้องการของตลาดได้ดียิ่งขึ้น

จะปรับการใช้ Token ให้เหมาะสมเพื่อลดต้นทุนได้อย่างไร?

การปรับการใช้ Token ให้เหมาะสมเป็นกุญแจสำคัญในการควบคุมต้นทุน ซึ่งสามารถทำได้ด้วยวิธีการดังต่อไปนี้:

• ลดข้อมูลนำเข้าที่ไม่จำเป็น: ก่อนส่งคำขอ ควรตัดข้อความและข้อมูลซ้ำซ้อนที่ไม่จำเป็นออก เหลือไว้เพียงข้อมูลสำคัญเท่านั้น
• ออกแบบคำสั่งค้นหาอย่างมีประสิทธิภาพ: ออกแบบคำสั่งค้นหาที่รอบคอบ หลีกเลี่ยงคำขอที่ซับซ้อนหรือเจาะลึกจนเกินจำเป็น
• ใช้กลยุทธ์การแคชข้อมูล: สำหรับคำขอที่พบบ่อยหรือเกิดขึ้นซ้ำ ควรใช้ผลลัพธ์จากแคชเพื่อลดการเรียกใช้งานบริการแบ็กเอนด์
• ติดตามและวิเคราะห์: วิเคราะห์ข้อมูลการใช้ Token เป็นประจำ เพื่อหาจุดที่สามารถปรับปรุงและปรับกลยุทธ์เพื่อลดการสิ้นเปลือง

ด้วยวิธีการเหล่านี้ นอกจากจะช่วยลดต้นทุนแล้ว ยังช่วยเพิ่มความเร็วในการตอบสนองของระบบและความพึงพอใจของผู้ใช้งาน ซึ่งจะทำให้ได้เปรียบในการแข่งขันในตลาดที่ดุเดือด

คุณค่าทางธุรกิจของ Token และกรณีการนำไปใช้

การประยุกต์ใช้ Token ในธุรกิจจริง

ในการดำเนินธุรกิจ การนำเทคโนโลยี Token มาใช้สามารถเพิ่มประสิทธิภาพในการประมวลผลข้อมูลและคุณภาพของการตัดสินใจได้อย่างมีนัยสำคัญ สำหรับผู้บริหารระดับสูงที่ไม่ได้มีพื้นฐานด้านเทคนิค การทำความเข้าใจการใช้งาน Token จะช่วยให้พวกเขาสามารถประเมินการลงทุนด้านเทคโนโลยีและผลักดันนวัตกรรมทางธุรกิจได้ดียิ่งขึ้น

มุมมองเชิงเทคนิค: บทบาทของ Token ในงานประมวลผลภาษาธรรมชาติ

Tokenization คือกระบวนการทางเทคนิคที่ใช้แยกข้อมูลข้อความที่ซับซ้อนออกเป็นหน่วยย่อย ๆ ที่จัดการได้ง่าย ทำให้ระบบ AI สามารถวิเคราะห์และประมวลผลข้อมูลได้อย่างมีประสิทธิภาพ กระบวนการนี้มีความสำคัญอย่างยิ่งในงานประมวลผลภาษาธรรมชาติ (NLP) เพราะช่วยให้เครื่องจักรสามารถ “เข้าใจ” ภาษามนุษย์และทำงานต่าง ๆ ได้ เช่น:

• การสกัดข้อมูล: Tokenization ช่วยดึงข้อมูลสำคัญจากข้อความปริมาณมากได้อย่างรวดเร็ว เช่น การแยกข้อกำหนดที่เกี่ยวข้องออกจากเอกสารทางกฎหมาย
• การวิเคราะห์ความรู้สึก: ด้วยการวิเคราะห์ Token จากความคิดเห็นของลูกค้า ธุรกิจสามารถระบุแนวโน้มทางอารมณ์ของผู้ใช้ และนำไปปรับปรุงผลิตภัณฑ์หรือบริการได้
• การสรุปความอัตโนมัติ: เทคโนโลยี Tokenization สามารถสร้างบทสรุปของเอกสารได้โดยอัตโนมัติ ช่วยเพิ่มประสิทธิภาพการทำงานของผู้ที่ต้องจัดการกับข้อมูลปริมาณมาก

มุมมองเชิงธุรกิจ: บทบาทของ Token ในการเสริมสร้างคุณค่าให้องค์กร

ในมุมมองทางธุรกิจ Token ไม่เพียงแต่ช่วยเพิ่มประสิทธิภาพในการดำเนินงาน แต่ยังเปิดโอกาสให้เกิดโมเดลธุรกิจใหม่ ๆ และช่องทางสร้างรายได้เพิ่มเติมอีกด้วย:

• ปรับปรุงการโต้ตอบกับลูกค้า: การใช้แชทบอทที่ใช้ Token สามารถให้บริการลูกค้าได้ตลอด 24 ชั่วโมง 7 วัน ช่วยเพิ่มความพึงพอใจของลูกค้าและลดต้นทุนการให้บริการ
• การวิเคราะห์ตลาด: การประมวลผลแบบ Token ช่วยให้ธุรกิจดึงข้อมูลแนวโน้มจากรายงานตลาดได้อย่างรวดเร็ว เพื่อใช้เป็นแนวทางในการตัดสินใจเชิงกลยุทธ์
• การแนะนำแบบเฉพาะบุคคล: บนแพลตฟอร์มอีคอมเมิร์ซ เทคโนโลยี Token สามารถวิเคราะห์ประวัติการซื้อและพฤติกรรมการเรียกดูของผู้ใช้ เพื่อแนะนำสินค้าที่ตรงกับความต้องการส่วนบุคคล ช่วยเพิ่มยอดขาย

กรณีศึกษาจริง

แชทบอทบริการลูกค้า

ตัวอย่างการใช้งานที่พบได้ทั่วไปคือแชทบอทบริการลูกค้า เช่น บริษัทโทรคมนาคมขนาดใหญ่แห่งหนึ่งได้ติดตั้งแชทบอทที่ใช้ Token เพื่อจัดการข้อสงสัยของผู้ใช้ เช่น ปัญหาเรื่องบิล หรือการขัดข้องของบริการ แชทบอทจะวิเคราะห์คำถามของผู้ใช้ (ซึ่งถูกแปลงเป็น Token แล้ว) เพื่อให้คำตอบที่ถูกต้องได้อย่างรวดเร็ว หรือส่งต่อปัญหาไปยังฝ่ายบริการที่เกี่ยวข้อง

ระบบแนะนำเนื้อหา

ในอุตสาหกรรมสื่อและบันเทิง ระบบแนะนำเนื้อหาใช้เทคโนโลยี Token เพื่อวิเคราะห์พฤติกรรมการรับชมหรือการอ่านของผู้ใช้ แล้วแนะนำภาพยนตร์ หนังสือ หรือบทความใหม่ที่ผู้ใช้อาจสนใจ ตัวอย่างเช่น ระบบแนะนำของ Netflix จะวิเคราะห์ Token จากคำอธิบายของรายการที่ผู้ใช้เคยดู เพื่อคาดการณ์ว่ารายการอื่นใดที่ผู้ใช้น่าจะชื่นชอบ

คุณค่าทางธุรกิจและแนวโน้มการประยุกต์ใช้ของ Token

ในแอปพลิเคชันระดับองค์กร การเข้าใจและใช้งาน Token อย่างมีประสิทธิภาพคือกุญแจสำคัญที่จะผลักดันให้โปรเจกต์ AI ประสบความสำเร็จ การเข้าใจคุณค่าเชิงธุรกิจและความท้าทายของ Token มีความสำคัญอย่างยิ่งต่อการวางกลยุทธ์และการขับเคลื่อนนวัตกรรมทางเทคโนโลยี

การประยุกต์ใช้ Token ในเชิงธุรกิจ

มุมมองทางเทคนิค: บทบาทของ Token

การใช้งาน Token ในงานประมวลผลภาษาธรรมชาติ (NLP) ช่วยให้ระบบ AI สามารถประมวลผลข้อมูลที่เป็นข้อความได้อย่างมีประสิทธิภาพ พูดง่ายๆ คือ การทำ Tokenization คือการแบ่งข้อความขนาดใหญ่ออกเป็นหน่วยย่อยๆ เพื่อให้โมเดลแมชชีนเลิร์นนิงนำไปใช้เป็นพื้นฐานในการทำงานได้

• การจัดการข้อมูล: ไม่ว่าจะเป็นการจัดการกับคำถามจากลูกค้า การวิเคราะห์ฟีดแบ็กจากตลาด หรือการจัดการเอกสารปริมาณมาก การทำ Tokenization ช่วยให้ข้อมูลข้อความที่ซับซ้อนเหล่านี้จัดการและวิเคราะห์ได้ง่ายขึ้น
• การเพิ่มประสิทธิภาพ: ด้วยการทำ Tokenization โมเดล AI สามารถระบุข้อมูลสำคัญได้อย่างรวดเร็ว ช่วยเร่งกระบวนการตัดสินใจและเพิ่มความรวดเร็วในการตอบสนองทางธุรกิจ

มุมมองเชิงธุรกิจ: คุณค่าทางเศรษฐกิจของ Token

ในมุมมองของธุรกิจ Token ไม่ได้เป็นเพียงส่วนประกอบหนึ่งของการ implement ทางเทคนิคเท่านั้น แต่ยังเชื่อมโยงโดยตรงกับการเพิ่มประสิทธิภาพการดำเนินงาน การยกระดับประสบการณ์ของลูกค้า และการเปิดโอกาสใหม่ๆ ทางโมเดลธุรกิจ

• การปรับปรุงบริการลูกค้าให้ดีขึ้น: การทำ Tokenization ทำให้การบริการลูกค้าแบบอัตโนมัติเป็นไปได้ โดยระบบตอบกลับอัตโนมัติสามารถจัดการกับคำขอของลูกค้าได้อย่างรวดเร็วและแม่นยำ ซึ่งช่วยยกระดับความพึงพอใจของลูกค้าและความภักดีต่อแบรนด์ได้อย่างมาก
• การตลาดแบบเฉพาะบุคคล: การใช้ Tokenization เพื่อวิเคราะห์พฤติกรรมและความชอบของผู้ใช้ ทำให้ธุรกิจสามารถนำเสนอเนื้อหาทางการตลาดที่ตรงใจบุคคลได้มากขึ้น ส่งผลให้อัตราการแปลงยอดขายเพิ่มสูงขึ้น

อนาคตและความท้าทายของ Token

ทิศทางการพัฒนาในอนาคต

随着ความก้าวหน้าของเทคโนโลยี AI คาดว่าการประยุกต์ใช้ Token จะมีความชาญฉลาดและหลากหลายมากขึ้น:

• การใช้งานข้ามรูปแบบสื่อ: เทคโนโลยี Token จะไม่จำกัดอยู่แค่การประมวลผลข้อความเท่านั้น แต่ในอนาคตจะขยายไปสู่การวิเคราะห์เนื้อหามัลติมีเดีย เช่น วิดีโอและเสียง เพื่อรองรับการใช้งานในสถานการณ์ที่กว้างขึ้น
• การปรับแต่งอย่างชาญฉลาด: วิธีการสร้างและประมวลผล Token จะมีความชาญฉลาดมากขึ้น เช่น การใช้ AI เพื่อปรับ粒度และจำนวนของ Token โดยอัตโนมัติ ให้เหมาะสมกับความต้องการทางธุรกิจที่แตกต่างกัน

ความท้าทายและโอกาสทางธุรกิจ

• ความปลอดภัยของข้อมูลและความเป็นส่วนตัว: ในการประมวลผลแบบ Token การรับประกันความปลอดภัยของข้อมูลและความเป็นส่วนตัวของผู้ใช้ถือเป็นความท้าทายหลักในอนาคต โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับข้อมูลที่ละเอียดอ่อน
• การบูรณาการทางเทคโนโลยี: วิธีการผสานเทคโนโลยี Token เข้ากับระบบ IT และกระบวนการทางธุรกิจที่มีอยู่อย่างราบรื่น ถือเป็นกุญแจสำคัญในการเปลี่ยนผ่านสู่การใช้งานจริง
• ความเป็นธรรมและความสามารถในการอธิบาย: การทำให้แน่ใจว่าการตัดสินใจของ AI ที่ได้จากการทำ Token นั้นยุติธรรมและโปร่งใส จะช่วยเสริมสร้างความไว้วางใจจากผู้มีส่วนได้ส่วนเสียทุกฝ่าย

บทสรุป

ระหว่างที่เขียนบทความนี้ หลินมี่ยวได้ให้แนวทางใหม่ที่น่าสนใจ (ขอขอบคุณมา ณ ที่นี้) https://arxiv.org/abs/2104.12369 จากประสบการณ์จริงของโมเดล PanGu ของหัวเว่ย การพัฒนา Token ในแวดวงภาษาจีนมีแนวโน้มที่จะลดความซับซ้อนทางวิศวกรรมลง ซึ่งยังต้องติดตามดูกันต่อไป

ก่อนที่จะเขียนบทความนี้ ความเข้าใจเกี่ยวกับ Token ของผมมีเพียงแค่ความรู้คร่าวๆ ว่าตัวอักษรจีน 1 ตัวเท่ากับ 1 Token และยังเคยเข้าใจว่า Token กับการทำเวกเตอร์ (Vectorization) เป็นเรื่องเดียวกัน แต่จริงๆ แล้ว ก่อนที่จะทำเวกเตอร์ เรายังต้องผ่านขั้นตอนของ Token ก่อน เพื่อเตรียมพร้อมรับมือกับ AI ได้ดีขึ้น และเปิดรับการเปลี่ยนแปลงได้อย่างเต็มที่ ข้อมูลในระบบแอปพลิเคชันขององค์กรที่มีอยู่จะถูกนำมาใช้ให้เกิดประโยชน์สูงสุดได้อย่างไร? เริ่มต้นได้จากจุดนี้เลย!

ลิงก์อ้างอิง

• https://platform.openai.com/tokenizer
• https://arxiv.org/abs/2104.12369
• https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them
• https://www.coindesk.com/learn/a-beginners-guide-to-ai-tokens/
• https://ogre51.medium.com/context-window-of-language-models-a530ffa49989
• https://cobusgreyling.medium.com/rag-llm-context-size-6728a2f44beb
• https://www.humanfirst.ai/blog/how-does-large-language-models-use-long-contexts
• https://slator.com/10-large-language-models-that-matter-to-the-language-industry/
• https://yourgpt.ai/blog/general/long-context-window-vs-rag
• https://github.com/datawhalechina/hugging-llm/blob/main/content/chapter1/ChatGPT%E5%9F%BA%E7%A1%80%E7%A7%91%E6%99%AE%E2%80%94%E2%80%94%E7%9F%A5%E5%85%B6%E4%B8%80%E7%82%B9%E6%89%80%E4%BB%A5%E7%84%B6.md
• https://gpt-tokenizer.dev/