ការបង្រួបបង្រួមជាបន្តបន្ទាប់ពីគោលការណ៍ទីមួយ (2025)

ការបណ្តុំជាបន្តបន្ទាប់គឺជាបច្ចេកទេសកំណត់ពេលកំណត់ការសន្និដ្ឋានថាមវន្តដែលបង្កើនការបញ្ជូនផ្នែករឹងដោយបញ្ចូលសំណើថ្មីទៅក្នុងបណ្តុំដំណើរការសកម្ម ពេលដែលរន្ធដោតទំនេរ លុបបំបាត់វដ្តគណនាទំនេររវាងការងារ។ ការយល់ពីវាពីគោលការណ៍ដំបូងបង្ហាញពីមូលហេតុដែលវាក្លាយជាស្ថាបត្យកម្មមូលដ្ឋានសម្រាប់រាល់ប្រព័ន្ធបម្រើ AI ដែលមានប្រសិទ្ធភាពខ្ពស់ដែលត្រូវបានដាក់ឱ្យប្រើប្រាស់ក្នុងទំហំនៅឆ្នាំ 2025។

តើ​អ្វី​ទៅ​ជា​ការ​បាច់​បន្ត​គ្នា​ពិត​ប្រាកដ ហើយ​ហេតុ​អ្វី​បាន​ជា​ការ​បាច់​បន្ត​មិន​បាន​សម្រេច?

ដើម្បី​ដឹង​គុណ​ចំពោះ​ការ​បន្ត​បន្ទាប់​គ្នា អ្នក​ត្រូវ​តែ​យល់​ពី​អ្វី​ដែល​វា​បាន​ជំនួស។ ការដាក់ជាក្រុមតាមបែបប្រពៃណី កំណត់ចំនួនសំណើថេររួមគ្នា ដំណើរការពួកវាជាឯកតាតែមួយ ហើយទទួលយកបានតែសំណើថ្មីបន្ទាប់ពីបាច់ទាំងមូលបានបញ្ចប់។ គុណវិបត្តិសំខាន់គឺថាគំរូភាសាធំបង្កើតសញ្ញាសម្ងាត់នៃប្រវែងអថេរ — សំណើមួយអាចបញ្ចប់បន្ទាប់ពី 20 token ខណៈមួយទៀតនៅក្នុងបាច់ដូចគ្នាដំណើរការសម្រាប់ 2,000 ។ GPU នីមួយៗនៅក្នុងចង្កោមអង្គុយនៅទំនេរ រង់ចាំលំដាប់វែងបំផុតដើម្បីបញ្ចប់ មុនពេលការងារថ្មីអាចចាប់ផ្តើមបាន។

ការបង្រួបបង្រួមជាបន្តបន្ទាប់ ដែលត្រូវបានត្រួសត្រាយក្នុងក្រដាសសម្គាល់ឆ្នាំ 2022 "Orca: ប្រព័ន្ធចែកចាយចែកចាយសម្រាប់ម៉ូដែលជំនាន់ដែលផ្អែកលើ Transformer" បំបែកឧបសគ្គនេះទាំងស្រុង។ វាដំណើរការនៅ កម្រិតនៃការធ្វើម្តងទៀត ជាជាងកម្រិតសំណើ។ បន្ទាប់ពីរាល់ការបញ្ជូនបន្តឆ្លងកាត់គំរូ អ្នករៀបចំកាលវិភាគពិនិត្យមើលថាតើលំដាប់ណាមួយបានឈានដល់សញ្ញាសម្ងាត់នៃលំដាប់ចុងក្រោយរបស់វា។ ប្រសិនបើវាមាន រន្ធនោះត្រូវបានទាមទារមកវិញភ្លាមៗ ហើយត្រូវបានចាត់ចែងទៅសំណើដែលបានដាក់ជាជួរ — មិនបាច់រង់ចាំ គ្មានខ្ជះខ្ជាយ។ សមាសភាពបណ្តុំផ្លាស់ប្តូរយ៉ាងរលូនជាមួយនឹងរាល់ជំហាននៃការឌិកូដ ដោយរក្សាការប្រើប្រាស់ផ្នែករឹងឱ្យជិតដល់អតិបរមាទ្រឹស្តីគ្រប់ពេលវេលា។

តើឃ្លាំងសម្ងាត់ KV ធ្វើអន្តរកម្មជាមួយការបន្តបន្ទាប់គ្នានៅកម្រិតប្រព័ន្ធយ៉ាងដូចម្តេច?

The key-value cache is the memory structure that makes transformer inference tractable. សម្រាប់រាល់សញ្ញាសម្ងាត់ដែលបានដំណើរការ គំរូគណនាគ្រាប់ចុចយកចិត្តទុកដាក់ និងតម្លៃដែលត្រូវតែរក្សាទុក ដូច្នេះថូខឹនបន្តបន្ទាប់មិនធ្វើការគណនាដដែលៗទេ។ នៅក្នុងប្រព័ន្ធ batching ឋិតិវន្ត ការបែងចែកឃ្លាំងសម្ងាត់ KV គឺត្រង់៖ បម្រុងទុកអង្គចងចាំសមាមាត្រទៅនឹងប្រវែងលំដាប់អតិបរមាសម្រាប់រាល់សំណើនៅក្នុងបាច់។

ការបន្តបន្ទាប់គ្នាធ្វើអោយស្មុគស្មាញដល់រឿងនេះ។ ដោយសារតែសំណើចូល និងចេញពីបណ្តុំនៅពេលវេលាដែលមិនអាចទាយទុកជាមុនបាន ប្រព័ន្ធមិនអាចបែងចែកប្លុកអង្គចងចាំជាប់គ្នាជាមុនបានទេ។ នេះច្បាស់ណាស់ថាហេតុអ្វីបានជា PagedAttention របស់ vLLM - ណែនាំក្នុងឆ្នាំ 2023 - ក្លាយជាមិនអាចបំបែកចេញពីការបន្តនៅក្នុងការដាក់ពង្រាយផលិតកម្ម។ PagedAttention ខ្ចីគំរូទំព័រសតិនិម្មិតពីប្រព័ន្ធប្រតិបត្តិការ ដោយបែងចែកឃ្លាំងសម្ងាត់ KV ទៅជាប្លុកមិនជាប់គ្នាដែលមានទំហំស្មើគ្នា។ A sequence's cache pages can be scattered across GPU memory just as virtual memory pages are scattered across physical RAM. លទ្ធផលគឺការខ្ជះខ្ជាយសតិជិតសូន្យពីការបែកខ្ញែក ដែលបកប្រែដោយផ្ទាល់ទៅទំហំបាច់កាន់តែខ្ពស់ និងទិន្នផលខ្ពស់ជាងដោយមិនចាំបាច់មានការវិនិយោគផ្នែករឹងបន្ថែម។

តើ​យន្តការ​កំណត់​កាលវិភាគ​ស្នូល​អ្វី​ខ្លះ​ដែល​ធ្វើ​ឱ្យ​ដំណើរការ​បន្តបន្ទាប់​គ្នា?

ការសម្រេចចិត្តកំណត់ពេលអាស្រ័យគ្នាទៅវិញទៅមកចំនួនបីគ្រប់គ្រងរាល់ប្រព័ន្ធបន្តបន្ទាប់គ្នា៖

• គោលការណ៍ទុកមុន៖ នៅពេលដែលសម្ពាធអង្គចងចាំខ្ពស់ ហើយសំណើអាទិភាពខ្ពស់ថ្មីមកដល់ អ្នកកំណត់ពេលត្រូវសម្រេចចិត្តថាតើត្រូវរក្សាទុកលំដាប់អាទិភាពទាបដែលកំពុងដំណើរការ ប្តូរឃ្លាំងសម្ងាត់ KV របស់វាទៅជា CPU RAM ឬគណនាវាឡើងវិញនៅពេលក្រោយ។ ការកក់ទុកមុនផ្អែកលើ Swap រក្សាការគណនា ប៉ុន្តែប្រើប្រាស់កម្រិតបញ្ជូន PCIe ។ ការគណនាឡើងវិញធ្វើឱ្យបាត់បង់វដ្ត GPU ប៉ុន្តែរក្សាអង្គចងចាំឱ្យស្អាត។
• ការគ្រប់គ្រងការចូលរៀន៖ កម្មវិធីកំណត់ពេលត្រូវតែទាយថាតើឃ្លាំងសម្ងាត់ KV របស់សំណើថ្មីនឹងសមនឹងអង្គចងចាំដែលមានក្នុងអាយុកាលពេញមួយជំនាន់របស់វា។ ការប៉ាន់ស្មានមិនដល់ បណ្តាលឱ្យគាំងនៃសតិ ពាក់កណ្តាលលំដាប់; ការប៉ាន់ប្រមាណហួសកម្រិត បង្អត់ជួរដោយមិនចាំបាច់។ ប្រព័ន្ធទំនើបប្រើប្រាស់ការចែកចាយប្រវែងទម្រង់ និងការកក់ទុកបណ្តោះអាសន្ន ដើម្បីធ្វើឲ្យមានតុល្យភាពហានិភ័យទាំងនេះ។
• ការបំពេញបន្ថែមជាកំណាត់៖ ដំណាក់កាលបំពេញមុន — កំពុងដំណើរការប្រអប់បញ្ចូលរបស់អ្នកប្រើប្រាស់ — ត្រូវបានកំណត់ក្នុងការគណនា និងអាចផ្តាច់មុខ GPU ដោយពន្យារពេលជំហាននៃការឌិកូដសម្រាប់លំដាប់ដែលកំពុងដំណើរការរួចហើយ។ ការបំពេញជាមុនជាកំណាត់ បំបែកការជម្រុញដ៏វែងចូលទៅក្នុងកំណាត់ទំហំថេរ ដែលភ្ជាប់ជាមួយការបំប្លែងកូដឡើងវិញ ដោយកាត់បន្ថយភាពយឺតយ៉ាវពីពេលមួយទៅសញ្ញាដំបូងសម្រាប់អ្នកប្រើប្រាស់ក្នុងពេលដំណាលគ្នាក្នុងតម្លៃនៃបរិមាណនៃការបញ្ចូលជាមុនដែលទាបជាងបន្តិច។
• ការតម្រង់ជួរជាអាទិភាព៖ សំណើផ្នែកដាក់ពង្រាយសហគ្រាសតាមលំដាប់ SLA ។ Latency-sensitive API ហៅទូរស័ព្ទទៅការងារបាច់ដែលខិតខំប្រឹងប្រែងល្អបំផុត។ បើគ្មានស្រទាប់នេះទេ កិច្ចការសង្ខេបឯកសារវែងតែមួយអាចបង្ខូចបទពិសោធន៍អ្នកប្រើប្រាស់អន្តរកម្មសម្រាប់វគ្គបន្តគ្នារាប់រយ។

"ការបន្តបន្ទាប់គ្នាមិនគ្រាន់តែធ្វើអោយប្រសើរឡើងនូវលទ្ធផលនោះទេ ពោលគឺវារៀបចំរចនាសម្ព័ន្ធគំរូសេដ្ឋកិច្ចនៃការសន្និដ្ឋាន AI ឡើងវិញ។ ដោយរក្សា GPUs កាន់កាប់នៅកម្រិតដដែលៗជាជាងការស្នើសុំការចាត់ថ្នាក់ ប្រតិបត្តិករសម្រេចបាននូវការប្រើប្រាស់ដែលមានប្រសិទ្ធភាពខ្ពស់ជាង 5–10x ពីផ្នែករឹងដូចគ្នា ដែលជាដងថ្លឹងធំបំផុតតែមួយគត់ដែលអាចរកបានដើម្បីកាត់បន្ថយថ្លៃដើម 5 ក្នុងមួយសញ្ញា 2។

តើ​ការ​ដាក់​ពង្រាយ​ពិភព​លោក​ពិត​ប្រាកដ​វាស់​ស្ទង់​ការ​ទទួល​បាន​លទ្ធផល​យ៉ាង​ណា?

លទ្ធផល Benchmark ពី Anyscale រួមជាមួយនឹងការផលិតឡើងវិញដោយឯករាជ្យនៅទូទាំងគ្រួសារគំរូជាច្រើនក្នុងឆ្នាំ 2024 បង្ហាញជាបន្តបន្ទាប់នូវការបញ្ជូនបន្តរវាង 23 × និង 36 × កម្រិតខ្ពស់ជាងបើប្រៀបធៀបទៅនឹង batching ឋិតិវន្តដែលមិនសមហេតុផលនៅក្រោមគំរូចរាចរណ៍ជាក់ស្តែង។ ការកើនឡើងគឺច្បាស់បំផុតនៅពេលដែលភាពខុសគ្នានៃប្រវែងសំណើគឺខ្ពស់ — យ៉ាងពិតប្រាកដនូវលក្ខខណ្ឌដែលកំណត់លក្ខណៈនៃបន្ទុកការងារ AI ការសន្ទនាផលិតកម្ម ដែលសំណួររបស់អ្នកប្រើមានចាប់ពីការបញ្ចូលពាក្យបីទៅការបញ្ជូនឯកសារច្រើនទំព័រ។

Latency ប្រាប់​រឿង​ដែល​មាន​លក្ខណៈ​ល្អិតល្អន់​ជាង។ Time-to-first-token improves dramatically because the system no longer waits for a full static batch to assemble before beginning prefill. ភាពយឺតយ៉ាវអន្តរសញ្ញានៅតែមានស្ថេរភាពនៅក្រោមការផ្ទុកកម្រិតមធ្យម ប៉ុន្តែថយចុះយ៉ាងទន់ភ្លន់នៅក្រោមការតិត្ថិភាពជាជាងការដួលរលំ ពីព្រោះកម្មវិធីកំណត់ពេលបន្តដំណើរការទៅមុខលើលំដាប់សកម្មទាំងអស់ ទោះបីជានៅពេលដែលជួរកើនឡើងជ្រៅក៏ដោយ។ សម្រាប់អាជីវកម្មដែលបង្កើតមុខងារ AI ក្នុងពេលជាក់ស្តែង ខ្សែកោងនៃការបន្ទាបបន្ថោកដ៏ប្រណិតនេះ ជារឿយៗមានសារៈសំខាន់ផ្នែកពាណិជ្ជកម្មជាងលេខដែលឆ្លងកាត់កម្រិតខ្ពស់។

តើ​អាជីវកម្ម​អាច​អនុវត្ត​គោលការណ៍​បណ្តុំ​បន្តបន្ទាប់​លើសពី​ការ​សន្និដ្ឋាន​របស់ AI យ៉ាងដូចម្តេច?

ការយល់ដឹងអំពីស្ថាបត្យកម្មដែលនៅពីក្រោយការបន្តបន្ទាប់គ្នា — ទាមទារធនធានឡើងវិញតាមកម្រិតដែលអាចធ្វើទៅបានបំផុត ហើយចាត់តាំងពួកគេឡើងវិញភ្លាមៗ ជាជាងរង់ចាំឱ្យផ្នែកនៃការងារដែលមិនសូវល្អដើម្បីបញ្ចប់ — គឺជាគោលការណ៍ទូទៅសម្រាប់ប្រព័ន្ធណាមួយដែលគ្រប់គ្រងបន្ទុកការងារខុសៗគ្នា។ ប្រព័ន្ធប្រតិបត្តិការអាជីវកម្មប្រឈមមុខនឹងបញ្ហាដូចគ្នា៖ ភារកិច្ចនៃរយៈពេលខុសគ្នាខ្លាំងដែលប្រកួតប្រជែងសម្រាប់សមត្ថភាពដំណើរការរួមគ្នានៅទូទាំងលំហូរការងារ CRM ស្វ័យប្រវត្តិកម្មទីផ្សារ បំពង់បង្ហូរវិភាគ និងប្រតិបត្តិការពាណិជ្ជកម្មអេឡិចត្រូនិក។

Mewayz អនុវត្តទស្សនវិជ្ជានេះនៅទូទាំងប្រព័ន្ធប្រតិបត្តិការអាជីវកម្ម 207-module របស់ខ្លួន ដោយកំណត់ទិសដៅបន្ទុកប្រតិបត្តិការយ៉ាងស្វាហាប់នៅទូទាំងវេទិការួមបញ្ចូលគ្នាដែលប្រើដោយអាជីវកម្ម 138,000 នៅទូទាំងពិភពលោក។ ជាជាងបង្ខំក្រុមឱ្យរង់ចាំវដ្តនៃការរាយការណ៍ជាបាច់ ជួរការអនុម័តបន្តបន្ទាប់គ្នា ឬការប្រគល់ឧបករណ៍ដែលបានបិទនោះ Mewayz ដំណើរការព្រឹត្តិការណ៍អាជីវកម្មជាបន្តបន្ទាប់ — ការផ្តល់អាហារដល់លទ្ធផលដែលបានបញ្ចប់ភ្លាមៗទៅក្នុងម៉ូឌុលចុះក្រោម តាមរបៀបដែលកម្មវិធីកំណត់ពេលបន្តបន្ទាប់ផ្តល់ចំណីឱ្យរន្ធ GPU ដែលបានដោះលែងត្រឡប់ទៅជួរសំណើវិញ។ លទ្ធផល​គឺ​អាច​វាស់វែង​បាន​នូវ​ភាព​ប្រសើរ​ឡើង​ក្នុង​ប្រតិបត្តិការ​អាជីវកម្ម​ជាក់​ស្តែ​ង​ មិន​មែន​ត្រឹម​តែ​ស្តង់ដារ​ទេ។

សំណួរដែលគេសួរញឹកញាប់

តើ​ការ​បាច់​បន្ត​គឺ​ដូច​គ្នា​នឹង​ការ​បាច់​ថាមវន្ត​ក្នុង​ការ​បម្រើ TensorFlow ដែរ​ឬ​ទេ?

ទេ។ ការប្រមូលផ្តុំថាមវន្តរបស់ TensorFlow Serving ប្រមូលផ្តុំសំណើទៅជាបណ្តុំនៃទំហំអថេរដោយផ្អែកលើបង្អួចពេលវេលា និងជម្រៅជួរ ប៉ុន្តែវានៅតែដំណើរការបណ្តុំនីមួយៗតាមលក្ខណៈអាតូមពីដើមដល់ចប់។ បណ្តុំជាបន្តបន្ទាប់ដំណើរការនៅជំហានបង្កើតនិមិត្តសញ្ញាបុគ្គល ដែលអនុញ្ញាតឱ្យសមាសភាពបាច់ផ្លាស់ប្តូររាល់ការបញ្ជូនបន្ត។ ភាពខុសប្លែកគ្នាជាលំដាប់គឺជាមូលហេតុដែលការបន្តបាច់បន្តសម្រេចបាននូវដំណើរការកាន់តែខ្ពស់គួរឱ្យកត់សម្គាល់សម្រាប់បន្ទុកការងារជំនាន់ autoregressive ជាពិសេស។

តើ​ការ​បាច់​បន្ត​ទាមទារ​ការ​ផ្លាស់​ប្តូរ​ស្ថាបត្យកម្ម​គំរូ​ដែរ​ឬ​ទេ?

ស្ថាបត្យកម្មប្លែងស្តង់ដារ មិនត្រូវការការកែប្រែទេ។ ការបន្តបន្ទាប់គ្នាត្រូវបានអនុវត្តទាំងស្រុងនៅស្រទាប់បម្រើតាមរយៈការផ្លាស់ប្តូរទៅកម្មវិធីកំណត់ពេលសន្និដ្ឋាន អ្នកគ្រប់គ្រងអង្គចងចាំ និងខឺណែលយកចិត្តទុកដាក់។ ទោះជាយ៉ាងណាក៏ដោយ ការបង្កើនប្រសិទ្ធភាពមួយចំនួន - ជាពិសេស PagedAttention - តម្រូវឱ្យមានខឺណែល CUDA ផ្ទាល់ខ្លួនដែលជំនួសការអនុវត្តការយកចិត្តទុកដាក់ស្តង់ដារ ដែលជាមូលហេតុដែលក្របខ័ណ្ឌបន្តបន្ទាប់នៃថ្នាក់ផលិតកម្មដូចជា vLLM និង TensorRT-LLM មិនមែនជាការជំនួសសម្រាប់ម៉ាស៊ីនមេសនិទានដែលគោលបំណងទូទៅនោះទេ។

តើ​ផ្នែករឹង​អ្វី​ខ្លះ​ដែល​កំណត់​ប្រសិទ្ធភាព​នៃ​ការ​បន្តបន្ទាប់​គ្នា?

GPU HBM bandwidth និងសមត្ថភាព VRAM សរុបគឺជាឧបសគ្គចម្បង។ ឃ្លាំងសម្ងាត់ KV ធំជាងនេះ ត្រូវការអង្គចងចាំបន្ថែមទៀត ដោយកំណត់ការស្របគ្នាអតិបរមា។ ការតភ្ជាប់អន្តរកម្រិតបញ្ជូនខ្ពស់ (NVLink, Infiniband) ក្លាយជាកត្តាសំខាន់សម្រាប់ការដាក់ឱ្យប្រើប្រាស់ច្រើន GPU ដែលឃ្លាំងសម្ងាត់ KV ត្រូវតែចែកចាយលើឧបករណ៍នានា។ នៅក្នុងបរិស្ថានដែលមានកំហិតអង្គចងចាំ ការបង្កើនបរិមាណដ៏ខ្លាំងក្លានៃតម្លៃឃ្លាំងសម្ងាត់ KV (ពី FP16 ដល់ INT8 ឬ INT4) ស្តារសមត្ថភាពឡើងវិញដោយតម្លៃនៃការរិចរិលភាពត្រឹមត្រូវតិចតួចដែលអាចទទួលយកបានសម្រាប់កម្មវិធីពាណិជ្ជកម្មភាគច្រើន។

មិនថាអ្នកកំពុងបង្កើតលក្ខណៈពិសេសដែលដំណើរការដោយ AI ឬរៀបចំប្រតិបត្តិការអាជីវកម្មដ៏ស្មុគស្មាញនៅទូទាំងស្ថាប័នរបស់អ្នកទេ គោលការណ៍មូលដ្ឋានគឺដូចគ្នាបេះបិទ៖ លុបបំបាត់ពេលវេលាទំនេរ ទាមទារសមត្ថភាពឡើងវិញជាបន្តបន្ទាប់ និងដំណើរការការងារបន្ថែមទៀតជាមួយនឹងធនធានដែលអ្នកមានរួចហើយ។ Mewayz ដាក់គោលការណ៍នោះទៅជាការអនុវត្តនៅទូទាំង 207 ម៉ូឌុលរួមបញ្ចូលគ្នា — ពី CRM និង e-commerce រហូតដល់ការវិភាគ និងការសហការជាក្រុម — ដោយចាប់ផ្តើមពី $19 ក្នុងមួយខែ។

ត្រៀមខ្លួនដើម្បីដំណើរការអាជីវកម្មរបស់អ្នកពេញលេញហើយឬនៅ? ចាប់ផ្តើមការសាកល្បងឥតគិតថ្លៃរបស់អ្នកនៅ app.mewayz.com និងមើលពីរបៀបដែលអាជីវកម្ម 138,000 កំពុងដំណើរការកាន់តែឆ្លាតវៃជាមួយ Mewayz។