စာရေးသူ： Boxu Li 

နိဒါန်း

Macaron AI ၏ ထူးခြားမှုက အများအားဖြင့် အထူးပြု မီနီအက်ပ်များဖန်တီးခြင်း သို့မဟုတ် မျောပါသော သူငယ်ချင်း အဖြစ် လုပ်ဆောင်နိုင်ခြင်းများကြောင့် အာရုံကို ဆွဲဆောင်လေ့ ရှိသော်လည်း ၎င်း၏ အမှန်တရား အခြေခံအုတ်မြစ်မှာ နည်းနည်းရှုပ်ထွေးသော မှတ်ဉာဏ် စနစ် ဖြစ်သည်။ ဒီစနစ်က Macaron ကို အရေးကြီးတာကို မှတ်မိစေပြီး အရေးမကြီးတာကို မေ့ပေးပြီး သက်ဆိုင်ရာ အတွေ့အကြုံများကို အလျင်မြန်ဆုံးနှင့် ဘေးကင်းစွာ ပြန်လည်ရယူနိုင်စေသည်။ ဂီတအကြောင်း ရိုးရိုးစကားပြောဆိုမှုက မနက်ဖြန်ကျင်းပမည့် ဖျော်ဖြေရေးအစီအစဉ်ကို သတိပေးခြင်း၊ အလိုအလျောက် စုဆောင်းထားသော သီချင်းစာရင်း သို့မဟုတ် ကာရာအိုကေ အကူအညီပေးမှု ထုတ်ပေးခြင်းတို့ကို ဖြစ်စေသည်။ အချိန်ကြာရှည်သော စကားပြောဆိုမှုများနှင့် အမျိုးမျိုးသော မျိုးအစားများကို ကိုင်တွယ်နိုင်သော မှတ်ဉာဏ် စနစ်များ မတူမချင်း မရှိဘူးဆိုရင် ဒါတွေ အားလုံး မဖြစ်နိုင်ပါဘူး။ ဒီဘလော့ဂ်မှာ Macaron ရဲ့ မှတ်ဉာဏ်စနစ်ကို နည်းပညာပိုင်းဆိုင်ရာ နက်ရှိုင်းစွာ ဝင်ရောက်ရှာဖွေထားပြီး အဆင့်လိုက် စုပုံခြင်း, ဗက်တာ ရှာဖွေရေး, ထောက်ပံ့အားဖြင့် လုပ်ဆောင်မှု, သီးသန့်ကျူးလွန်မှု ထိန်းချုပ်မှု တို့ကို ဆွေးနွေးထားပါတယ်။ Macaron ရဲ့ ဒီဇိုင်းကို အခြား နောက်ထပ်ပြန်လည်ရယူမှု အသုံးပြုမှု (RAG) စနစ်များနှင့် နှိုင်းယှဉ်ပြီး ဂျပန်နှင့် ကိုရီးယား အသုံးပြုသူများ အတွေ့အကြုံကို ကိုယ်ပိုင်အတိုင်း ပျော်ရွှင်စေတဲ့ နည်းလမ်းများကို ဆွေးနွေးထားပါတယ်။

၁ အဆင့်ဆင့်မှတ်ဉာဏ်ကိုယ်စားပြုမှု

၁.၁ မော်ကွန်းအမျိုးအစားအလိုက်: ချဉ်းကပ်, အဖြစ်မှန်နှင့် ရေရှည်

Macaron သည်မှတ်ဉာဏ်ကို အမျိုးအစားများအလိုက် စီမံသည်။ ချဉ်းကပ်မှတ်ဉာဏ် သည် လက်ရှိစကားဝိုင်းကို ထိန်းသိမ်းပြီး messages ၈–၁၆ ခန့်ကို ဖြတ်သန်းသည်။ ၎င်းသည် သမားရိုးကျ transformer context နဲ့တူပါတယ်: tokens အစဉ်လိုက် အာရုံစိုက်မှုဖြင့် လုပ်ဆောင်သည်။ အဖြစ်မှန်မှတ်ဉာဏ် သည် လတ်တလော အပြန်အလှန် အပြောအဆိုများ (ဥပမာ- မကြာသေးမီရက်များ) ကို ထိန်းသိမ်းပြီး ကြာသင့်ကြာမှ ပြန်လည်တင်သစ်သည်။ ဒီမှာ Macaron သည် compressive transformer ကို အသုံးပြုသည်: messages များကို convolutional attention ဖြင့် အနှစ်ချုပ်ဗက်တာများအဖြစ် ဖိသိပ်ပြီး မူလ window အလျားကို ကျော်လွန်သော ပတ်ဝန်းကျင်ကို ထိန်းသိမ်းနိုင်ရန် မော်ဒယ် လုပ်ဆောင်သည်။ ရေရှည်မှတ်ဉာဏ် သည် အရေးကြီးသော အဖြစ်အပျက်များ၊ အချက်အလက်များနှင့် mini‑app အပြုသဘောအမူအရာများကို ထိန်းသိမ်းပြီး ဗက်တာဒေတာဘေ့(စ်) အဖြစ် အကောင်အထည်ဖော်သည်။ မှတ်ဉာဏ်အရာဝတ္ထုတိုင်းသည် metadata (အချိန်ကာလမှတ်သားချက်များ၊ ဒေသအမှတ်အသားများ၊ ဘာသာစကားအမှတ်အသားများ) နှင့် ဘာသာစကားအမျိုးမျိုးကို encode လုပ်ထားသော embedding ကို ပါဝင်သည်။

၁.၂ ဖိသိပ်မှုကို အနှစ်ချုပ်ခြင်းနှင့် အလိုအလျောက် encode လုပ်ခြင်းအတွက်

ရက်ရှည်စကားဝိုင်းများတွင် အဓိကပြဿနာများထဲမှ တစ်ခုမှာ self-attention အတွက် ကုန်ကျစရိတ်က အစီအစဉ်အရှည်နှင့်အမျှ စုန်းရုပ်ပုံဖြစ်လာခြင်းဖြစ်သည်။ ယင်းကို စီမံရန်၊ Macaron သည် latent summarization layer ကိုအသုံးပြုသည်။ လက်ကိုင်ချီသည့် token တစ်ခုစီကို တုံ့ပြန်ခြင်းမပြုဘဲ မော်ဒယ်သည် ထင်ရှားသော အပိုင်းအစများကို ဖော်ထုတ်ပြီး အမြဲတမ်း အရှည်ရှိသော ကိုယ်စားပြုချက်တစ်ခုအဖြစ် ဖိအားဖြစ်စေသည်။ ဤအလွှာကို ဖိအားဖြစ်သွားသော အကျဉ်းချုပ်များမှ လျှို့ဝှက်အခြေအနေများကို ပြန်လည်တည်ဆောက်ရာတွင် autoencoding ရည်မှန်းချက်ကို အသုံးပြု၍ လေ့ကျင့်သည်။ အင်္ဂါရပ်များကို နောက်ပိုင်းတွင် အရေးကြီးသော အသေးစိတ်များကို လွယ်လွယ်ကူကူ မှတ်မိနိုင်ရန် အရေးကြီးသော အချက်များကို မှတ်မိနိုင်ရန် policy ကို ဒဏ်ခတ်ခြင်းဖြင့် summarizer ကို အားကောင်းစေသည်။

၁.၃ pointer network အဖြစ် dynamic memory token

တိုင်ဝမ်သတင်းဆောင်းပါးတွင် ဖေါ်ပြထားသော မှတ်ဉာဏ်အမှတ်အသား သည် သက်ဆိုင်ရာအရာများကို ရွေးချယ်ရန် မှတ်ဉာဏ်ကို ဖြတ်သန်းသည့် ညွှန်ပြချက်ကဲ့သို့ လုပ်ဆောင်သည်။ ပြန်လည်မှတ်မိခြင်းအတွင်း အမှတ်အသားသည် မှတ်ဉာဏ်ဘဏ်ကို နိမ့်ဆင်းစွာ မေးမြန်းသည်။ ၎င်းသည် သက်ဆိုင်မှုကို သင်ယူထားသော အဆင့်သတ်မှတ်မှုအလုပ်လုပ်ရေးဖြင့် လက်ရှိအခြေအနေနှင့်ဆက်စပ်မှုကို ကန့်သတ်ထားသော မှတ်ဉာဏ်တစ်ခုကို ရယူသည်။ ပြန်လည်ပေးရန် သို့မဟုတ် ရှာဖွေရန် ဆက်လက်ဖြစ်စေသည်။ ဤဖြစ်စဉ်သည် နယူးရယ် ကွန်ဗိုင်နေးရှင်နယ် အော့ပ်တီမိုက်ဇေးရှင်းတွင် အသုံးပြုသော ညွှန်ပြကွန်ရက် နှင့် ဆင်တူသည်။ အားဖြည့်သည့်အချက်များသည် အသုံးပြုသူ၏ကျေနပ်မှုကို အများဆုံးဖြစ်စေရန် မှတ်ဉာဏ်များ၏ အစဉ်အတိုင်းရွေးချယ်ရန် အမှတ်အသားကို လမ်းညွှန်သည် (ဥပမာ- အသုံးပြုသူ၏ဂျက်ဇ်ကို ကြိုတင်ခန့်မှန်းခြင်းမှန်ကန်ခြင်း)။ အမှတ်အသားသည် မှတ်ဉာဏ်ကို ပြုပြင်နိုင်သည်။ သတင်းအချက်အလက်အသစ်များရောက်ရှိလာသောအခါ ၎င်းကို ရှိပြီးသားမှတ်ဉာဏ်များနှင့် ပေါင်းစပ်မလား သို့မဟုတ် အခန်းအသစ်ကို ခွဲဝေလာမလား ဆုံးဖြတ်သည်။

2 ဗက်တာ ရှာဖွေရန်နှင့် မေးခွန်းချဲ့ထွင်ရန်

2.1 အနီးဆုံး အိမ်နီးချင်းလိုက်ရှာခြင်း

Macaron ၏ ရေရှည်မှတ်ဉာဏ်သည် အမြင့် dimension အချိုးကျပြားဒေတာဘေ့စ်ကို အသုံးပြုသည်။ မေးခွန်းများကို ဘာသာစကားများစွာကို ကုဒ်ဖျော်ဖြေရန် အင်ကိုးဒါမှတစ်ဆင့် အထွေထွေသဘောထားအဖြစ်ပြောင်းလဲပြီး၊ အနီးဆုံးအနီးဆုံး အိမ်နီးချင်း (ANN) ရှာဖွေရေးသည် ထိပ်ဆုံး k မှတ်ဉာဏ်များကို ပြန်ပေးသည်။ စနစ်သည် ထုတ်ကုန်အရည်အသွေးကိုမြှင့်တင်ရန် ရှာဖွေရန်နှင့် မီလီစက္ကန် 50 အောက်တွင် ပျမ်းမျှချိန်ကြာမြင့်မှုကို ထိန်းသိမ်းရန် အသုံးပြုသည်၊ သန်းပေါင်းများစွာသောမှတ်ဉာဏ်အချက်အလက်များကို သိမ်းဆည်းနေစဉ်တွင်ပင် ဖြစ်သည်။ အဓိကမဟုတ်သော အတူတူများကို ရှောင်ရှားရန် စနစ်သည် အများဆုံးအနားကွပ်မျိုးနွယ်ပုံစံ (MMR) ကို လျှောက်ထားပြီး၊ ရလာဒ်များအနက်တွင် တူညီမှုနှင့် အမျိုးမျိုးသော ပုံစံများကို ညှိနှိုင်းသည်။

2.2 အကြောင်းအရာနှင့် အသုံးပြုသူရည်ရွယ်ချက်များဖြင့် မေးခွန်းများတိုးချဲ့ခြင်း

ရိုးရှင်းသော ကီးဝေါ့ခ်များကို တိကျသော်လည်း မင်းရဲ့ ရည်ရွယ်ချက်ကို လက်ခံရန် လုံလောက်ခြင်းမရှိပါ။ Macaron သည် အသုံးပြုသူ၏ လက်ရှိရည်ရွယ်ချက် နှင့် ဝင်စားမှုရည်ရွယ်ချက် ကို အသုံးပြု၍ မေးခွန်းများကို တိုးချဲ့သည်။ ဥပမာ၊ တိုကျိုရှိ အသုံးပြုသူက "花火大会" (မီးရှူးပွဲတော်) ကို ပြောကြားပါက စနစ်သည် ပွဲတော်များနှင့် ပတ်သက်သော သာမန် လုပ်ဆောင်ချက်များအပေါ် အခြေခံ၍ "လက်မှတ်များ", "ရက်စွဲ" နှင့် "ရာသီဥတု" အပါအဝင် မေးခွန်းကို တိုးချဲ့သည်။ ကိုရီးယားအသုံးပြုသူတစ်ဦးက "김치전 만드는 법" (ကင်ချီပေါင်ကိတ်ပြုလုပ်နည်း) အကြောင်း မေးမြန်းပါက စနစ်သည် အရင်က ချက်ပြုတ်မှု အတွေ့အကြုံများ, အာဟာရဒေတာနှင့် ဒေသဆိုင်ရာ ပစ္စည်းရရှိနိုင်မှုတို့ကိုလည်း ရှာဖွေသည်။ မေးခွန်းတိုးချဲ့မှုကို ဆွေးနွေးချက်အကြောင်းအရာကို သက်ဆိုင်သော အခန်းကဏ္ဍများအတွက် မြေပုံဆွဲရန် လေ့ကျင့်ထားသော ရည်ရွယ်ချက်ခန့်မှန်းသူ မှ ကိုင်တွယ်ပါသည်။

2.3 နယ်ပယ်အနှံ့ရှာဖွေရန်နှင့် သက်ဆိုင်မှုပေါင်းစည်းမှု

မှတ်ဉာဏ်အင်ဂျင်သည် နယ်ပယ်အမျိုးမျိုးကို ဖြတ်သန်းသော မေးခွန်းများကို ကိုင်တွယ်ရမည်ဖြစ်သည်။ Macaron ၏ ကိုယ်ပိုင်မော်ဒယ်ဆောင်းပါးတွင် ဖော်ပြထားသော သက်ဆိုင်မှု ဖက်ဒရေးရှင်း စနစ်သည် နယ်ပယ်အကန့်အသတ်များကို ဖြတ်၍ မှတ်ဉာဏ်များကို လက်လှမ်းမီစေရန် စနစ်ကို ခွင့်ပြုသည်။ ဂျပန်အသုံးပြုသူများကို မင်္ဂလာဆောင်အစီအစဉ်မှာ အကူအညီပေးသောအခါ ခရီးသွားလမ်းကြောင်းများ (မင်္ဂလာဆောင်ခရီးသွားရာနေရာများ)၊ ငွေကြေးမှတ်ဉာဏ်များ (ဘတ်ဂျက်) နှင့် ယဉ်ကျေးမှုမှတ်ဉာဏ်များ (မင်္ဂလာဆောင်အပြုအမူ) ကို သင်ယူရန် လိုအပ်နိုင်သည်။ နယ်ပယ်တစ်ခုစီတွင် သီးခြားရယူမှုညွှန်းကိန်းရှိပြီး၊ စနစ်သည် softmax gating function ကို အသုံးပြု၍ နယ်ပယ်များအနှံ့ ရယူမှုဖြစ်နိုင်ခြေများကို ဖြန့်ဝေသည်။ gating function ကို RL ဖြင့် လေ့ကျင့်ထားပြီး မသက်ဆိုင်သော အချက်အလက်များကို ရယူမှုကို လျှော့ချရန်နှင့် အရေးကြီးသော နယ်ပယ်ဖြတ်သန်းမှုဆက်သွယ်မှုများကို ပျက်ကွက်ခြင်းမရှိစေရန် စီစဉ်သည်။ ဘာသာစကားဖြတ်သန်းမေးခွန်းများအတွက် gating function သည် ဘာသာစကားတူမှတ်ဉာဏ်များကို သဘောတူနှစ်သက်ရန် အလေးထားပြီး အဓိပ္ပါယ်ဆိုင်ရာတူညီမှုမှာ မြင့်မားသောအခါ ဘာသာစကားဖြတ်သန်း ရယူမှုကို ခွင့်ပြုသည်။

3 Reinforcement‑Guided Memory Gating

3.1 Reward modelling and FireAct inspiration

Macaron အသင်းသည် FireAct စီမံကိန်းမှ ဒေါသခံစားမှုရသဖြင့် စိတ်ကူးယဉ်ခဲ့သည်၊ ၎င်းသည် RL ကို သင်ကြားခြင်းပြီးနောက် သဘောထားတိုးတက်မှုမှန်ကန်မှုကို prompt-based နည်းလမ်းများနှင့်နှိုင်းယှဉ်၍ ၇၇% တိုးတက်ကြောင်း ပြသခဲ့သည်။ Macaron တွင် RL ကို မှတ်ဉာဏ် ဂိတ်ဖွင့်မူဝါဒ ကို သင်ကြားရန် အသုံးပြုထားသည်။ ၎င်းသည် အချက်အလက်ကို သိမ်းထားရန်၊ အသစ်ပြင်ရန် သို့မဟုတ် ဖျက်ရန်နှင့် ပြန်လည်မှတ်ဉာဏ်များကို ဘယ်လို အားတင်းထို့သိုက်တန်ဖိုးထားမည်ကို ဆုံးဖြတ်သည်။ အကျိုးခံစားမှုအလုပ်အကိုင်သည် အချက်များစွာကို ပေါင်းစပ်ထားသည် - အလုပ်ပြီးမြောက်မှု၊ အသုံးပြုသူကျေနပ်မှု၊ ကိုယ်ရေးရာဇဝင်နှင့် လျှို့ဝှက်မှုလိုက်နာမှုနှင့် ကွန်ပျူတာထိရောက်မှု။ ဥပမာအားဖြင့်၊ မှတ်ဉာဏ်များ အလွန်များစွာကို ပြန်လည်သိမ်းဆည်းခြင်းသည် တုန့်ပြန်မှုများကို နှေးကွေးစေသောကြောင့် အကျိုးခံစားမှုသည် မလိုအပ်သော မှတ်ဉာဏ်ကို အပြစ်ပေးသည်။ သက်ဆိုင်ရာအသေးစိတ်အချက်အလက်များကို မေ့ပျက်ခြင်းသည် အသုံးပြုသူကျေနပ်မှုနည်းလျော့စေနိုင်သောကြောင့် မူဝါဒသည် ၎င်းတို့ကို ပိုမိုကြာမြင့်စွာ ထိန်းသိမ်းရန် သင်ယူသည်။ အကျိုးခံစားမှုအလုပ်အကိုင်သည် ဂျပန်နှင့် ကိုရီးယားစျေးကွက်များအတွက် ကွဲပြားစွာ အဆင်ပြေအောင် လျှောက်ထားထားသည် - ဂျပန်အသုံးပြုသူများသည် ကိုယ်ရေးရာဇဝင်များကို သာလွန်စွာဝေမျှခြင်းကို အပြစ်ပေးနိုင်ပြီး၊ ကိုရီးယားအသုံးပြုသူများသည် လျင်မြန်မှုနှင့် အကြံပြုချက်များကို တန်ဖိုးထားနိုင်သည်။

3.2 အချိန်အပေးအယူနှင့် အချိန်ပေါင်းထည့်ခြင်း

အားဖြည့်သင်ယူမှုသည် ကြာရှည်သော အချိန်ကာလများတွင် မကြာခဏ အခက်အခဲများကို ကြုံတွေ့ရသည်။ ယခုလုပ်ဆောင်ချက်များသည် အနာဂတ်တွင် ရလဒ်များကို အကျိုးသက်ရောက်မှုရှိနိုင်သည်။ Macaron သည် အချိန်တိုင်ကြားမှ ဖြစ်ရပ်များကို အချိန်တံဆိပ်နှင့် 서사ကြိုးများဖြင့် ချိတ်ဆက်ထားသော အချိန်ချည်နှောင်မှု အစီအစဉ်ဖြင့် ပြဿနာကို ဖြေရှင်းသည်။ အတိတ်မှ အကြောင်းအရာတစ်ခုကို ပြန်လည်မှတ်မိခြင်း၏ အကျိုးသက်ရောက်မှုကို အကဲဖြတ်ရာတွင် စနစ်သည် ဆက်တိုက်ဖြစ်ပေါ်ခဲ့သော အပြန်အလှန်ဆက်သွယ်မှုများကို လမ်းကြောင်းကို ခြေရာခံနိုင်သည်။ ၎င်းသည် RL ကိုယ်စားလှယ်အနေဖြင့် အမှတ်အသားလှုံ့ဆော်မှုများ သို့မဟုတ် အပြစ်တင်မှုများကို သီးသန့်ပြန်လည်ယူဆောင်မှုဆုံးဖြတ်ချက်များကို သတ်မှတ်ရန် ခွင့်ပြုသည်။ ဥပမာအားဖြင့် မေ့နေသော နှစ်ပတ်လည်နေ့ကို ကိုးကားခြင်းက ဆက်ဆံရေးကို တိုးတက်စေရန် ကူညီပေးခဲ့လျှင်၊ စနစ်သည် နှစ်ပတ်လည်နေ့မှတ်ဉာဏ်ကို ထိန်းသိမ်းထားသည့် မှတ်ဉာဏ်ဂိတ်ကို အပြုသဘောဆောင်သော ဆုကြေးငွေကို ချီးမြှင့်သည်။ အရှက်ရသော အခိုက်အတန့်ကို ပြန်လည်ထူထောင်ခြင်းက အနှောင့်အယှက်ဖြစ်စေခဲ့လျှင်၊ ဂိတ်သည် အနုတ်လက္ခဏာဆုကြေးငွေကို လက်ခံရရှိသည်။

3.3 အဆင့်လိုက် RL နှင့် ပိုင်းခြားထားသော ဂိတ်သွင်းမူဝါဒများ

Macaron သည် အဆင့်မြင့်ချိတ်ဆက်အားဖြင့် အပြောင်းအလဲများကို စီမံခန့်ခွဲသည်။ အထက်တန်းထိန်းချုပ်သူသည် အသုံးပြုသူ၏ လက်ရှိရည်မှန်းချက်အပေါ် မူတည်၍ modules (ဥပမာ ရှာဖွေမှု၊ အနှစ်ချုပ်ရေး၊ ဖိအားချမှု) ကို ရွေးချယ်သည်၊ အနိမ့်အဆင့်မူဝါဒများသည် တစ်ခုချင်းစီသော module အတွင်းရှိ အထူးသတ်မှတ်ချက်များကို ကိုင်တွယ်သည်။ ဤ module အဆင့်ပြုလုပ်မှုသည် အပြောင်းအလဲလေ့လာမှုကို အထောက်အပံ့ပြုသည် - ဂျပန်ချက်ပြုတ်စကားပြောမှုများအတွက် လေ့ကျင့်ထားသော gating မူဝါဒကို ကိုရီးယားချက်ပြုတ်ချက်ပြုတ်မှုများအတွက် ပြန်လည်အသုံးပြုနိုင်သည်။ ၎င်းသည် Macaron ကို စနစ်တစ်ခုလုံးကို ပြန်လည်လေ့ကျင့်ခြင်းမရှိဘဲ တစ်ခုချင်းစီသော module များကို အပ်ဒိတ်လုပ်ရန် ခွင့်ပြုသည်။ တည်ငြိမ်မှုအတွက် Macaron သည် အရပ်ကွက်ယုံကြည်မှုဖြင့် proximal policy optimization (PPO) ကို အသုံးပြုသည်၊ ရှာဖွေရန်နှင့် လုပ်ဆောင်မှုကို လျက်ထားခြင်းကို တိုင်းတာပြီး အလွန်အကျွံမေ့ပျောက်ခြင်းကို ကာကွယ်သည်။

4 အခြားမှတ်ဉာဏ်စနစ်များနှင့် နှိုင်းယှဉ်ခြင်း

4.1 Retrieval‑augmented generation (RAG)

အများစုသော AI စနစ်များသည် အပြင်မှ ဒေတာဘေ့စ်များမှ အချက်အလက်များကို ရယူခြင်းအားဖြင့် အမှန်တကယ်တိကျမှုကို မြှင့်တင်ရန် ရယူ-မူရင်းအဆောက်အအုံကို အသုံးပြုကြသည်။ GPT‑4 ကဲ့သို့သော မော်ဒယ်များသည် RAG ဖြင့် အမြဲတမ်း သိကောင်းစရာအခြေခံများကို အားကိုးပြီး အသုံးပြုသူ၏ အကြံပြုချက်အပေါ် မူတည်၍ ရယူမှုကို မသင့်တော်စေရန် မပြောင်းရွှေ့နိုင်ပါ။ Macaron ၏ မှတ်ဉာဏ်အင်ဂျင်သည် အောက်ပါ သုံးချက်အထူးသဖြင့် ကွဲပြားသည်။

1. ပုဂ္ဂိုလ်ရေးအကြောင်းအရာ: မှတ်ဉာဏ်များသည် အထွေထွေ ဝဘ်ဝက်ဘ်စာရွက်စာတမ်းများထက် အသုံးပြုသူအထူးအခြေအနေဖြစ်သည်။ ရယူမှုသည် သိပ်အကျဉ်းကျဉ်းသော အချက်အလက်များမဟုတ်ဘဲ အတွေ့အကြုံများနှင့်ရည်မှန်းချက်များကို ထုတ်ပေးသည်။
2. အတည်ပြုမှု-လမ်းညွှန်သိုလှောင်မှု: စနစ်သည် reward အချက်ပြမှတ်များအပေါ် မူတည်၍ ဘာကို သိုလှောင်ရမည် သို့မဟုတ် မေ့ပျောက်ရမည်ကို လေ့လာသည်။ RAG စနစ်များသည် တစ်ခါတစ်ရံ အားလုံးကို မရွေးစွဲသိမ်းထားသည်။
3. သီးသန့်ရေးနှင့် မူဝါဒချုပ်ကိုင်မှု: မှတ်ဉာဏ်တိုင်းတွင် သီးသန့်ရေး metadata ပါရှိပြီး ရယူမူသည် ဝင်ခွင့်စည်းမျဉ်းများကို လေးစားသည်။ RAG အကောင်အထည်ဖျော်မှုများအများစုသည် ပိုမိုနက်မြက်သော ထိန်းချုပ်မှုမရှိပါ။

4.2 ရှည်လျားသော-အကြောင်းအရာဘာသာစကားမော်ဒယ်များ

နောက်ဆုံး LLMs တွေဖြစ်တဲ့ Anthropic ရဲ့ Claude 3 နဲ့ Google ရဲ့ Gemini က သုံးရာနှင့်ချီတဲ့ထောင်ပေါင်းများစွာသော token တွေရဲ့ context များကို attention window ကိုချဲ့ထွင်ခြင်းအားဖြင့် ကိုင်တွယ်နိုင်ပါတယ်။ ဒီမော်ဒယ်တွေက ထုတ်ယူမှုကို တိတိကျကျမပြုလုပ်ပေမယ့် အရှည်ကြီးစဉ်းစားမှုတွေကို ချိန်ညှိနိုင်စွမ်းပေါ်အခြေခံပါတယ်။ ဒါဟာ သူတို့ကို ယခင်စကားပြောကဏ္ဍတွေကို သတိရနိုင်စေပြီး ကွန်ပျူတာထိရောက်မှုအလွန်ကြီးမားပြီး အသုံးပြုသူပြန်လည်မေ့နေမှုကို ထောက်ပံ့ပေးမယ့်ပုံစံမျိုးမဟုတ်ပါဘူး။ Macaron က အလယ်အလတ် context ကို ထုတ်ယူမှုနဲ့ ပေါင်းစပ်ပြီး ကုန်ကျစရိတ်နည်းပြီး လုံခြုံရေးထိန်းချုပ်မှုပိုမိုကောင်းမွန်တဲ့ coverage ကိုရရှိစေပါတယ်။ dynamic memory token က အပြင်ပန်းသိုလှောင်မှုကို ညွှန်ပြတဲ့အရာကဲ့သို့ သက်ရောက်ပြီး မော်ဒယ်ကို အထက်တန်း context မှာ အားလုံးကို သိမ်းဆည်းခြင်းမရှိပဲ နှစ်ပေါင်းများစွာသော ဒေတာကို ကိုင်တွယ်နိုင်စေပါတယ်။

4.3 ဗက်တာဒေတာဘေ့စ်များနှင့် အမှတ်ရကွန်ယက်များ

Pineconeနဲ့Faissလို့ခေါ်တဲ့ဗက်တာဒေတာဘေ့စတွေကိုပြန်လည်ထုတ်ယူရေးတာဝန်အတွက်အထူးသဖြင့်သုံးကြပါတယ်။ Macaronရဲ့ရေရှည်သိုလှောင်မှုကဒီနည်းပညာတွေကိုအခြေခံထားပြီး RL-ထိန်းချုပ်မှုအတံ့အဖျားနဲ့ပေါင်းစပ်ထားပါတယ်။ အစောပိုင်းမှတ်ဉာဏ်ကွန်ယက်တွေကတော့ End-to-End Memory Networkလိုမျိုးအရည်အချင်းသတ်မှတ်ပြီးသားမှတ်ဉာဏ်ကွက်ဆိုဒ်တစ်ခုကိုရှေ့ရောက်ပြီးနူးညံ့တဲ့အာရုံစူးစိုက်မှုနဲ့ဆောင်ရွက်ပါတယ်။ Macaronကတော့ကွက်ဆိုဒ်အရေအတွက်ကိုဒိုင်နမိတ်ထွက်တိုးသို့မဟုတ်ကျစီးဖို့ခွင့်ပြုထားပြီးဘယ်ကွက်ဆိုဒ်တွေကျန်နေသလဲဆိုတာကို RL သုံးပြီးဆုံးဖြတ်ပါတယ်။ ဒီအနေနဲ့ဆို Macaronရဲ့မှတ်ဉာဏ်အင်ဂျင်ကအပြင်ဘက်မှတ်ဉာဏ်တိပ်ကိုဖတ်ခြင်းနဲ့ရေးခြင်းလုပ်ဆောင်တဲ့အခါမှာလေ့လာထားတဲ့ထိန်းချုပ်သူနဲ့အတူရှိတဲ့နျူရယ် Turing စက်တစ်ခုလိုပိုပြီးတူပါတယ်။

၅ ကိုယ်ရေးအချက်အလက်နဲ့စည်းမျဉ်းစည်းကမ်းကိုက်ညီမှု

၅.၁ မူဝါဒပေါင်းချုပ်ခြင်းနှင့်ခွဲခြားထားသောထင်ရှားမှု

ဒေသထိန်းသိမ်းရေးစည်းမျဉ်းများနှင့်ကိုက်ညီမှုမှာ အရေးကြီးပါတယ်။ မူဝါဒချုပ်ကိုင်ခြင်းသည် ဖတ်ရှုနိုင်သောလုံခြုံရေးစည်းကမ်းများကို ဒေတာအပေါ်တွင်ပူးတွဲပါဝင်စေသည်။ ဥပမာအားဖြင့်၊ ဘဏ္ဍာရေးဒေတာပါဝင်သောမှတ်ဉာဏ်တစ်ခုသည် ဓာတ်ခွဲဖော်ထုတ်မှုအတည်ပြုချက်ပြီးမှသာဝင်ရောက်ကြည့်ရှုနိုင်သော စည်းကမ်းတစ်ခုပါဝင်နိုင်ပါသည်။ အထူးသဖြင့် ပွင့်လင်းမြင်သာမှုသည် အမျိုးမျိုးသောအဆင့်များကို ကွဲပြားစွာထုတ်ဖော်ပေးသည်။ ဂျပန်စားသုံးသူတစ်ယောက်သည် သူ၏ကိုယ်ပိုင်ဒေတာကို ကြည့်ရှုနိုင်ပြီး၊ ကိုရီးယားထိန်းသိမ်းရေးအဖွဲ့သည် စုစုပေါင်းစာရင်းကိုင်းများကို ရှုနိုင်ပြီး၊ ဖွံ့ဖြိုးတိုးတက္ကစီတီဇများအတွက် ဖွံ့ဖြိုးမှုအတွက် အမည်မဖော်ဆောင်ရွက်ချက်များကို ရရှိပါသည်။ ဒီစနစ်များသည် AI မြှင့်တင်ရေးဥပဒေ၏ ပွင့်လင်းမြင်သာမှုကို အလေးပြုခြင်းနှင့် ကိုရီးယား AI ဖွဲ့စည်းပုံအက်ဥပဒေ၏ အန္တရာယ်စီမံခန့်ခွဲမှုနှင့် လူသိရှိမှုစီမံခန့်ခွဲမှုလိုအပ်ချက်များနှင့် ကိုက်ညီသည်။

5.2 အပြစ်တင်ခြင်းနှင့် တာဝန်ခံမှု

ဂျပန်နိုင်ငံရဲ့ AI ကြိုးပမ်းမှု တရားဥပဒေမှာ တိုက်ရိုက်ပြစ်ဒဏ်တွေမပါဘဲ လုပ်ငန်းတွေကို အများပြည်သူအနေဖြင့် မလိုက်နာတဲ့အဖြစ်သတ်မှတ်တင်ပြတဲ့ အမည်နှင့်အရှက် စနစ်ကိုသုံးပါတယ်။ Macaron ရဲ့ စစ်ဆေးမှု မှတ်တမ်းတွေက မှတ်ဉာဏ်ဝင်ရောက်မှုနဲ့ မူဝါဒဆုံးဖြတ်ချက်တွေကို လိုက်လံစစ်ဆေးပြီး အစီရင်ခံစာတွေကို ထုတ်ပြန်ခွင့်ပြုပါတယ်။ ကိုရီးယားရဲ့ အခြေခံဖွဲ့စည်းပုံက ဖောက်ပြန်မှုများအတွက် KRW ၃၀ သန်းအထိ ဒဏ်ငွေကျသင့်နိုင်ပါတယ်။ Macaron က မှတ်ဉာဏ်ဖြစ်စဉ်တိုင်းကို metadata တွဲဖက်ခြင်းအားဖြင့် ကိုက်ညီမှုအစီရင်ခံစာများကို အလိုအလျောက်ထုတ်နိုင်ပါတယ်။ စနစ်က အသုံးပြုသူတွေကို မိမိတို့ဒေတာကို တင်ပို့ခြင်းနှင့် ဖျက်ခြင်းလုပ်ဆောင်ခွင့်ပြုပြီး ဒေတာသယ်ယူနိုင်မှုအတွက် နိုင်ငံတကာစံချိန်စံညွှန်းအသစ်နဲ့ လိုက်ဖက်အောင်လုပ်ဆောင်ပါတယ်။

5.3 လူ့မှတ်ဉာဏ်နဲ့ အလားတူမှုများ

Macaron ၏မေတ္တာစနစ်သည် လူ့မှတ်ဉာဏ်၏ဖွဲ့စည်းပုံကို အတုယူထားသည်။ ဉာဏ်ရည်ပညာရှင်များသည် အလုပ်မှတ်ဉာဏ် ကို ကြိုတင်မေတ္တာခေါင်းစဉ်တွင် ကန့်သတ်ထားသော အမြင်အာရုံဖြစ်ကြောင်း ဖော်ပြကြပြီး ဖြစ်ရပ်မှတ်ဉာဏ် ကို ဟစ်ပါကမ်ပတ်စ်ဖြင့် အဖြစ်အပျက်အခြေပြုသိမ်းဆည်းမှုအဖြစ် ဖေါ်ပြကြသည်၊ ဆောင်ဒဏ်မှတ်ဉာဏ် ကို ပညာရပ်အဖြစ် ကောင်းမွန်သောအချက်အလက်ကို ဤနယ်ပယ်အနှံ့ ဖြန့်ဝေထားသည်။ ထို့နောက် Macaron တွင် အတိုချုပ်အကြောင်းအရာပြောင်းလဲမှု၊ ဖြစ်ရပ်မှတ်ဉာဏ်နှင့် ရေရှည်ဗက်တာဒေတာဘေ့စ်တို့ရှိသည်။ ကိုးကားမှုဖျက်သိမ်းခြင်း သည် လူတွေ့ကြုံရသော မေတ္တာမေ့မြောမှုအတိုင်း မြင်သာမှုကို ဖျက်သိမ်းထားသည်။ အချိန်ကြိုးဆွဲခြင်း သည် လူများသည် အချိန်ဘဝဇာတ်လမ်းများကို ဆက်စပ်ခြင်းဖြင့် ဖန်တီးပုံကို အနားယူသည်။ ဤစနစ်များကို အတုယူခြင်းဖြင့် Macaron သည် ကွန်ပျူတာအရင်းအမြစ်များကို အထူးပြုစွာ အားပေးရုံသာမက ပို၍ သဘာဝကျသော အပြန်အလှန်လုပ်ဆောင်မှုများကိုလည်း ဖန်တီးသည်။ အသုံးပြုသူတစ်ဦးသည် ကလေးဘဝပွဲတော်ကို ပြန်လည်ထင်ယောင်သောအခါ၊ အေးဂျင့်က ဆက်စပ်ဖြစ်ရပ်များကို ပြန်လည်မှတ်မိ၍ လက်ရှိစကားဝိုင်းတွင် ကဲ့ရဲရာသည့်အတိုင်း လူမိတ်ဆွေအဖြစ် ပြန်လည်ဖွဲ့စည်းနိုင်သည်။

5.4 အနာဂတ်သုတေသနညွှန်းချက်များ

Macaron ရဲ့ အမှတ်ရည်အင်ဂျင်ဟာ ရှုထောင့်တွေမရှိပေမယ့် မေးခွန်းတွေကို ဖွင့်လှစ်ထားတယ်။ မိမိကိုယ်ကိုချုံ့တဲ့ အမှတ်ရည် ဆိုတဲ့နေရာတစ်ခုမှာ အပြင်ပထိန်းချုပ်မှုမရှိဘဲ အမှတ်ရည်တွေကို အလိုအလျောက် အကျဉ်းချုပ်ပြီး ချုံ့တဲ့ နယူးရယ်မော်ဂျူးတွေကို တီထွင်နေတယ်။ နောက်တစ်ခုက ဘဝတစ်လျှောက်လေ့လာခြင်း ဖြစ်ပြီး အသုံးပြုသူအပြုအမူတွေ ပြောင်းလဲလာတာနဲ့အညီ အမှတ်ရည်စီမံခန့်ခွဲမှုနည်းဗျူဟာတွေကို အမြဲပြောင်းလဲနိုင်ဖို့ အေးဂျင့်အတွက် အထောက်အပံ့ပေးတာပါ။ ဘာသာစကားအနှံ့ အလျှင်အမြန်ညှိတဲ့အရာကတော့ လက်ရှိသုတေသနခေါင်းစဉ်တစ်ခုဖြစ်ပြီး အနာဂတ်မော်ဒယ်တွေက ဂျပန်၊ ကိုရီးယားနဲ့ အခြားဘာသာစကားတွေ အနှံ့ အမှတ်ရည်တွေကို ပိုပြီးချောမွေ့စွာညှိနိုင်းဖို့ မျှဝေမှုကိုယှဉ်ပြိုင်ရုပ်ပုံ ဖန်တီးခြင်း ကို အသုံးပြုနိုင်တယ်။ သုတေသနပညာရှင်တွေကလည်း အမှတ်ရည်ကို စွမ်းအင်သက်သာစွာ အကောင်အထည်ဖော်ဖို့ နယူးရော်ဖော်မိုက်ဟာ့ဒ်ဝဲ နဲ့ အပြစ်အနာအဆာနယူးရယ်ကွန်ရက်တွေကို စူးစမ်းလေ့လာနေကြတယ်။ နောက်ဆုံးအနေနဲ့ ဖက်ဒရယ်လေ့လာမှု ကို ပေါင်းစပ်တာက အသုံးပြုသူတွေကို Macaron ရဲ့ အမှတ်ရည်မော်ဒယ်တွေကို ဒေတာကြမ်းမျှဝေဘဲ မော်ဒယ်အသစ်တွေကိုသာ မျှဝေပြီး တစ်ဦးချင်းစီရဲ့ လုံခြုံရေးကို မြှင့်တင်ရင်း ပေါင်းစပ်လုပ်ဆောင်မှုကို တိုးတက်စေမှာဖြစ်တယ်။