ການປະມວນຜົນລ່ວງໜ້າຂອງ AI ແມ່ນຫຍັງ? [ວິດີໂອ ແລະ ແບບສອບຖາມ]

ຄຳຕອບສັ້ນໆ: ການປະມວນຜົນລ່ວງໜ້າຂອງ AI ແມ່ນຊຸດຂອງຂັ້ນຕອນທີ່ສາມາດເຮັດຊ້ຳໄດ້ ເຊິ່ງປ່ຽນຂໍ້ມູນດິບທີ່ມີຄວາມແຕກຕ່າງກັນສູງໃຫ້ກາຍເປັນຂໍ້ມູນປ້ອນເຂົ້າຂອງຮູບແບບທີ່ສອດຄ່ອງກັນ, ລວມທັງການທຳຄວາມສະອາດ, ການເຂົ້າລະຫັດ, ການຂະຫຍາຍ, ການສ້າງໂທເຄັນ, ແລະ ການປ່ຽນຮູບພາບ. ມັນມີຄວາມສຳຄັນເພາະວ່າຖ້າຂໍ້ມູນປ້ອນເຂົ້າການຝຶກອົບຮົມ ແລະ ຂໍ້ມູນປ້ອນເຂົ້າການຜະລິດແຕກຕ່າງກັນ, ຮູບແບບສາມາດລົ້ມເຫຼວໄດ້ຢ່າງງຽບໆ. ຖ້າຂັ້ນຕອນໃດໜຶ່ງ "ຮຽນຮູ້" ພາລາມິເຕີ, ໃຫ້ປັບມັນໃສ່ຂໍ້ມູນການຝຶກອົບຮົມເທົ່ານັ້ນເພື່ອຫຼີກເວັ້ນການຮົ່ວໄຫຼ.

ການປະມວນຜົນລ່ວງໜ້າຂອງ AI ແມ່ນທຸກຢ່າງທີ່ທ່ານເຮັດກັບຂໍ້ມູນດິບກ່ອນ (ແລະບາງຄັ້ງໃນລະຫວ່າງ) ການຝຶກອົບຮົມ ຫຼື ການອະນຸມານ ເພື່ອໃຫ້ຮູບແບບສາມາດຮຽນຮູ້ຈາກມັນໄດ້. ບໍ່ພຽງແຕ່ "ການເຮັດຄວາມສະອາດ". ມັນແມ່ນການເຮັດຄວາມສະອາດ, ການສ້າງຮູບຮ່າງ, ການຂະຫຍາຍ, ການເຂົ້າລະຫັດ, ການເພີ່ມ, ແລະ ການຫຸ້ມຫໍ່ຂໍ້ມູນເຂົ້າໃນການນຳສະເໜີທີ່ສອດຄ່ອງກັນ ເຊິ່ງຈະບໍ່ເຮັດໃຫ້ຮູບແບບຂອງທ່ານສັບສົນໃນພາຍຫຼັງ. [1]

ບົດຮຽນຫຼັກ:

ຄຳນິຍາມ: ການປະມວນຜົນລ່ວງໜ້າຈະປ່ຽນຕາຕະລາງດິບ, ຂໍ້ຄວາມ, ຮູບພາບ ແລະ ບັນທຶກຕ່າງໆໃຫ້ເປັນຄຸນສົມບັດທີ່ພ້ອມສຳລັບໂມເດວ.

ຄວາມສອດຄ່ອງ: ນຳໃຊ້ການຫັນປ່ຽນດຽວກັນໃນລະຫວ່າງການຝຶກອົບຮົມ ແລະ ການອະນຸມານເພື່ອປ້ອງກັນຄວາມລົ້ມເຫຼວທີ່ບໍ່ກົງກັນ.

ການຮົ່ວໄຫຼ: ໃຫ້ຕິດຕັ້ງເຄື່ອງຂະຫຍາຍຂະໜາດ, ເຄື່ອງເຂົ້າລະຫັດ ແລະ ເຄື່ອງໂທເຄັນໃສ່ຂໍ້ມູນການຝຶກອົບຮົມເທົ່ານັ້ນ.

ຄວາມສາມາດໃນການຜະລິດຊ້ຳ: ສ້າງທໍ່ສົ່ງຂໍ້ມູນດ້ວຍສະຖິຕິທີ່ສາມາດກວດສອບໄດ້, ບໍ່ແມ່ນລຳດັບເຊວປື້ມບັນທຶກແບບ ad-hoc.

ການຕິດຕາມກວດກາການຜະລິດ: ຕິດຕາມຄວາມອຽງ ແລະ ການດຣິຟ ເພື່ອບໍ່ໃຫ້ການປ້ອນຂໍ້ມູນຄ່ອຍໆຫຼຸດລົງ.

ບົດຄວາມທີ່ທ່ານອາດຈະຢາກອ່ານຫຼັງຈາກບົດຄວາມນີ້:

🔗 ວິທີການທົດສອບຮູບແບບ AI ສຳລັບປະສິດທິພາບໃນໂລກຕົວຈິງ
ວິທີການປະຕິບັດຕົວຈິງເພື່ອປະເມີນຄວາມຖືກຕ້ອງ, ຄວາມທົນທານ ແລະ ຄວາມລຳອຽງຢ່າງວ່ອງໄວ.

🔗 AI ປ່ຽນຂໍ້ຄວາມເປັນສຽງແມ່ນບໍ ແລະ ມັນເຮັດວຽກແນວໃດ
ອະທິບາຍພື້ນຖານຂອງ TTS, ການນຳໃຊ້ຫຼັກ ແລະ ຂໍ້ຈຳກັດທົ່ວໄປໃນປະຈຸບັນ.

🔗 AI ສາມາດອ່ານລາຍມືດ້ວຍຕົວໜັງສືໄດ້ຢ່າງຖືກຕ້ອງໃນມື້ນີ້ບໍ?
ກວມເອົາສິ່ງທ້າທາຍໃນການຮັບຮູ້, ເຄື່ອງມືທີ່ດີທີ່ສຸດ, ແລະ ຄຳແນະນຳກ່ຽວກັບຄວາມຖືກຕ້ອງ.

🔗 AI ມີຄວາມຖືກຕ້ອງແນວໃດໃນວຽກງານທົ່ວໄປ
ແບ່ງແຍກປັດໄຈຄວາມຖືກຕ້ອງ, ມາດຕະຖານ ແລະ ຄວາມໜ້າເຊື່ອຖືໃນໂລກຕົວຈິງ.

ການປະມວນຜົນລ່ວງໜ້າຂອງ AI ໃນພາສາທຳມະດາ (ແລະສິ່ງທີ່ມັນບໍ່ແມ່ນ) 🤝

ການປະມວນຜົນລ່ວງໜ້າຂອງ AI ແມ່ນການຫັນປ່ຽນຂໍ້ມູນດິບ (ຕາຕະລາງ, ຂໍ້ຄວາມ, ຮູບພາບ, ບັນທຶກ) ໄປເປັນຄຸນສົມບັດທີ່ພ້ອມໃຊ້ກັບຮູບແບບ. ຖ້າຂໍ້ມູນດິບເປັນບ່ອນເກັບມ້ຽນທີ່ວຸ້ນວາຍ, ການປະມວນຜົນລ່ວງໜ້າແມ່ນການຕິດປ້າຍໃສ່ກ່ອງ, ຖິ້ມຂີ້ເຫຍື້ອທີ່ແຕກຫັກ, ແລະ ວາງສິ່ງຂອງຊ້ອນກັນເພື່ອໃຫ້ທ່ານສາມາດຍ່າງຜ່ານໄດ້ໂດຍບໍ່ມີການບາດເຈັບ.

ມັນບໍ່ແມ່ນຕົວແບບເອງ. ມັນແມ່ນສິ່ງທີ່ເຮັດໃຫ້ຕົວແບບເປັນໄປໄດ້:

• ການປ່ຽນໝວດໝູ່ໃຫ້ເປັນຕົວເລກ (ໜຶ່ງຮ້ອນ, ລຳດັບ, ແລະອື່ນໆ) [1]

• ການຂະຫຍາຍຂອບເຂດຕົວເລກຂະໜາດໃຫຍ່ໃຫ້ເປັນຂອບເຂດທີ່ສົມເຫດສົມຜົນ (ມາດຕະຖານ, ຕໍ່າສຸດ-ສູງສຸດ, ແລະອື່ນໆ) [1]

• ການໃສ່ລະຫັດຂໍ້ຄວາມເຂົ້າໃນ ID ປ້ອນຂໍ້ມູນ (ແລະໂດຍປົກກະຕິແລ້ວແມ່ນໜ້າກາກເອົາໃຈໃສ່) [3]

• ການປັບຂະໜາດ/ການຕັດຮູບພາບ ແລະ ການນຳໃຊ້ການຫັນປ່ຽນແບບກຳນົດໄວ້ vs ແບບສຸ່ມຢ່າງເໝາະສົມ [4]

• ການສ້າງທໍ່ສົ່ງຂໍ້ມູນທີ່ເຮັດຊ້ຳໄດ້ ດັ່ງນັ້ນການຝຶກອົບຮົມ ແລະ ການປ້ອນຂໍ້ມູນ "ໃນຊີວິດຈິງ" ຈະບໍ່ແຕກຕ່າງກັນໃນທາງທີ່ລະອຽດອ່ອນ [2]

ຂໍ້ສັງເກດທີ່ເປັນປະໂຫຍດເລັກນ້ອຍຢ່າງໜຶ່ງ: "ການປະມວນຜົນກ່ອນ" ປະກອບມີ ສິ່ງໃດກໍ່ຕາມທີ່ເກີດຂຶ້ນຢ່າງຕໍ່ເນື່ອງກ່ອນທີ່ຮູບແບບຈະເຫັນການປ້ອນຂໍ້ມູນ. ບາງທີມແບ່ງສິ່ງນີ້ອອກເປັນ "ວິສະວະກຳຄຸນສົມບັດ" ທຽບກັບ "ການເຮັດຄວາມສະອາດຂໍ້ມູນ", ແຕ່ໃນຊີວິດຈິງເສັ້ນເຫຼົ່ານັ້ນມົວ. 

ເປັນຫຍັງການປະມວນຜົນລ່ວງໜ້າຂອງ AI ຈຶ່ງມີຄວາມສຳຄັນຫຼາຍກວ່າທີ່ຄົນເຮົາຍອມຮັບ 😬

ຮູບແບບແມ່ນຕົວຈັບຄູ່ຮູບແບບ, ບໍ່ແມ່ນຕົວອ່ານຄວາມຄິດ. ຖ້າຂໍ້ມູນຂອງເຈົ້າບໍ່ສອດຄ່ອງກັນ, ຮູບແບບຈະຮຽນຮູ້ກົດລະບຽບທີ່ບໍ່ສອດຄ່ອງກັນ. ນັ້ນບໍ່ແມ່ນປັດຊະຍາ, ມັນເປັນເລື່ອງຕາມຕົວໜັງສືທີ່ເຈັບປວດ.

ການປະມວນຜົນລ່ວງໜ້າຊ່ວຍໃຫ້ທ່ານ:

• ປັບປຸງຄວາມໝັ້ນຄົງຂອງການຮຽນຮູ້ ໂດຍການໃສ່ຄຸນສົມບັດຕ່າງໆເຂົ້າໃນການເປັນຕົວແທນທີ່ຜູ້ປະເມີນສາມາດໃຊ້ໄດ້ຢ່າງໜ້າເຊື່ອຖື (ໂດຍສະເພາະເມື່ອມີການຂະຫຍາຍ/ການເຂົ້າລະຫັດ). [1]

• ຫຼຸດຜ່ອນສິ່ງລົບກວນ ໂດຍການເຮັດໃຫ້ຄວາມເປັນຈິງທີ່ວຸ້ນວາຍເບິ່ງຄືວ່າເປັນສິ່ງທີ່ແບບຈຳລອງສາມາດນຳມາໃຊ້ໂດຍລວມໄດ້ (ແທນທີ່ຈະຈື່ຈຳສິ່ງປະດິດທີ່ແປກປະຫຼາດ).

• ປ້ອງກັນຮູບແບບຄວາມລົ້ມເຫຼວທີ່ງຽບໆ ເຊັ່ນ: ການຮົ່ວໄຫຼ ແລະ ການຝຶກອົບຮົມ/ການໃຫ້ບໍລິການທີ່ບໍ່ກົງກັນ (ປະເພດທີ່ເບິ່ງຄືວ່າ "ໜ້າອັດສະຈັນ" ໃນການກວດສອບຄວາມຖືກຕ້ອງ ແລະ ຫຼັງຈາກນັ້ນກໍ່ປ່ຽນຮູບແບບໃນການຜະລິດ). [2]

• ເລັ່ງຄວາມໄວໃນການເຮັດຊ້ຳ ເພາະວ່າການເຮັດຊ້ຳໆສາມາດປ່ຽນສະປາເກັດຕີ້ປື້ມບັນທຶກໄດ້ທຸກໆມື້ຂອງອາທິດ.

ນອກຈາກນັ້ນ, ມັນຍັງເປັນບ່ອນທີ່ "ປະສິດທິພາບຂອງຕົວແບບ" ຫຼາຍຢ່າງມາຈາກ. ຄື... ໜ້າປະຫຼາດໃຈຫຼາຍ. ບາງຄັ້ງມັນຮູ້ສຶກບໍ່ຍຸດຕິທຳ, ແຕ່ນັ້ນແມ່ນຄວາມເປັນຈິງ 🙃

ສິ່ງທີ່ເຮັດໃຫ້ທໍ່ສົ່ງການປະມວນຜົນ AI ທີ່ດີ ✅

"ຮຸ່ນທີ່ດີ" ຂອງການປະມວນຜົນກ່ອນໜ້ານີ້ມັກຈະມີຄຸນລັກສະນະເຫຼົ່ານີ້:

• ສາມາດຜະລິດຊ້ຳໄດ້: ການປ້ອນຂໍ້ມູນດຽວກັນ → ຜົນຜະລິດດຽວກັນ (ບໍ່ມີຄວາມລຶກລັບແບບສຸ່ມ ເວັ້ນເສຍແຕ່ວ່າມັນເປັນການເພີ່ມໂດຍເຈດຕະນາ).

• ຄວາມສອດຄ່ອງໃນການໃຫ້ບໍລິການລົດໄຟ: ສິ່ງໃດກໍ່ຕາມທີ່ທ່ານເຮັດໃນເວລາຝຶກອົບຮົມແມ່ນຖືກນຳໃຊ້ໃນລັກສະນະດຽວກັນໃນເວລາອະນຸມານ (ພາລາມິເຕີທີ່ເໝາະສົມດຽວກັນ, ແຜນທີ່ໝວດໝູ່ດຽວກັນ, ການຕັ້ງຄ່າໂທເຄັນໄຊເຊີດຽວກັນ, ແລະອື່ນໆ). [2]

• ປອດໄພຕໍ່ການຮົ່ວໄຫຼ: ບໍ່ມີຫຍັງໃນການປະເມີນຜົນ/ການທົດສອບທີ່ມີອິດທິພົນຕໍ່ ຄວາມເໝາະສົມ . (ເພີ່ມເຕີມກ່ຽວກັບກັບດັກນີ້ໃນອີກບໍ່ດົນ.) [2]

• ສາມາດສັງເກດໄດ້: ທ່ານສາມາດກວດສອບສິ່ງທີ່ປ່ຽນແປງ (ສະຖິຕິຄຸນສົມບັດ, ການຂາດຫາຍໄປ, ຈຳນວນໝວດໝູ່) ສະນັ້ນການດີບັກບໍ່ແມ່ນວິສະວະກຳທີ່ອີງໃສ່ vibes.

ຖ້າການປະມວນຜົນລ່ວງໜ້າຂອງເຈົ້າແມ່ນກອງເຊວປື້ມບັນທຶກທີ່ມີຊື່ວ່າ final_v7_really_final_ok… ເຈົ້າຮູ້ວ່າມັນເປັນແນວໃດ. ມັນເຮັດວຽກຈົນກວ່າມັນຈະເຮັດວຽກບໍ່ໄດ້ 😬

ອົງປະກອບຫຼັກຂອງການປະມວນຜົນລ່ວງໜ້າຂອງ AI 🧱

ຄິດວ່າການປະມວນຜົນລ່ວງໜ້າຄືກັບຊຸດຂອງບລັອກການກໍ່ສ້າງທີ່ທ່ານລວມເຂົ້າກັນເປັນທໍ່ສົ່ງ.

1) ການທຳຄວາມສະອາດ ແລະ ການກວດສອບຄວາມຖືກຕ້ອງ 🧼

ວຽກງານປົກກະຕິ:

• ລຶບລາຍການຊໍ້າກັນ

• ຈັດການກັບຄ່າທີ່ຂາດຫາຍໄປ (ລຶບ, ລະບຸ, ຫຼື ສະແດງເຖິງຄວາມຂາດຫາຍໄປຢ່າງຊັດເຈນ)

• ບັງຄັບໃຊ້ປະເພດ, ຫົວໜ່ວຍ ແລະ ຂອບເຂດຕ່າງໆ

• ກວດຫາອິນພຸດທີ່ມີຮູບແບບຜິດປົກກະຕິ

• ມາດຕະຖານຮູບແບບຂໍ້ຄວາມ (ຊ່ອງຫວ່າງ, ກົດເກນການພິມ, ຄວາມແປກປະຫຼາດຂອງ Unicode)

ສ່ວນນີ້ບໍ່ໄດ້ໜ້າສົນໃຈຫຼາຍ, ແຕ່ມັນປ້ອງກັນຄວາມຜິດພາດທີ່ໂງ່ໆໄດ້. ຂ້ອຍເວົ້າແບບນັ້ນດ້ວຍຄວາມຮັກ.

2) ການເຂົ້າລະຫັດຂໍ້ມູນປະເພດຕ່າງໆ 🔤

ຮູບແບບສ່ວນໃຫຍ່ບໍ່ສາມາດໃຊ້ສະຕຣິງດິບໄດ້ໂດຍກົງເຊັ່ນ "red" ຫຼື "premium_user"

ວິທີການທົ່ວໄປ:

• ການເຂົ້າລະຫັດແບບດ່ວນຄັ້ງດຽວ (ໝວດໝູ່ → ຖັນໄບນາຣີ) [1]

• ການເຂົ້າລະຫັດລຳດັບ (ໝວດໝູ່ → ID ຈຳນວນເຕັມ) [1]

ສິ່ງສຳຄັນບໍ່ແມ່ນວ່າ ໃດ - ແຕ່ມັນແມ່ນການສ້າງແຜນທີ່ຄົງທີ່ ແລະ ບໍ່ "ປ່ຽນຮູບຮ່າງ" ລະຫວ່າງການຝຶກອົບຮົມ ແລະ ການອະນຸມານ. ນັ້ນແມ່ນວິທີທີ່ທ່ານຈົບລົງດ້ວຍຮູບແບບທີ່ເບິ່ງດີແບບອອບລາຍ ແລະ ເຄື່ອນໄຫວແບບອອນໄລນ໌. [2]

3) ການຂະຫຍາຍຄຸນສົມບັດ ແລະ ການປັບໃຫ້ເປັນປົກກະຕິ 📏

ການຂະຫຍາຍມີຄວາມສຳຄັນເມື່ອຄຸນສົມບັດຕ່າງໆຢູ່ໃນລະດັບທີ່ແຕກຕ່າງກັນຢ່າງຫຼວງຫຼາຍ.

ສອງຄລາສສິກ:

• ມາດຕະຖານ: ເອົາຄ່າສະເລ່ຍອອກ ແລະ ມາດຕາສ່ວນຕາມຄວາມແปรປ່ວນຂອງຫົວໜ່ວຍ [1]

• ການປັບຂະໜາດຕໍ່າສຸດ-ສູງສຸດ: ປັບຂະໜາດແຕ່ລະຄຸນສົມບັດເຂົ້າໄປໃນຂອບເຂດທີ່ກຳນົດໄວ້ [1]

ເຖິງແມ່ນວ່າໃນເວລາທີ່ທ່ານໃຊ້ຮູບແບບທີ່ "ສ່ວນໃຫຍ່ຮັບມືໄດ້," ການຂະຫຍາຍມັກຈະເຮັດໃຫ້ທໍ່ສົ່ງນ້ຳງ່າຍຕໍ່ການຫາເຫດຜົນ - ແລະຍາກທີ່ຈະແຕກໂດຍບັງເອີນ.

4) ວິສະວະກຳຄຸນສົມບັດ (ຫຼື ການໂກງທີ່ເປັນປະໂຫຍດ) 🧪

ນີ້ແມ່ນບ່ອນທີ່ທ່ານເຮັດໃຫ້ວຽກງານຂອງແບບຈຳລອງງ່າຍຂຶ້ນໂດຍການສ້າງສັນຍານທີ່ດີກວ່າ:

• ອັດຕາສ່ວນ (ຄລິກ / ການສະແດງຜົນ)

• ປ່ອງຢ້ຽມມ້ວນ (N ມື້ຜ່ານມາ)

• ຈຳນວນເຫດການ (ຕໍ່ຜູ້ໃຊ້)

• ການຫັນປ່ຽນ log ສຳລັບການແຈກຢາຍແບບ heavy-tailed

ມີສິລະປະຢູ່ທີ່ນີ້. ບາງຄັ້ງເຈົ້າອາດຈະສ້າງບົດຄວາມ, ຮູ້ສຶກພູມໃຈ... ແລະມັນບໍ່ໄດ້ຜົນຫຍັງເລີຍ. ຫຼືຮ້າຍແຮງກວ່ານັ້ນ, ມັນເຈັບປວດ. ນັ້ນເປັນເລື່ອງປົກກະຕິ. ຢ່າຜູກພັນທາງດ້ານອາລົມກັບບົດຄວາມ - ເຂົາເຈົ້າບໍ່ຮັກເຈົ້າຄືນ 😅

5) ການແບ່ງຂໍ້ມູນໃຫ້ຖືກຕ້ອງ ✂️

ສິ່ງນີ້ຟັງແລ້ວຈະແຈ້ງຈົນກວ່າມັນບໍ່ແມ່ນ:

• ການແບ່ງແບບສຸ່ມສຳລັບຂໍ້ມູນ iid

• ການແບ່ງຕາມເວລາສຳລັບຊຸດເວລາ

• ການແບ່ງກຸ່ມເມື່ອໜ່ວຍງານເຮັດຊ້ຳອີກ (ຜູ້ໃຊ້, ອຸປະກອນ, ຄົນເຈັບ)

ແລະສິ່ງສຳຄັນ: ແບ່ງອອກກ່ອນທີ່ຈະປັບຕົວການປະມວນຜົນລ່ວງໜ້າທີ່ຮຽນຮູ້ຈາກຂໍ້ມູນ. ຖ້າຂັ້ນຕອນການປະມວນຜົນລ່ວງໜ້າຂອງທ່ານ "ຮຽນຮູ້" ພາລາມິເຕີຕ່າງໆ (ເຊັ່ນ: ວິທີການ, ຄຳສັບ, ແຜນທີ່ໝວດໝູ່), ມັນຕ້ອງຮຽນຮູ້ພວກມັນຈາກການຝຶກອົບຮົມເທົ່ານັ້ນ. [2]

ການປະມວນຜົນລ່ວງໜ້າຂອງ AI ຕາມປະເພດຂໍ້ມູນ: ຕາຕະລາງ, ຂໍ້ຄວາມ, ຮູບພາບ 🎛️

ການປະມວນຜົນລ່ວງໜ້າຈະປ່ຽນຮູບຮ່າງຂຶ້ນກັບສິ່ງທີ່ທ່ານປ້ອນເຂົ້າຮູບແບບ.

ຂໍ້ມູນຕາຕະລາງ (ສະເປຣດຊີດ, ບັນທຶກ, ຖານຂໍ້ມູນ) 📊

ຂັ້ນຕອນທົ່ວໄປ:

• ຍຸດທະສາດມູນຄ່າທີ່ຂາດຫາຍໄປ

• ການເຂົ້າລະຫັດແບບໝວດໝູ່ [1]

• ການຂະຫຍາຍຖັນຕົວເລກ [1]

• ການຈັດການທີ່ຜິດປົກກະຕິ (ກົດລະບຽບຂອງໂດເມນມັກຈະດີກ່ວາ "ການຕັດແບບສຸ່ມ" ສ່ວນຫຼາຍແລ້ວ)

• ຄຸນສົມບັດທີ່ໄດ້ມາ (ການລວມຕົວ, ການຊັກຊ້າ, ສະຖິຕິການໝູນວຽນ)

ຄຳແນະນຳທີ່ເປັນປະໂຫຍດ: ກຳນົດກຸ່ມຖັນຢ່າງຊັດເຈນ (ຕົວເລກ ທຽບກັບ ປະເພດ ທຽບກັບ ຕົວລະບຸ). ຕົວເຈົ້າເອງໃນອະນາຄົດຈະຂອບໃຈເຈົ້າ.

ຂໍ້ມູນຂໍ້ຄວາມ (NLP) 📝

ການປະມວນຜົນຂໍ້ຄວາມລ່ວງໜ້າມັກຈະປະກອບມີ:

• ການປ່ຽນໂທເຄັນໃຫ້ເປັນໂທເຄັນ/ຄຳຍ່ອຍ

• ການປ່ຽນເປັນ ID ປ້ອນຂໍ້ມູນ

• ການເພີ່ມ/ການຕັດ

• ການສ້າງ ໜ້າກາກທີ່ເອົາໃຈໃສ່ ສຳລັບການຜະສົມຜະສານ [3]

ກົດລະບຽບນ້ອຍໆທີ່ຊ່ວຍປະຢັດຄວາມຫຍຸ້ງຍາກ: ສຳລັບການຕັ້ງຄ່າທີ່ອີງໃສ່ transformer, ໃຫ້ປະຕິບັດຕາມການຕັ້ງຄ່າ tokenizer ທີ່ຄາດໄວ້ຂອງໂມເດວ ແລະຢ່າ freestyle ເວັ້ນເສຍແຕ່ວ່າທ່ານມີເຫດຜົນ. Freestyle ແມ່ນວິທີທີ່ທ່ານຈົບລົງດ້ວຍ "ມັນຝຶກຝົນແຕ່ມັນແປກ."

ຮູບພາບ (ວິໄສທັດຄອມພິວເຕີ) 🖼️

ການປະມວນຜົນກ່ອນແບບປົກກະຕິ:

• ປັບຂະໜາດ / ຕັດໃຫ້ເປັນຮູບຮ່າງທີ່ສອດຄ່ອງກັນ

• ການຫັນປ່ຽນແບບກຳນົດສຳລັບການປະເມີນຜົນ

• ການຫັນປ່ຽນແບບສຸ່ມສຳລັບການເສີມການຝຶກອົບຮົມ (ເຊັ່ນ: ການຕັດແບບສຸ່ມ) [4]

ລາຍລະອຽດໜຶ່ງທີ່ຄົນເຮົາພາດໄປ: “ການຫັນປ່ຽນແບບສຸ່ມ” ບໍ່ແມ່ນພຽງແຕ່ຄວາມຮູ້ສຶກເທົ່ານັ້ນ - ພວກມັນຈະສຸ່ມຕົວຢ່າງພາລາມິເຕີທຸກຄັ້ງທີ່ພວກມັນຖືກເອີ້ນ. ດີຫຼາຍສຳລັບການຝຶກອົບຮົມຄວາມຫຼາກຫຼາຍ, ແຕ່ບໍ່ດີສຳລັບການປະເມີນຜົນຖ້າເຈົ້າລືມປິດການສຸ່ມ. [4]

ກັບດັກທີ່ທຸກຄົນຕົກຢູ່ໃນ: ການຮົ່ວໄຫຼຂອງຂໍ້ມູນ 🕳️🐍

ການຮົ່ວໄຫຼແມ່ນເວລາທີ່ຂໍ້ມູນຈາກຂໍ້ມູນການປະເມີນຜົນລັກລອບເຂົ້າໄປໃນການຝຶກອົບຮົມ - ເຊິ່ງມັກຈະຜ່ານການປະມວນຜົນກ່ອນ. ມັນສາມາດເຮັດໃຫ້ຮູບແບບຂອງທ່ານເບິ່ງມະຫັດສະຈັນໃນລະຫວ່າງການກວດສອບຄວາມຖືກຕ້ອງ, ຈາກນັ້ນເຮັດໃຫ້ທ່ານຜິດຫວັງໃນໂລກແຫ່ງຄວາມເປັນຈິງ.

ຮູບແບບການຮົ່ວໄຫຼທົ່ວໄປ:

• ການຂະຫຍາຍໂດຍໃຊ້ສະຖິຕິຊຸດຂໍ້ມູນເຕັມຮູບແບບ (ແທນທີ່ຈະເປັນການຝຶກອົບຮົມເທົ່ານັ້ນ) [2]

• ການສ້າງແຜນທີ່ໝວດໝູ່ໂດຍໃຊ້ລົດໄຟ + ການທົດສອບຮ່ວມກັນ [2]

• ຂັ້ນຕອນ fit() ຫຼື fit_transform() ໃດໆ ທີ່ "ເຫັນ" ຊຸດການທົດສອບ [2]

ກົດລະບຽບງ່າຍໆ (ງ່າຍດາຍ, ຮຸນແຮງ, ມີປະສິດທິພາບ):

• ສິ່ງໃດກໍຕາມທີ່ມີ ການອອກກຳລັງກາຍ ຄວນຈະອອກກຳລັງກາຍໃນເວລາຝຶກຊ້ອມເທົ່ານັ້ນ.

• ຫຼັງຈາກນັ້ນ, ທ່ານ ປ່ຽນ ການກວດສອບຄວາມຖືກຕ້ອງ/ການທົດສອບໂດຍໃຊ້ໝໍ້ແປງທີ່ຕິດຕັ້ງໄວ້ນັ້ນ. [2]

ແລະ ຖ້າທ່ານຕ້ອງການ "ມັນຈະຮ້າຍແຮງປານໃດ?" ການກວດສອບ: ເອກະສານຂອງ scikit-learn ສະແດງຕົວຢ່າງການຮົ່ວໄຫຼທີ່ລຳດັບການປະມວນຜົນລ່ວງໜ້າທີ່ບໍ່ຖືກຕ້ອງໃຫ້ຄວາມຖືກຕ້ອງປະມານ 0.76 ໃນເປົ້າໝາຍແບບສຸ່ມ - ຈາກນັ້ນຫຼຸດລົງກັບ ~0.5 ເມື່ອການຮົ່ວໄຫຼຖືກແກ້ໄຂແລ້ວ. ນັ້ນແມ່ນວິທີທີ່ການຮົ່ວໄຫຼທີ່ຜິດພາດຢ່າງໜ້າເຊື່ອຖືສາມາດເບິ່ງໄດ້. [2]

ເລີ່ມຕົ້ນການປຸງແຕ່ງກ່ອນເຂົ້າສູ່ການຜະລິດໂດຍບໍ່ມີຄວາມວຸ້ນວາຍ 🏗️

ຮູບແບບຫຼາຍຮູບແບບລົ້ມເຫຼວໃນການຜະລິດບໍ່ແມ່ນຍ້ອນວ່າຮູບແບບ "ບໍ່ດີ", ແຕ່ຍ້ອນວ່າ ຄວາມເປັນຈິງຂອງການປ້ອນຂໍ້ມູນ ປ່ຽນແປງ - ຫຼື pipeline ຂອງເຈົ້າປ່ຽນໄປ.

ການປຸງແຕ່ງກ່ອນການຜະລິດມັກຈະປະກອບມີ:

• ສິ່ງປະດິດທີ່ບັນທຶກໄວ້ (ການຈັບຄູ່ຕົວເຂົ້າລະຫັດ, ພາລາມິເຕີ scaler, ການຕັ້ງຄ່າ tokenizer) ສະນັ້ນການອະນຸມານໃຊ້ການຫັນປ່ຽນທີ່ຮຽນຮູ້ຄືກັນ [2]

• ສັນຍາການປ້ອນຂໍ້ມູນແບບເຂັ້ມງວດ (ຖັນ/ປະເພດ/ຊ່ວງທີ່ຄາດໄວ້)

• ການຕິດຕາມກວດກາຄວາມອຽງ ແລະ ການເລື່ອນລອຍ, ເພາະວ່າຂໍ້ມູນການຜະລິດ ຈະ ຫລົງທາງ [5]

ຖ້າທ່ານຕ້ອງການຄຳນິຍາມທີ່ແນ່ນອນ: ການຕິດຕາມແບບຈຳລອງ Vertex AI ຂອງ Google ຈຳແນກ ຄວາມອຽງຂອງການຝຶກອົບຮົມ (ການແຈກຢາຍການຜະລິດແຕກຕ່າງຈາກການຝຶກອົບຮົມ) ແລະ ການປ່ຽນແປງຂອງການອະນຸມານ (ການປ່ຽນແປງການແຈກຢາຍການຜະລິດຕາມການເວລາ), ແລະ ຮອງຮັບການຕິດຕາມກວດກາທັງຄຸນສົມບັດປະເພດ ແລະ ຕົວເລກ. [5]

ເພາະວ່າຄວາມແປກໃຈມີລາຄາແພງ. ແລະບໍ່ແມ່ນປະເພດທີ່ມ່ວນຊື່ນ.

ຕາຕະລາງປຽບທຽບ: ເຄື່ອງມືການປະມວນຜົນລ່ວງໜ້າທົ່ວໄປ + ເຄື່ອງມືຕິດຕາມກວດກາ (ແລະເຄື່ອງມືເຫຼົ່ານັ້ນແມ່ນສຳລັບໃຜ) 🧰

(ແມ່ນແລ້ວ, ຕາຕະລາງຍັງມີຄວາມຄິດເຫັນຢູ່. ແຕ່ຢ່າງໜ້ອຍມັນກໍ່ເປັນຄວາມຄິດເຫັນທີ່ຊື່ສັດ 😅)

ບັນຊີກວດສອບການປະມວນຜົນກ່ອນການປະຕິບັດຕົວຈິງທີ່ທ່ານສາມາດນຳໃຊ້ໄດ້ແທ້ໆ📌

ກ່ອນການຝຶກອົບຮົມ

• ກຳນົດໂຄງຮ່າງການປ້ອນຂໍ້ມູນ (ປະເພດ, ຫົວໜ່ວຍ, ຂອບເຂດທີ່ອະນຸຍາດ)

• ກວດສອບຄ່າທີ່ຂາດຫາຍໄປ ແລະ ຄ່າທີ່ຊໍ້າກັນ

• ແບ່ງຂໍ້ມູນໃຫ້ຖືກຕ້ອງ (ແບບສຸ່ມ / ຕາມເວລາ / ຈັດກຸ່ມ)

• ການປະມວນຜົນລ່ວງໜ້າຂອງ Fit ໃນ ການຝຶກອົບຮົມເທົ່ານັ້ນ (fit / fit_transform ຍັງຄົງຢູ່ໃນການຝຶກອົບຮົມ) [2]

• ບັນທຶກສິ່ງປະດິດກ່ອນການປະມວນຜົນ ເພື່ອໃຫ້ການອະນຸມານສາມາດນຳມາໃຊ້ຄືນໄດ້ [2]

ໃນລະຫວ່າງການຝຶກອົບຮົມ

• ໃຊ້ການເພີ່ມແບບສຸ່ມສະເພາະບ່ອນທີ່ເໝາະສົມເທົ່ານັ້ນ (ໂດຍປົກກະຕິແລ້ວແມ່ນແບ່ງການຝຶກອົບຮົມເທົ່ານັ້ນ) [4]

• ຮັກສາການປະເມີນກ່ອນການປະມວນຜົນແບບກຳນົດໄວ້ [4]

• ຕິດຕາມການປ່ຽນແປງການປະມວນຜົນກ່ອນ ເຊັ່ນ ການປ່ຽນແປງຮູບແບບ (ເພາະວ່າມັນເປັນ)

ກ່ອນການນຳໃຊ້

• ໃຫ້ແນ່ໃຈວ່າການອະນຸມານໃຊ້ເສັ້ນທາງການປະມວນຜົນກ່ອນ ແລະ ສິ່ງປະດິດທີ່ຄືກັນ [2]

• ຕັ້ງຄ່າການຕິດຕາມກວດກາການເລື່ອນ/ການບິດເບືອນ (ເຖິງແມ່ນວ່າການກວດສອບການແຈກຢາຍຄຸນສົມບັດພື້ນຖານກໍ່ຍັງໃຊ້ໄດ້ດົນ) [5]

ການເຈາະເລິກ: ຄວາມຜິດພາດກ່ອນການປະມວນຜົນທົ່ວໄປ (ແລະວິທີການຫຼີກລ່ຽງພວກມັນ) 🧯

ຄວາມຜິດພາດທີ 1: “ຂ້ອຍພຽງແຕ່ຈະເຮັດໃຫ້ທຸກຢ່າງເປັນປົກກະຕິໄວໆ” 😵

ຖ້າທ່ານຄິດໄລ່ພາລາມິເຕີການປັບຂະໜາດໃນຊຸດຂໍ້ມູນເຕັມ, ທ່ານກໍາລັງຮົ່ວໄຫຼຂໍ້ມູນການປະເມີນຜົນ. ໃຫ້ພໍດີກັບການຝຶກອົບຮົມ, ປ່ຽນສ່ວນທີ່ເຫຼືອ. [2]

ຄວາມຜິດພາດທີ 2: ໝວດໝູ່ຕ່າງໆກຳລັງລ່ອງລອຍເຂົ້າສູ່ຄວາມວຸ້ນວາຍ 🧩

ຖ້າການສ້າງແຜນທີ່ໝວດໝູ່ຂອງທ່ານປ່ຽນໄປລະຫວ່າງການຝຶກອົບຮົມ ແລະ ການອະນຸມານ, ຮູບແບບຂອງທ່ານສາມາດອ່ານໂລກຜິດໄດ້ຢ່າງງຽບໆ. ຮັກສາການສ້າງແຜນທີ່ໃຫ້ຄົງທີ່ຜ່ານສິ່ງປະດິດທີ່ບັນທຶກໄວ້. [2]

ຄວາມຜິດພາດທີ 3: ການເສີມແບບສຸ່ມທີ່ລັກລອບເຂົ້າໄປໃນການປະເມີນຜົນ 🎲

ການຫັນປ່ຽນແບບສຸ່ມແມ່ນດີເລີດໃນການຝຶກອົບຮົມ, ແຕ່ພວກມັນບໍ່ຄວນ "ເປີດຢ່າງລັບໆ" ເມື່ອທ່ານພະຍາຍາມວັດແທກປະສິດທິພາບ. (ແບບສຸ່ມໝາຍເຖິງແບບສຸ່ມ.) [4]

ຄຳສັງເກດສຸດທ້າຍ🧠✨

ການປະມວນຜົນລ່ວງໜ້າດ້ວຍ AI ແມ່ນສິລະປະທີ່ມີລະບຽບວິໄນໃນການປ່ຽນຄວາມເປັນຈິງທີ່ສັບສົນໃຫ້ກາຍເປັນການປ້ອນຂໍ້ມູນແບບຈຳລອງທີ່ສອດຄ່ອງ. ມັນກວມເອົາການທຳຄວາມສະອາດ, ການເຂົ້າລະຫັດ, ການຂະຫຍາຍ, ການສ້າງໂທເຄັນ, ການປ່ຽນຮູບພາບ, ແລະສິ່ງທີ່ສຳຄັນທີ່ສຸດແມ່ນທໍ່ສົ່ງ ແລະ ສິ່ງປະດິດທີ່ເຮັດຊ້ຳໄດ້.

• ດຳເນີນການປະມວນຜົນລ່ວງໜ້າຢ່າງຕັ້ງໃຈ, ບໍ່ແມ່ນແບບທຳມະດາ. [2]

• ແຍກອອກກ່ອນ, ປ່ຽນຮູບຮ່າງໃຫ້ເໝາະສົມໃນການຝຶກຊ້ອມເທົ່ານັ້ນ, ຫຼີກລ່ຽງການຮົ່ວໄຫຼ. [2]

• ໃຊ້ການປະມວນຜົນລ່ວງໜ້າທີ່ເໝາະສົມກັບຮູບແບບ (ໂທເຄັນໄຊເຊີສຳລັບຂໍ້ຄວາມ, ການປ່ຽນຮູບແບບສຳລັບຮູບພາບ). [3][4]

• ຕິດຕາມກວດກາຄວາມອຽງ/ການເລື່ອນຂອງການຜະລິດ ເພື່ອວ່າຮູບແບບຂອງທ່ານຈະບໍ່ຄ່ອຍໆເລື່ອນໄປສູ່ຄວາມໄຮ້ສາລະ. [5]

ແລະ ຖ້າຫາກເຈົ້າເຄີຍຕິດຂັດ, ໃຫ້ຖາມຕົວເອງວ່າ:
“ຂັ້ນຕອນການປະມວນຜົນລ່ວງໜ້ານີ້ຍັງມີຄວາມໝາຍຢູ່ບໍ ຖ້າຂ້ອຍໃຊ້ມັນໃນມື້ອື່ນດ້ວຍຂໍ້ມູນໃໝ່?”
ຖ້າຄຳຕອບແມ່ນ “ເອີ… ບາງທີ?”, ນັ້ນແມ່ນຄຳແນະນຳຂອງເຈົ້າ 😬

ຕົວຢ່າງໃນໂລກຕົວຈິງ: ການສ້າງທໍ່ສົ່ງການປະມວນຜົນລ່ວງໜ້າທີ່ປອດໄພຕໍ່ການຮົ່ວໄຫຼສຳລັບການຄາດຄະເນການຍົກເລີກ

ສະຖານະການ

ລອງນຶກພາບເຖິງທີມງານ SaaS ຂະໜາດນ້ອຍທີ່ພະຍາຍາມຄາດຄະເນວ່າລູກຄ້າຄົນໃດມີແນວໂນ້ມທີ່ຈະຍົກເລີກໃນ 30 ມື້ຂ້າງໜ້າ. ຂໍ້ມູນດິບຂອງພວກເຂົາຢູ່ໃນສາມບ່ອນຄື: ການສົ່ງອອກໃບບິນ, ບັນທຶກການນຳໃຊ້ຜະລິດຕະພັນ, ແລະປີ້ສະໜັບສະໜູນ.

ຮູບແບບລຸ້ນທຳອິດເບິ່ງຄືວ່າດີເລີດໃນການກວດສອບຄວາມຖືກຕ້ອງ, ແຕ່ມີປະສິດທິພາບບໍ່ດີເມື່ອທົດສອບກັບລູກຄ້າໃໝ່ໃນເດືອນໜຶ່ງ. ບັນຫາບໍ່ແມ່ນສະຖາປັດຕະຍະກຳຂອງຮູບແບບ. ມັນແມ່ນການປະມວນຜົນກ່ອນ.

ທີມງານໄດ້ປັບຂະໜາດຄຸນສົມບັດຕົວເລກໂດຍບັງເອີນໂດຍໃຊ້ຊຸດຂໍ້ມູນເຕັມ, ສ້າງການຈັບຄູ່ໝວດໝູ່ຈາກຂໍ້ມູນການຝຶກອົບຮົມ ແລະ ຂໍ້ມູນການທົດສອບຮ່ວມກັນ, ແລະ ລວມເອົາແທັກ support-ticket ທີ່ຖືກເພີ່ມເຂົ້າໄປຫຼັງຈາກການຍົກເລີກເທົ່ານັ້ນ. ການຮົ່ວໄຫຼແບບຄລາສສິກ. ເຈັບປວດ, ແຕ່ສາມາດແກ້ໄຂໄດ້. [2]

ສິ່ງທີ່ທໍ່ສົ່ງຕ້ອງການ

ການຕັ້ງຄ່າປະຕິບັດຕົວຈິງຈະປະກອບມີ:

• ຮູບແບບການປ້ອນຂໍ້ມູນຄົງທີ່: customer_id, plan_type, account_age_days, logins_30d, tickets_30d, last_payment_status, region

• ການແບ່ງແຍກຕາມເວລາ ເຊັ່ນ: ການຝຶກອົບຮົມໃນເດືອນມັງກອນຫາເດືອນກັນຍາ ແລະ ການທົດສອບໃນເດືອນຕຸລາ

• ການປັບຂະໜາດຕົວເລກທີ່ຕິດຕັ້ງຢູ່ໃນການແບ່ງການຝຶກອົບຮົມເທົ່ານັ້ນ

• ຕົວເຂົ້າລະຫັດແບບໝວດໝູ່ທີ່ຕິດຕັ້ງຢູ່ໃນການແຍກການຝຶກອົບຮົມເທົ່ານັ້ນ

• pipeline ການປະມວນຜົນກ່ອນການປະມວນຜົນທີ່ບັນທຶກໄວ້ ດັ່ງນັ້ນການຜະລິດຈຶ່ງໃຊ້ຄ່າ mapping ແລະ scaler ດຽວກັນ

• ການຕິດຕາມກວດກາພື້ນຖານສຳລັບຖັນທີ່ຂາດຫາຍໄປ, ໝວດໝູ່ທີ່ເບິ່ງບໍ່ເຫັນ, ແລະ ການປ່ຽນແປງການແຈກຢາຍຫຼັງຈາກການນຳໃຊ້,

ກົດລະບຽບຫຼັກແມ່ນງ່າຍດາຍ: ແບ່ງອອກກ່ອນ, ປັບຕົວໃຫ້ພໍດີໃນການປະມວນຜົນກ່ອນໃນອັນດັບທີສອງ. ສິ່ງໃດກໍ່ຕາມທີ່ຮຽນຮູ້ຈາກຂໍ້ມູນຄວນຮຽນຮູ້ຈາກໄລຍະເວລາການຝຶກອົບຮົມເທົ່ານັ້ນ. [2]

ຕົວຢ່າງຄຳແນະນຳ

ໃຊ້ອັນນີ້ເປັນບົດສະຫຼຸບການເຮັດວຽກສຳລັບຂັ້ນຕອນການປະມວນຜົນກ່ອນ:

ສ້າງທໍ່ສົ່ງຂໍ້ມູນການປະມວນຜົນກ່ອນສຳລັບຮູບແບບການຄາດຄະເນການຍົກເລີກໂດຍໃຊ້ຂໍ້ມູນການຮຽກເກັບເງິນ, ການນຳໃຊ້ ແລະ ການສະໜັບສະໜູນຂອງລູກຄ້າ. ແບ່ງຂໍ້ມູນຕາມເວລາກ່ອນທີ່ຈະຕິດຕັ້ງໝໍ້ແປງໃດໆ. ຕິດຕັ້ງຕົວປັບຂະໜາດຕົວເລກ ແລະ ຕົວເຂົ້າລະຫັດໝວດໝູ່ໃສ່ຂໍ້ມູນການຝຶກອົບຮົມເທົ່ານັ້ນ, ຈາກນັ້ນນຳໃຊ້ການຫັນປ່ຽນທີ່ຕິດຕັ້ງເຫຼົ່ານັ້ນກັບຂໍ້ມູນການກວດສອບຄວາມຖືກຕ້ອງ ແລະ ການທົດສອບ. ບັນທຶກສິ່ງປະດິດການປະມວນຜົນກ່ອນທັງໝົດເພື່ອໃຫ້ຮູບແບບການຜະລິດໃຊ້ໂຄງຮ່າງ, ການສ້າງແຜນທີ່ໝວດໝູ່ ແລະ ພາລາມິເຕີການປັບຂະໜາດດຽວກັນ. ໝາຍຖັນທີ່ຂາດຫາຍໄປ, ປະເພດຂໍ້ມູນທີ່ບໍ່ຄາດຄິດ, ໝວດໝູ່ທີ່ເບິ່ງບໍ່ເຫັນ, ແລະ ການປ່ຽນແປງການແຈກຢາຍທີ່ສຳຄັນກ່ອນການຄາດຄະເນ.

ວິທີການທົດສອບມັນ

ກ່ອນທີ່ຈະໄວ້ວາງໃຈຮູບແບບ, ໃຫ້ທົດສອບທໍ່ສົ່ງການປະມວນຜົນກ່ອນດ້ວຍບັນທຶກທີ່ງຸ່ມງ່າມບາງຢ່າງໂດຍເຈດຕະນາ:

• ລູກຄ້າທີ່ຢູ່ໃນປະເພດແຜນທີ່ບໍ່ໄດ້ຢູ່ໃນການຝຶກອົບຮົມ

• ແຖວທີ່ບໍ່ມີພາກພື້ນ ຫຼື ສະຖານະການຈ່າຍເງິນສຸດທ້າຍ

• ລູກຄ້າທີ່ມີການນຳໃຊ້ສູງຜິດປົກກະຕິ, ເຊັ່ນ: ເຂົ້າສູ່ລະບົບ 10,000 ຄັ້ງໃນ 30 ມື້

• ໄຟລ໌ແບບການຜະລິດທີ່ມີຖັນຢູ່ໃນລຳດັບທີ່ບໍ່ຖືກຕ້ອງ

• ຊຸດທົດສອບໃນເດືອນໜ້າທີ່ບໍ່ເຄີຍຖືກນຳໃຊ້ໃນລະຫວ່າງການຕິດຕັ້ງ

ຈາກນັ້ນກວດສອບສາມຢ່າງ:

• ທໍ່ສົ່ງດຳເນີນການໂດຍບໍ່ປ່ຽນລຳດັບຄຸນສົມບັດບໍ?

• ໝວດໝູ່ທີ່ບໍ່ຮູ້ຈັກໄດ້ຮັບການຈັດການຢ່າງສອດຄ່ອງກັນບໍ?

• ປະສິດທິພາບການກວດສອບຫຼຸດລົງສູ່ລະດັບທີ່ໜ້າເຊື່ອຖືຫຼາຍຂຶ້ນຫຼັງຈາກການຮົ່ວໄຫຼຖືກກຳຈັດອອກແລ້ວບໍ?

ຈຸດສຸດທ້າຍນັ້ນມີຄວາມສຳຄັນ. ຄະແນນການກວດສອບທີ່ສູງຢ່າງໜ້າສົງໄສມັກຈະເປັນກິ່ນກ່ອນການປະມວນຜົນ, ບໍ່ແມ່ນສິ່ງມະຫັດສະຈັນ.

ຜົນໄດ້ຮັບ

ຜົນໄດ້ຮັບຕົວຢ່າງ, ໂດຍອີງໃສ່ໄລຍະເວລາຂອງການປະມວນຜົນຕົວຢ່າງຫ້າຄັ້ງກ່ອນ ແລະ ຫຼັງຈາກການປ່ຽນຂັ້ນຕອນຂອງປື້ມບັນທຶກໄປເປັນທໍ່ສົ່ງທີ່ບັນທຶກໄວ້:

• ເວລາປະມວນຜົນກ່ອນດ້ວຍຕົນເອງຫຼຸດລົງຈາກ 55 ນາທີຕໍ່ການໂຫຼດຊຸດຂໍ້ມູນຄືນໃໝ່ເປັນ 8 ນາທີ.

• ຄວາມຜິດພາດຂອງລຳດັບຄຸນສົມບັດຫຼຸດລົງຈາກ 3 ຄວາມຜິດພາດໃນ 5 ການໂຫຼດຄືນໃໝ່ຂອງການທົດສອບເປັນ 0 ຄວາມຜິດພາດໃນ 5 ການໂຫຼດຄືນໃໝ່.

• ຄວາມຖືກຕ້ອງຂອງການກວດສອບໄດ້ຫຼຸດລົງຈາກ 91% ມາເປັນ 74% ຫຼັງຈາກການຮົ່ວໄຫຼຖືກກຳຈັດອອກ, ແຕ່ຄວາມຖືກຕ້ອງຂອງການທົດສອບເດືອນໃໝ່ໄດ້ປັບປຸງຈາກ 62% ມາເປັນ 71%.

• ທີມງານໄດ້ເພີ່ມການກວດສອບອັດຕະໂນມັດ 6 ຢ່າງຄື: ຖັນທີ່ຂາດຫາຍໄປ, ປະເພດທີ່ບໍ່ຖືກຕ້ອງ, ໝວດໝູ່ທີ່ເບິ່ງບໍ່ເຫັນ, ການປ່ຽນແປງອັດຕາຄ່າ null, ການປ່ຽນແປງຊ່ວງຕົວເລກ, ແລະ ຮູບແບບການໃຫ້ບໍລິການລົດໄຟທີ່ບໍ່ກົງກັນ.

ຕົວເລກເຫຼົ່ານີ້ບໍ່ແມ່ນມາດຕະຖານທົ່ວໄປ. ພວກມັນແມ່ນການວັດແທກກ່ອນ ແລະ ຫຼັງງ່າຍໆທີ່ທີມສາມາດສ້າງຄືນໃໝ່ໄດ້ໂດຍການກຳນົດເວລາໂຫຼດຄືນໃໝ່, ການນັບການແລ່ນທີ່ລົ້ມເຫຼວ, ແລະ ການປຽບທຽບຜົນການກວດສອບກັບເດືອນໃນອະນາຄົດທີ່ເລື່ອນອອກໄປ.

ມີຫຍັງຜິດພາດໄດ້ແດ່

ຄວາມສ່ຽງທີ່ໃຫຍ່ທີ່ສຸດແມ່ນການເຮັດໃຫ້ທໍ່ສົ່ງນ້ຳມັນເບິ່ງຄືວ່າສະອາດ ໃນຂະນະທີ່ຮັກສາການຮົ່ວໄຫຼຢ່າງງຽບໆ. ຕົວຢ່າງ, “ມື້ນັບຕັ້ງແຕ່ອີເມວເຕືອນການຍົກເລີກຄັ້ງສຸດທ້າຍ” ອາດເບິ່ງຄືວ່າມີຄ່າ, ແຕ່ຖ້າອີເມວນັ້ນຖືກສົ່ງຫຼັງຈາກການທົບທວນຄືນການຍົກເລີກພາຍໃນເທົ່ານັ້ນ, ມັນອາດຈະຮົ່ວໄຫຼຄວາມຮູ້ໃນອະນາຄົດ.

ດັກທົ່ວໄປອື່ນໆ:

• ການຕິດຕັ້ງຕົວເຂົ້າລະຫັດຄືນໃໝ່ໃນການຜະລິດແທນທີ່ຈະໂຫຼດການແມັບທີ່ບັນທຶກໄວ້

• ການອະນຸຍາດໃຫ້ໝວດໝູ່ໃໝ່ປ່ຽນຕຳແໜ່ງຄຸນສົມບັດຢ່າງງຽບໆ

• ການທົດສອບກ່ຽວກັບການແບ່ງແບບສຸ່ມເມື່ອໜ້າວຽກທີ່ແທ້ຈິງແມ່ນອີງໃສ່ເວລາ

• ຖິ້ມແຖວທີ່ມີຄ່າທີ່ຂາດຫາຍໄປໃນການຝຶກອົບຮົມ ແຕ່ບໍ່ໄດ້ຈັດການກັບພວກມັນໃນເວລາອະນຸມານ

• ການຕິດຕາມຄວາມຖືກຕ້ອງຂອງຮູບແບບໃນຂະນະທີ່ບໍ່ສົນໃຈການບ່ຽງເບນຂອງອິນພຸດ

ເອົາໄປໃຊ້ຕົວຈິງ

ທໍ່ສົ່ງຂໍ້ມູນການປະມວນຜົນລ່ວງໜ້າທີ່ດີເຮັດຫຼາຍກວ່າການເຮັດໃຫ້ຂໍ້ມູນດິບເປັນລະບຽບຮຽບຮ້ອຍ. ມັນປົກປ້ອງຮູບແບບຈາກການປະເມີນຜົນທີ່ບໍ່ດີ, ການປ້ອນຂໍ້ມູນການຜະລິດທີ່ເສຍຫາຍ, ແລະ ການເລື່ອນໄປຢ່າງຊ້າໆ. ສຳລັບຮູບແບບການປັ່ນປ່ວນ, ຄວາມແຕກຕ່າງລະຫວ່າງການປະມວນຜົນລ່ວງໜ້າແບບສະຫຼາດ ແລະ ການປະມວນຜົນລ່ວງໜ້າທີ່ເຊື່ອຖືໄດ້ມັກຈະຂຶ້ນກັບວ່າການປ່ຽນແປງທີ່ເໝາະສົມດຽວກັນຖືກນຳໃຊ້ຄືນທຸກຄັ້ງຫຼືບໍ່, ໂດຍສະເພາະເມື່ອຂໍ້ມູນມາຈາກເດືອນທີ່ຮູບແບບບໍ່ເຄີຍເຫັນມາກ່ອນ.

ຄຳຖາມທີ່ຖືກຖາມເລື້ອຍໆ

ເວົ້າງ່າຍໆ, ການປະມວນຜົນລ່ວງໜ້າຂອງ AI ແມ່ນຫຍັງ?

ການປະມວນຜົນລ່ວງໜ້າຂອງ AI ແມ່ນຊຸດຂັ້ນຕອນທີ່ສາມາດເຮັດຊ້ຳໄດ້ ເຊິ່ງປ່ຽນຂໍ້ມູນດິບທີ່ມີສຽງລົບກວນ ແລະ ມີຄວາມແຕກຕ່າງກັນສູງ ໃຫ້ກາຍເປັນຂໍ້ມູນປ້ອນເຂົ້າທີ່ສອດຄ່ອງກັນ ເຊິ່ງແບບຈຳລອງສາມາດຮຽນຮູ້ໄດ້. ມັນສາມາດປະກອບມີການທຳຄວາມສະອາດ, ການກວດສອບຄວາມຖືກຕ້ອງ, ການເຂົ້າລະຫັດໝວດໝູ່, ການຂະຫຍາຍຄ່າຕົວເລກ, ການໃສ່ໂທເຄັນຂໍ້ຄວາມ, ແລະ ການນຳໃຊ້ການປ່ຽນຮູບພາບ. ເປົ້າໝາຍແມ່ນເພື່ອຮັບປະກັນວ່າການຝຶກອົບຮົມ ແລະ ການອະນຸມານການຜະລິດເຫັນຂໍ້ມູນປ້ອນເຂົ້າ "ປະເພດດຽວກັນ", ດັ່ງນັ້ນແບບຈຳລອງຈະບໍ່ປ່ຽນໄປສູ່ພຶດຕິກຳທີ່ຄາດເດົາບໍ່ໄດ້ໃນພາຍຫຼັງ.

ເປັນຫຍັງການປະມວນຜົນລ່ວງໜ້າຂອງ AI ຈຶ່ງມີຄວາມສຳຄັນຫຼາຍໃນການຜະລິດ?

ການປະມວນຜົນກ່ອນມີຄວາມສຳຄັນເພາະວ່າຮູບແບບມີຄວາມອ່ອນໄຫວຕໍ່ກັບການນຳສະເໜີຂໍ້ມູນປ້ອນຂໍ້ມູນ. ຖ້າຂໍ້ມູນການຝຶກອົບຮົມຖືກປັບຂະໜາດ, ເຂົ້າລະຫັດ, ໂທເຄັນ, ຫຼື ປ່ຽນແປງແຕກຕ່າງຈາກຂໍ້ມູນການຜະລິດ, ທ່ານສາມາດໄດ້ຮັບຄວາມລົ້ມເຫຼວທີ່ບໍ່ກົງກັນຂອງການຝຶກອົບຮົມ/ການບໍລິການທີ່ເບິ່ງຄືວ່າດີໃນຂະນະອອບລາຍ ແຕ່ລົ້ມເຫຼວຢ່າງງຽບໆໃນຂະນະອອນລາຍ. ທໍ່ສົ່ງການປະມວນຜົນກ່ອນທີ່ເຂັ້ມແຂງຍັງຊ່ວຍຫຼຸດຜ່ອນສຽງລົບກວນ, ປັບປຸງຄວາມໝັ້ນຄົງຂອງການຮຽນຮູ້, ແລະ ເລັ່ງການເຮັດຊ້ຳເພາະວ່າທ່ານບໍ່ໄດ້ແກ້ໄຂບັນຫາ spaghetti ຂອງປື້ມບັນທຶກ.

ຂ້ອຍຈະຫຼີກລ່ຽງການຮົ່ວໄຫຼຂອງຂໍ້ມູນໄດ້ແນວໃດໃນເວລາປະມວນຜົນກ່ອນ?

ກົດລະບຽບງ່າຍໆໃຊ້ໄດ້ຜົນ: ສິ່ງໃດກໍ່ຕາມທີ່ມີ ການປັບຕົວ ຕ້ອງປັບຕົວໃສ່ຂໍ້ມູນການຝຶກອົບຮົມເທົ່ານັ້ນ. ນັ້ນລວມມີຕົວປັບຂະໜາດ, ຕົວເຂົ້າລະຫັດ, ແລະຕົວປ່ຽນໂທເຄັນທີ່ຮຽນຮູ້ພາລາມິເຕີເຊັ່ນ: ຄ່າສະເລ່ຍ, ແຜນທີ່ໝວດໝູ່, ຫຼື ຄຳສັບ. ທ່ານແຍກອອກກ່ອນ, ປັບຕົວໃສ່ການແຍກການຝຶກອົບຮົມ, ຈາກນັ້ນປ່ຽນການກວດສອບຄວາມຖືກຕ້ອງ/ການທົດສອບໂດຍໃຊ້ຕົວປ່ຽນທີ່ປັບຕົວແລ້ວ. ການຮົ່ວໄຫຼສາມາດເຮັດໃຫ້ການກວດສອບເບິ່ງຄືວ່າດີ "ຢ່າງມະຫັດສະຈັນ" ແລະຈາກນັ້ນກໍ່ລົ້ມລົງໃນການນຳໃຊ້ໃນການຜະລິດ.

ຂັ້ນຕອນການປະມວນຜົນກ່ອນການປະມວນຜົນທີ່ພົບເລື້ອຍທີ່ສຸດສຳລັບຂໍ້ມູນຕາຕະລາງແມ່ນຫຍັງ?

ສຳລັບຂໍ້ມູນຕາຕະລາງ, pipeline ປົກກະຕິປະກອບມີການທຳຄວາມສະອາດ ແລະ ການກວດສອບຄວາມຖືກຕ້ອງ (ປະເພດ, ຂອບເຂດ, ຄ່າທີ່ຂາດຫາຍໄປ), ການເຂົ້າລະຫັດແບບໝວດໝູ່ (ໜຶ່ງຮ້ອນ ຫຼື ລຳດັບ), ແລະ ການຂະຫຍາຍຕົວເລກ (ມາດຕະຖານ ຫຼື ຕໍ່າສຸດ-ສູງສຸດ). pipeline ຫຼາຍອັນເພີ່ມວິສະວະກຳຄຸນສົມບັດທີ່ຂັບເຄື່ອນດ້ວຍໂດເມນ ເຊັ່ນ: ອັດຕາສ່ວນ, ໜ້າຕ່າງມ້ວນ, ຫຼື ການນັບ. ນິໄສທີ່ໃຊ້ໄດ້ຈິງແມ່ນການກຳນົດກຸ່ມຖັນຢ່າງຊັດເຈນ (ຕົວເລກ vs ໝວດໝູ່ vs ຕົວລະບຸ) ເພື່ອໃຫ້ການຫັນປ່ຽນຂອງທ່ານຄົງທີ່.

ການປະມວນຜົນລ່ວງໜ້າເຮັດວຽກແນວໃດສຳລັບຮູບແບບຂໍ້ຄວາມ?

ການປະມວນຜົນຂໍ້ຄວາມກ່ອນໂດຍທົ່ວໄປໝາຍເຖິງການເຮັດໃຫ້ໂທເຄັນເປັນໂທເຄັນ/ຄຳຍ່ອຍ, ການປ່ຽນພວກມັນເປັນ ID ການປ້ອນຂໍ້ມູນ, ແລະ ການຈັດການ padding/truncation ສຳລັບການ batching. ຂະບວນການເຮັດວຽກຂອງ transformer ຫຼາຍຢ່າງຍັງສ້າງໜ້າກາກຄວາມສົນໃຈຄຽງຄູ່ກັບ ID. ວິທີການທົ່ວໄປແມ່ນການໃຊ້ການຕັ້ງຄ່າ tokenizer ທີ່ຄາດໄວ້ຂອງໂມເດວແທນທີ່ຈະປັບປຸງ, ເພາະວ່າຄວາມແຕກຕ່າງເລັກນ້ອຍໃນການຕັ້ງຄ່າ tokenizer ສາມາດນຳໄປສູ່ຜົນໄດ້ຮັບ "ມັນຝຶກອົບຮົມແຕ່ມັນປະພຶດຕົວທີ່ຄາດເດົາບໍ່ໄດ້".

ມີຫຍັງແຕກຕ່າງກ່ຽວກັບການປະມວນຜົນຮູບພາບລ່ວງໜ້າສຳລັບການຮຽນຮູ້ຂອງເຄື່ອງຈັກ?

ການປະມວນຜົນຮູບພາບກ່ອນໂດຍປົກກະຕິແລ້ວຈະຮັບປະກັນຮູບຮ່າງ ແລະ ການຈັດການພິກເຊວທີ່ສອດຄ່ອງກັນ: ການປັບຂະໜາດ/ການຕັດ, ການເຮັດໃຫ້ເປັນປົກກະຕິ, ແລະ ການແບ່ງແຍກທີ່ຊັດເຈນລະຫວ່າງການຫັນປ່ຽນແບບກຳນົດ ແລະ ແບບສຸ່ມ. ສຳລັບການປະເມີນຜົນ, ການຫັນປ່ຽນຄວນຈະເປັນແບບກຳນົດເພື່ອໃຫ້ຕົວຊີ້ວັດສາມາດປຽບທຽບກັນໄດ້. ສຳລັບການຝຶກອົບຮົມ, ການເສີມແບບສຸ່ມ (ເຊັ່ນ: ການຕັດແບບສຸ່ມ) ສາມາດປັບປຸງຄວາມທົນທານໄດ້, ແຕ່ການສຸ່ມຕ້ອງໄດ້ຮັບການກຳນົດຂອບເຂດໃຫ້ກັບການແບ່ງການຝຶກອົບຮົມໂດຍເຈດຕະນາ, ບໍ່ຄວນປະໄວ້ໂດຍບັງເອີນໃນລະຫວ່າງການປະເມີນຜົນ.

ສິ່ງໃດທີ່ເຮັດໃຫ້ທໍ່ສົ່ງກ່ອນການປຸງແຕ່ງ "ດີ" ແທນທີ່ຈະແຕກຫັກງ່າຍ?

ທໍ່ສົ່ງຂໍ້ມູນການປະມວນຜົນ AI ທີ່ດີແມ່ນສາມາດຜະລິດຊ້ຳໄດ້, ປອດໄພຕໍ່ການຮົ່ວໄຫຼ, ແລະສາມາດສັງເກດເຫັນໄດ້. ສາມາດຜະລິດຊ້ຳໄດ້ໝາຍຄວາມວ່າອິນພຸດດຽວກັນຈະຜະລິດຜົນຜະລິດດຽວກັນ ເວັ້ນເສຍແຕ່ວ່າການສຸ່ມແມ່ນການເພີ່ມໂດຍເຈດຕະນາ. ປອດໄພຕໍ່ການຮົ່ວໄຫຼໝາຍຄວາມວ່າຂັ້ນຕອນການພໍດີບໍ່ເຄີຍແຕະຕ້ອງການກວດສອບ/ການທົດສອບ. ສາມາດສັງເກດເຫັນໄດ້ໝາຍຄວາມວ່າທ່ານສາມາດກວດສອບສະຖິຕິເຊັ່ນ: ການຫາຍສາບສູນ, ການນັບໝວດໝູ່, ແລະ ການແຈກຢາຍຄຸນສົມບັດ ດັ່ງນັ້ນການດີບັກແມ່ນອີງໃສ່ຫຼັກຖານ, ບໍ່ແມ່ນຄວາມຮູ້ສຶກພາຍໃນ. ທໍ່ສົ່ງຂໍ້ມູນຈະເອົາຊະນະລຳດັບປື້ມບັນທຶກ ad-hoc ທຸກໆຄັ້ງ.

ຂ້ອຍຈະເຮັດໃຫ້ການຝຶກອົບຮົມ ແລະ ການປະມວນຜົນກ່ອນການອະນຸມານມີຄວາມສອດຄ່ອງກັນໄດ້ແນວໃດ?

ສິ່ງສຳຄັນແມ່ນການນຳໃຊ້ສິ່ງປະດິດທີ່ຮຽນຮູ້ມາຄືກັນຄືນໃໝ່ໃນເວລາອະນຸມານ: ພາລາມິເຕີ scaler, ການສ້າງແຜນທີ່ encoder, ແລະ ການຕັ້ງຄ່າ tokenizer. ທ່ານຍັງຕ້ອງການສັນຍາການປ້ອນຂໍ້ມູນ (ຖັນ, ປະເພດ, ແລະ ຊ່ວງທີ່ຄາດໄວ້) ເພື່ອໃຫ້ຂໍ້ມູນການຜະລິດບໍ່ສາມາດລອຍໄປສູ່ຮູບຮ່າງທີ່ບໍ່ຖືກຕ້ອງໄດ້ຢ່າງງຽບໆ. ຄວາມສອດຄ່ອງບໍ່ພຽງແຕ່ "ເຮັດຂັ້ນຕອນດຽວກັນ" - ມັນແມ່ນ "ເຮັດຂັ້ນຕອນດຽວກັນກັບພາລາມິເຕີ ແລະ ການສ້າງແຜນທີ່ທີ່ເໝາະສົມຄືກັນ."

ຂ້ອຍຈະຕິດຕາມກວດກາບັນຫາການປະມວນຜົນກ່ອນການໃຊ້ງານ ເຊັ່ນ: ການເລື່ອນ ແລະ ການອຽງຕາມການເວລາໄດ້ແນວໃດ?

ເຖິງແມ່ນວ່າຈະມີທໍ່ສົ່ງທີ່ແຂງແກ່ນ, ຂໍ້ມູນການຜະລິດກໍ່ປ່ຽນແປງ. ວິທີການທົ່ວໄປແມ່ນການຕິດຕາມກວດກາການປ່ຽນແປງການແຈກຢາຍຄຸນສົມບັດ ແລະ ແຈ້ງເຕືອນກ່ຽວກັບຄວາມອຽງຂອງການຝຶກອົບຮົມ (ການຜະລິດແຕກຕ່າງຈາກການຝຶກອົບຮົມ) ແລະ ການປ່ຽນແປງຂອງການອະນຸມານ (ການປ່ຽນແປງຂອງການຜະລິດຕາມການເວລາ). ການຕິດຕາມກວດກາສາມາດເປັນນ້ຳໜັກເບົາ (ການກວດສອບການແຈກຢາຍພື້ນຖານ) ຫຼື ການຈັດການ (ເຊັ່ນ: ການຕິດຕາມກວດກາແບບຈຳລອງ Vertex AI). ເປົ້າໝາຍແມ່ນເພື່ອຕິດຕາມການປ່ຽນແປງການປ້ອນຂໍ້ມູນແຕ່ຫົວທີ - ກ່ອນທີ່ມັນຈະຄ່ອຍໆທຳລາຍປະສິດທິພາບຂອງແບບຈຳລອງ.

ເອກະສານອ້າງອີງ

[1] scikit-learn API: sklearn.preprocessing (ຕົວເຂົ້າລະຫັດ, ຕົວຂະຫຍາຍ, ການເຮັດໃຫ້ເປັນປົກກະຕິ)
[2] scikit-learn: ຂໍ້ຜິດພາດທົ່ວໄປ - ການຮົ່ວໄຫຼຂອງຂໍ້ມູນ ແລະ ວິທີການຫຼີກລ່ຽງມັນ
[3] ເອກະສານ Hugging Face Transformers: Tokenizers (ID ອິນພຸດ, ໜ້າກາກເອົາໃຈໃສ່)
[4] ເອກະສານ PyTorch Torchvision: ການຫັນປ່ຽນ (ປັບຂະໜາດ/ເຮັດໃຫ້ເປັນປົກກະຕິ + ການຫັນປ່ຽນແບບສຸ່ມ)
[5] ເອກະສານ Google Cloud Vertex AI: ພາບລວມຂອງການຕິດຕາມຮູບແບບ (ຄຸນສົມບັດ skew & drift)

ຊອກຫາ AI ລ່າສຸດໄດ້ທີ່ຮ້ານ AI Assistant ຢ່າງເປັນທາງການ

ກ່ຽວກັບພວກເຮົາ