ຄຳຕອບສັ້ນໆ: ເພື່ອປະເມີນຮູບແບບ AI ໃຫ້ດີ, ເລີ່ມຕົ້ນດ້ວຍການກຳນົດວ່າ "ດີ" ຈະເປັນແນວໃດສຳລັບຜູ້ໃຊ້ຕົວຈິງ ແລະ ການຕັດສິນໃຈທີ່ມີຢູ່. ຈາກນັ້ນສ້າງການປະເມີນຜົນທີ່ເຮັດຊ້ຳໄດ້ດ້ວຍຂໍ້ມູນທີ່ເປັນຕົວແທນ, ການຄວບຄຸມການຮົ່ວໄຫຼທີ່ເຂັ້ມງວດ, ແລະ ຕົວຊີ້ວັດຫຼາຍຢ່າງ. ເພີ່ມຄວາມກົດດັນ, ຄວາມລຳອຽງ, ແລະ ການກວດສອບຄວາມປອດໄພ, ແລະ ເມື່ອໃດກໍຕາມທີ່ມີຫຍັງປ່ຽນແປງ (ຂໍ້ມູນ, ການກະຕຸ້ນ, ນະໂຍບາຍ), ໃຫ້ເປີດໃຊ້ລະບົບຄືນໃໝ່ ແລະ ຕິດຕາມເບິ່ງຫຼັງຈາກການເປີດຕົວ.
ບົດຮຽນຫຼັກ:
ເງື່ອນໄຂຄວາມສຳເລັດ : ກຳນົດຜູ້ໃຊ້, ການຕັດສິນໃຈ, ຂໍ້ຈຳກັດ ແລະ ຄວາມລົ້ມເຫຼວໃນກໍລະນີທີ່ຮ້າຍແຮງທີ່ສຸດກ່ອນທີ່ຈະເລືອກຕົວຊີ້ວັດ.
ຄວາມສາມາດໃນການເຮັດຊ້ຳອີກ : ສ້າງລະບົບປະເມີນຜົນທີ່ດຳເນີນການທົດສອບທີ່ປຽບທຽບກັນຄືນໃໝ່ດ້ວຍທຸກໆການປ່ຽນແປງ.
ສຸຂະອະນາໄມຂໍ້ມູນ : ຮັກສາການແບ່ງແຍກທີ່ໝັ້ນຄົງ, ປ້ອງກັນການຊໍ້າຊ້ອນ, ແລະ ສະກັດກັ້ນການຮົ່ວໄຫຼຂອງຄຸນສົມບັດຕ່າງໆແຕ່ຫົວທີ.
ການກວດສອບຄວາມໄວ້ວາງໃຈ : ຄວາມທົນທານຂອງການທົດສອບຄວາມຄຽດ, ການຕັດຄວາມຍຸດຕິທຳ, ແລະ ພຶດຕິກຳຄວາມປອດໄພຂອງ LLM ພ້ອມດ້ວຍຄະແນນທີ່ຊັດເຈນ.
ວິໄນຂອງວົງຈອນຊີວິດ : ນຳໃຊ້ເປັນໄລຍະ, ຕິດຕາມກວດກາການເຄື່ອນທີ່ ແລະ ເຫດການຕ່າງໆ, ແລະ ບັນທຶກຊ່ອງຫວ່າງທີ່ຮູ້ຈັກ.
ບົດຄວາມທີ່ທ່ານອາດຈະຢາກອ່ານຫຼັງຈາກບົດຄວາມນີ້:
🔗 ຈັນຍາບັນ AI ແມ່ນຫຍັງ
ສຳຫຼວດຫຼັກການທີ່ນຳພາການອອກແບບ, ການນຳໃຊ້ ແລະ ການຄຸ້ມຄອງ AI ທີ່ມີຄວາມຮັບຜິດຊອບ.
🔗 ຄວາມລຳອຽງຂອງ AI ແມ່ນຫຍັງ
ຮຽນຮູ້ວິທີທີ່ຂໍ້ມູນທີ່ມີອະຄະຕິບິດເບືອນການຕັດສິນໃຈ ແລະ ຜົນໄດ້ຮັບຂອງ AI.
🔗 AI scalability ແມ່ນຫຍັງ
ເຂົ້າໃຈການຂະຫຍາຍລະບົບ AI ສຳລັບປະສິດທິພາບ, ຕົ້ນທຶນ ແລະ ຄວາມໜ້າເຊື່ອຖື.
🔗 AI ແມ່ນຫຍັງ
ພາບລວມທີ່ຊັດເຈນກ່ຽວກັບປັນຍາປະດິດ, ປະເພດ ແລະ ການນຳໃຊ້ໃນໂລກຕົວຈິງ.
1) ເລີ່ມຕົ້ນດ້ວຍຄຳນິຍາມທີ່ບໍ່ໜ້າສົນໃຈຂອງຄຳວ່າ "ດີ"
ກ່ອນຕົວຊີ້ວັດ, ກ່ອນແຜງຄວບຄຸມ, ກ່ອນການປ່ຽນແປງມາດຕະຖານໃດໆ - ຈົ່ງຕັດສິນໃຈວ່າຄວາມສໍາເລັດເປັນແນວໃດ.
ຊີ້ແຈງ:
-
ຜູ້ໃຊ້: ນັກວິເຄາະພາຍໃນ, ລູກຄ້າ, ແພດໝໍ, ຄົນຂັບລົດ, ຕົວແທນຊ່ວຍເຫຼືອທີ່ອິດເມື່ອຍໃນເວລາ 4 ໂມງແລງ...
-
ການຕັດສິນໃຈ: ອະນຸມັດເງິນກູ້, ລາຍງານການສໍ້ໂກງ, ແນະນຳເນື້ອຫາ, ສະຫຼຸບບັນທຶກ
-
ຄວາມລົ້ມເຫຼວທີ່ສຳຄັນທີ່ສຸດ:
-
ຜົນບວກທີ່ບໍ່ຖືກຕ້ອງ (ໜ້າລຳຄານ) ທຽບກັບ ຜົນລົບທີ່ບໍ່ຖືກຕ້ອງ (ອັນຕະລາຍ)
-
-
ຂໍ້ຈຳກັດ: ຄວາມຊັກຊ້າ, ຄ່າໃຊ້ຈ່າຍຕໍ່ການຮ້ອງຂໍ, ກົດລະບຽບຄວາມເປັນສ່ວນຕົວ, ຂໍ້ກຳນົດການອະທິບາຍ, ການເຂົ້າເຖິງໄດ້
ນີ້ແມ່ນສ່ວນທີ່ທີມງານຕ່າງໆຫັນໄປສູ່ການເພີ່ມປະສິດທິພາບເພື່ອ "ຕົວຊີ້ວັດທີ່ດີ" ແທນທີ່ຈະເປັນ "ຜົນໄດ້ຮັບທີ່ມີຄວາມໝາຍ". ມັນເກີດຂຶ້ນຫຼາຍ. ຄື... ຫຼາຍ.
ວິທີທີ່ແຂງແກ່ນໃນການຮັກສາຄວາມສ່ຽງນີ້ (ແລະບໍ່ແມ່ນອີງໃສ່ຄວາມຮູ້ສຶກ) ແມ່ນການກໍານົດການທົດສອບໂດຍອີງໃສ່ຄວາມໜ້າເຊື່ອຖື ແລະ ການຄຸ້ມຄອງຄວາມສ່ຽງຕະຫຼອດວົງຈອນຊີວິດ, ຄືກັນກັບທີ່ NIST ເຮັດໃນ AI Risk Management Framework (AI RMF 1.0) [1].
2) ສິ່ງທີ່ເຮັດໃຫ້ “ວິທີການທົດສອບຮູບແບບ AI” ເປັນຮຸ່ນທີ່ດີ ✅
ວິທີການທົດສອບທີ່ແຂງແກ່ນມີບາງສິ່ງທີ່ບໍ່ສາມາດເຈລະຈາໄດ້ຄື:
-
ຂໍ້ມູນຕົວແທນ (ບໍ່ພຽງແຕ່ຂໍ້ມູນຫ້ອງທົດລອງທີ່ສະອາດເທົ່ານັ້ນ)
-
ຮອຍແຕກທີ່ຊັດເຈນ ພ້ອມດ້ວຍການປ້ອງກັນການຮົ່ວໄຫຼ (ເພີ່ມເຕີມກ່ຽວກັບເລື່ອງນັ້ນໃນອີກບໍ່ດົນ)
-
ເສັ້ນຖານ (ຮູບແບບງ່າຍໆທີ່ເຈົ້າ ຄວນ ຕີ - ຕົວປະເມີນແບບຈຳລອງມີຢູ່ຍ້ອນເຫດຜົນ [4])
-
ຫຼາຍຕົວຊີ້ວັດ (ເພາະວ່າຕົວເລກໜຶ່ງຕົວະທ່ານຢ່າງສຸພາບຕໍ່ໜ້າທ່ານ)
-
ການທົດສອບຄວາມຕຶງຄຽດ (ກໍລະນີຂອບ, ການປ້ອນຂໍ້ມູນຜິດປົກກະຕິ, ສະຖານະການທີ່ຄ້າຍຄືກັບສັດຕູ)
-
ການທົບທວນຄືນແບບມະນຸດ (ໂດຍສະເພາະສຳລັບຮູບແບບການສ້າງແບບຈຳລອງ)
-
ການຕິດຕາມກວດກາຫຼັງຈາກການເປີດຕົວ (ເພາະວ່າໂລກປ່ຽນແປງ, ທໍ່ສົ່ງນ້ຳແຕກ, ແລະຜູ້ໃຊ້ກໍ່… ມີຄວາມຄິດສ້າງສັນ [1])
ນອກຈາກນີ້: ວິທີການທີ່ດີປະກອບມີການບັນທຶກສິ່ງທີ່ເຈົ້າໄດ້ທົດສອບ, ສິ່ງທີ່ເຈົ້າບໍ່ໄດ້ທົດສອບ, ແລະສິ່ງທີ່ເຈົ້າກັງວົນ. ພາກສ່ວນ "ສິ່ງທີ່ຂ້ອຍກັງວົນ" ນັ້ນຮູ້ສຶກອຶດອັດ - ແລະມັນຍັງເປັນບ່ອນທີ່ຄວາມໄວ້ວາງໃຈເລີ່ມເພີ່ມຂຶ້ນ.
ສອງຮູບແບບເອກະສານທີ່ຊ່ວຍໃຫ້ທີມງານມີຄວາມກົງໄປກົງມາຢ່າງຕໍ່ເນື່ອງ:
-
ບັດຮູບແບບ (ຮູບແບບນີ້ໃຊ້ເພື່ອຫຍັງ, ມັນຖືກປະເມີນແນວໃດ, ມັນລົ້ມເຫຼວຢູ່ໃສ) [2]
-
ແຜ່ນຂໍ້ມູນສຳລັບຊຸດຂໍ້ມູນ (ຂໍ້ມູນແມ່ນຫຍັງ, ມັນຖືກເກັບກຳແນວໃດ, ມັນຄວນ/ບໍ່ຄວນໃຊ້ສຳລັບຫຍັງ) [3]
3) ຄວາມເປັນຈິງຂອງເຄື່ອງມື: ສິ່ງທີ່ຜູ້ຄົນໃຊ້ໃນການປະຕິບັດ 🧰
ເຄື່ອງມືແມ່ນທາງເລືອກ. ນິໄສການປະເມີນຜົນທີ່ດີບໍ່ແມ່ນ.
ຖ້າທ່ານຕ້ອງການການຕັ້ງຄ່າທີ່ໃຊ້ໄດ້ຈິງ, ທີມສ່ວນໃຫຍ່ຈະມີສາມຢ່າງຄື:
-
ການຕິດຕາມການທົດລອງ (ການແລ່ນ, ການຕັ້ງຄ່າ, ສິ່ງປະດິດ)
-
ການປະເມີນຜົນ (ການທົດສອບແບບອອບໄລນ໌ທີ່ເຮັດຊ້ຳໄດ້ + ຊຸດການຖົດຖອຍ)
-
ການຕິດຕາມກວດກາ (ສັນຍານແບບລ່ອງລອຍ, ຕົວແທນປະສິດທິພາບ, ການແຈ້ງເຕືອນເຫດການ)
ຕົວຢ່າງທີ່ທ່ານຈະເຫັນຫຼາຍໃນທຳມະຊາດ (ບໍ່ແມ່ນການຮັບຮອງ, ແລະແມ່ນແລ້ວ - ການປ່ຽນແປງຄຸນສົມບັດ/ລາຄາ): MLflow, Weights & Biases, Great Expectations, Evidently, Deepchecks, OpenAI Evals, TruLens, LangSmith.
ຖ້າທ່ານເລືອກພຽງແຕ່ ແນວຄວາມຄິດ ຈາກພາກນີ້: ສ້າງສາຍຮັດການປະເມີນຜົນທີ່ສາມາດເຮັດຊ້ຳໄດ້ . ທ່ານຕ້ອງການ "ກົດປຸ່ມ → ໄດ້ຮັບຜົນໄດ້ຮັບທີ່ຄ້າຍຄືກັນ," ບໍ່ແມ່ນ "ແລ່ນປື້ມບັນທຶກຄືນໃໝ່ແລະອະທິຖານ."
4) ສ້າງຊຸດການທົດສອບທີ່ຖືກຕ້ອງ (ແລະຢຸດການຮົ່ວໄຫຼຂໍ້ມູນ) 🚧
ຈຳນວນນາງແບບທີ່ “ໜ້າຕື່ນຕາຕື່ນໃຈ” ຈຳນວນຫຼວງຫຼາຍທີ່ກຳລັງໂກງໂດຍບັງເອີນ.
ສຳລັບ ML ມາດຕະຖານ
ກົດລະບຽບທີ່ບໍ່ເໝາະສົມບາງຢ່າງທີ່ຊ່ວຍຊີວິດອາຊີບ:
-
ຮັກສາ ການຝຶກອົບຮົມ/ການກວດສອບຄວາມຖືກຕ້ອງ/ການທົດສອບ ໃຫ້ຄົງທີ່ (ແລະຂຽນເຫດຜົນການແຍກລົງ)
-
ປ້ອງກັນ ການຊໍ້າຊ້ອນໃນທົ່ວພາກສ່ວນ (ຜູ້ໃຊ້ດຽວກັນ, ເອກະສານດຽວກັນ, ຜະລິດຕະພັນດຽວກັນ, ເກືອບຊໍ້າກັນ)
-
ລະວັງ ການຮົ່ວໄຫຼຂອງຄຸນສົມບັດ (ຂໍ້ມູນໃນອະນາຄົດທີ່ຈະເຂົ້າໄປໃນຄຸນສົມບັດ "ປັດຈຸບັນ")
-
ໃຊ້ເສັ້ນຖານ (ຕົວປະເມີນແບບຈຳລອງ) ເພື່ອວ່າເຈົ້າຈະບໍ່ສະຫຼອງການຖືກຕີ... ບໍ່ມີຫຍັງເລີຍ [4]
ຄຳນິຍາມການຮົ່ວໄຫຼ (ສະບັບດ່ວນ): ສິ່ງໃດກໍ່ຕາມໃນການຝຶກອົບຮົມ/ການປະເມີນທີ່ໃຫ້ຮູບແບບເຂົ້າເຖິງຂໍ້ມູນທີ່ມັນຈະບໍ່ມີໃນເວລາຕັດສິນໃຈ. ມັນສາມາດເຫັນໄດ້ຊັດເຈນ ("ປ້າຍກຳກັບໃນອະນາຄົດ") ຫຼື ລະອຽດອ່ອນ ("ຖັງເວລາຫຼັງເຫດການ").
ສຳລັບ LLMs ແລະຮູບແບບການສ້າງແບບຈຳລອງ
ທ່ານກຳລັງສ້າງ ລະບົບການກະຕຸ້ນ ແລະ ນະໂຍບາຍ , ບໍ່ພຽງແຕ່ເປັນ “ແບບຢ່າງ” ເທົ່ານັ້ນ.
-
ສ້າງ ຊຸດຄຳ ຂອງການກະຕຸ້ນເຕືອນ (ຂະໜາດນ້ອຍ, ຄຸນນະພາບສູງ, ໝັ້ນຄົງ)
-
ເພີ່ມ ຕົວຢ່າງຕົວຈິງທີ່ຜ່ານມາ (ບໍ່ລະບຸຊື່ + ປອດໄພຕໍ່ຄວາມເປັນສ່ວນຕົວ)
-
ຮັກສາ ຊຸດຕົວພິມທີ່ມີລັກສະນະໂຄ້ງມົນ : ການພິມຜິດ, ພາສາສະແລງ, ການຈັດຮູບແບບທີ່ບໍ່ໄດ້ມາດຕະຖານ, ການປ້ອນຂໍ້ມູນຫວ່າງເປົ່າ, ຄວາມແປກໃຈຫຼາຍພາສາ 🌍
ສິ່ງທີ່ຂ້ອຍເຫັນເກີດຂຶ້ນຫຼາຍຄັ້ງ: ທີມງານສົ່ງມາພ້ອມກັບຄະແນນອອບໄລນ໌ທີ່ "ເຂັ້ມແຂງ", ຫຼັງຈາກນັ້ນຝ່າຍສະໜັບສະໜູນລູກຄ້າກ່າວວ່າ, "ເຢັນ. ມັນຂາດປະໂຫຍກດຽວທີ່ສຳຄັນຢ່າງໝັ້ນໃຈ." ການແກ້ໄຂບໍ່ແມ່ນ "ຮູບແບບທີ່ໃຫຍ່ກວ່າ." ມັນແມ່ນການ ກະຕຸ້ນການທົດສອບທີ່ດີກວ່າ , ຫຼັກການທີ່ຊັດເຈນກວ່າ, ແລະຊຸດການຖົດຖອຍທີ່ລົງໂທດຮູບແບບຄວາມລົ້ມເຫຼວທີ່ແນ່ນອນນັ້ນ. ງ່າຍດາຍ. ມີປະສິດທິພາບ.
5) ການປະເມີນຜົນແບບອອບໄລນ໌: ຕົວຊີ້ວັດທີ່ມີຄວາມໝາຍ 📏
ການວັດແທກແມ່ນດີ. ການປູກພືດຊະນິດດຽວແບບວັດແທກແມ່ນບໍ່ດີ.
ການຈັດປະເພດ (ສະແປມ, ການສໍ້ໂກງ, ເຈດຕະນາ, ການຈັດປະເພດ)
ໃຊ້ຫຼາຍກວ່າຄວາມຖືກຕ້ອງ.
-
ຄວາມແມ່ນຍຳ, ການລະນຶກເຖິງ, F1
-
ການປັບແຕ່ງຂອບເຂດຈຳກັດ (ຂອບເຂດຈຳກັດເລີ່ມຕົ້ນຂອງທ່ານບໍ່ຄ່ອຍຈະ "ຖືກຕ້ອງ" ສຳລັບຄ່າໃຊ້ຈ່າຍຂອງທ່ານ) [4]
-
ເມທຣິກຄວາມສັບສົນຕໍ່ສ່ວນ (ພາກພື້ນ, ປະເພດອຸປະກອນ, ກຸ່ມຜູ້ໃຊ້)
ການຖົດຖອຍ (ການຄາດຄະເນ, ການກຳນົດລາຄາ, ການໃຫ້ຄະແນນ)
-
MAE / RMSE (ເລືອກໂດຍອີງໃສ່ວິທີທີ່ທ່ານຕ້ອງການລົງໂທດຄວາມຜິດພາດ)
-
ການກວດສອບແບບການປັບທຽບເມື່ອຜົນຜະລິດຖືກນໍາໃຊ້ເປັນ "ຄະແນນ" (ຄະແນນສອດຄ່ອງກັບຄວາມເປັນຈິງບໍ?)
ລະບົບການຈັດອັນດັບ / ລະບົບຜູ້ແນະນຳ
-
NDCG, MAP, MRR
-
ແບ່ງຕາມປະເພດຄຳຖາມ (ຫົວ vs ຫາງ)
ວິໄສທັດຄອມພິວເຕີ
-
mAP, IoU
-
ການສະແດງຕໍ່ຫ້ອງຮຽນ (ຫ້ອງຮຽນທີ່ຫາຍາກແມ່ນບ່ອນທີ່ນາງແບບເຮັດໃຫ້ເຈົ້າອາຍ)
ຮູບແບບການສ້າງແບບຈຳລອງ (LLMs)
ນີ້ແມ່ນບ່ອນທີ່ຜູ້ຄົນໄດ້ຮັບ... ປັດຊະຍາ 😵💫
ຕົວເລືອກທີ່ໃຊ້ໄດ້ຈິງທີ່ເຮັດວຽກໄດ້ໃນທີມງານຕົວຈິງ:
-
ການປະເມີນຜົນໂດຍມະນຸດ (ສັນຍານທີ່ດີທີ່ສຸດ, ວົງວຽນຊ້າທີ່ສຸດ)
-
ຄວາມມັກຄູ່ / ອັດຕາການຊະນະ (A vs B ງ່າຍກວ່າການໃຫ້ຄະແນນຢ່າງແທ້ຈິງ)
-
ຕົວຊີ້ວັດຂໍ້ຄວາມອັດຕະໂນມັດ (ສະດວກສຳລັບບາງໜ້າວຽກ, ເຮັດໃຫ້ເຂົ້າໃຈຜິດສຳລັບບາງໜ້າວຽກ)
-
ການກວດສອບໂດຍອີງໃສ່ໜ້າວຽກ: “ມັນໄດ້ສະກັດເອົາຂໍ້ມູນທີ່ຖືກຕ້ອງບໍ?” “ມັນໄດ້ປະຕິບັດຕາມນະໂຍບາຍບໍ?” “ມັນໄດ້ອ້າງອີງແຫຼ່ງຂໍ້ມູນເມື່ອຕ້ອງການບໍ?”
ຖ້າທ່ານຕ້ອງການຈຸດອ້າງອີງທີ່ມີໂຄງສ້າງ "ຫຼາຍຕົວຊີ້ວັດ, ຫຼາຍສະຖານະການ", HELM ແມ່ນຈຸດຍຶດທີ່ດີ: ມັນຊຸກຍູ້ການປະເມີນຜົນຢ່າງຈະແຈ້ງນອກເໜືອໄປຈາກຄວາມຖືກຕ້ອງໄປສູ່ສິ່ງຕ່າງໆເຊັ່ນ: ການປັບທຽບ, ຄວາມທົນທານ, ອະຄະຕິ/ຄວາມເປັນພິດ, ແລະ ການແລກປ່ຽນປະສິດທິພາບ [5].
ເວົ້ານອກເລື່ອງເລັກນ້ອຍ: ຕົວຊີ້ວັດອັດຕະໂນມັດສຳລັບຄຸນນະພາບການຂຽນບາງຄັ້ງຮູ້ສຶກຄືກັບການຕັດສິນແຊນວິດໂດຍການຊັ່ງນໍ້າໜັກມັນ. ມັນບໍ່ແມ່ນບໍ່ມີຫຍັງເລີຍ, ແຕ່... ມາເລີຍ 🥪
6) ການທົດສອບຄວາມແຂງແຮງ: ເຮັດໃຫ້ມັນມີເຫື່ອອອກໜ້ອຍໜຶ່ງ 🥵🧪
ຖ້າໂມເດວຂອງເຈົ້າໃຊ້ໄດ້ກັບພຽງແຕ່ອິນພຸດທີ່ເປັນລະບຽບຮຽບຮ້ອຍ, ໂດຍພື້ນຖານແລ້ວມັນກໍ່ເປັນແຈກັນແກ້ວ. ງາມ, ແຕກຫັກງ່າຍ, ແລະແພງ.
ການທົດສອບ:
-
ສຽງລົບກວນ: ການພິມຜິດ, ຄ່າທີ່ຫາຍໄປ, ລະຫັດ Unicode ບໍ່ໄດ້ມາດຕະຖານ, ການຈັດຮູບແບບຜິດພາດ
-
ການປ່ຽນແປງການແຈກຢາຍ: ໝວດໝູ່ຜະລິດຕະພັນໃໝ່, ຄຳສັບສະແລງໃໝ່, ເຊັນເຊີໃໝ່
-
ຄ່າທີ່ຮຸນແຮງ: ຕົວເລກທີ່ຢູ່ນອກຂອບເຂດ, ປະລິມານຂໍ້ມູນຂະໜາດໃຫຍ່, ສະຕຣິງທີ່ຫວ່າງເປົ່າ
-
ການປ້ອນຂໍ້ມູນ "ແບບກົງກັນຂ້າມ" ທີ່ບໍ່ຄືກັບຊຸດການຝຶກອົບຮົມຂອງເຈົ້າແຕ່ ເບິ່ງ ຄືວ່າເປັນຜູ້ໃຊ້
ສຳລັບ LLMs, ປະກອບມີ:
-
ຄວາມພະຍາຍາມສີດທັນທີ (ຄຳແນະນຳທີ່ເຊື່ອງໄວ້ພາຍໃນເນື້ອຫາຜູ້ໃຊ້)
-
ຮູບແບບ "ບໍ່ສົນໃຈຄຳແນະນຳກ່ອນໜ້ານີ້"
-
ກໍລະນີຂອບທີ່ໃຊ້ເຄື່ອງມື (URL ທີ່ບໍ່ດີ, ການໝົດເວລາ, ຜົນຜະລິດບາງສ່ວນ)
ຄວາມທົນທານແມ່ນໜຶ່ງໃນຄຸນສົມບັດຄວາມໜ້າເຊື່ອຖືເຫຼົ່ານັ້ນທີ່ຟັງແລ້ວເບິ່ງຄືວ່າເປັນນາມທຳຈົນກວ່າທ່ານຈະພົບເຫດການ. ຫຼັງຈາກນັ້ນມັນກໍ່ກາຍເປັນ... ເຫັນໄດ້ຊັດເຈນຫຼາຍ [1].
7) ອະຄະຕິ, ຄວາມຍຸຕິທຳ, ແລະ ຄົນທີ່ມັນເຮັດວຽກໃຫ້ ⚖️
ຮູບແບບສາມາດ "ຖືກຕ້ອງ" ໂດຍລວມໃນຂະນະທີ່ຮ້າຍແຮງກວ່າເກົ່າຢ່າງຕໍ່ເນື່ອງສຳລັບກຸ່ມສະເພາະ. ນັ້ນບໍ່ແມ່ນຂໍ້ບົກຜ່ອງເລັກນ້ອຍ. ນັ້ນແມ່ນບັນຫາຜະລິດຕະພັນແລະຄວາມໄວ້ວາງໃຈ.
ຂັ້ນຕອນການປະຕິບັດ:
-
ປະເມີນຜົນການປະຕິບັດຕາມ ພາກສ່ວນທີ່ມີຄວາມໝາຍ (ເໝາະສົມທາງດ້ານກົດໝາຍ/ຈັນຍາບັນໃນການວັດແທກ)
-
ປຽບທຽບອັດຕາຄວາມຜິດພາດ ແລະ ການປັບທຽບລະຫວ່າງກຸ່ມຕ່າງໆ
-
ທົດສອບຄຸນສົມບັດ proxy (ລະຫັດໄປສະນີ, ປະເພດອຸປະກອນ, ພາສາ) ທີ່ສາມາດເຂົ້າລະຫັດລັກສະນະທີ່ລະອຽດອ່ອນ
ຖ້າທ່ານບໍ່ໄດ້ບັນທຶກເລື່ອງນີ້ໄວ້ບ່ອນໃດບ່ອນໜຶ່ງ, ໂດຍພື້ນຖານແລ້ວທ່ານກຳລັງຂໍໃຫ້ອະນາຄົດຂອງທ່ານແກ້ໄຂບັນຫາວິກິດການຄວາມໄວ້ວາງໃຈໂດຍບໍ່ມີແຜນທີ່. ບັດຮູບແບບແມ່ນບ່ອນທີ່ດີທີ່ຈະວາງມັນໄວ້ [2], ແລະກອບຄວາມໜ້າເຊື່ອຖືຂອງ NIST ໃຫ້ບັນຊີກວດສອບທີ່ເຂັ້ມແຂງແກ່ທ່ານກ່ຽວກັບສິ່ງທີ່ "ດີ" ຄວນລວມຢູ່ [1].
8) ການທົດສອບຄວາມປອດໄພ ແລະ ຄວາມໝັ້ນຄົງ (ໂດຍສະເພາະສຳລັບ LLMs) 🛡️
ຖ້າຮູບແບບຂອງທ່ານສາມາດສ້າງເນື້ອຫາໄດ້, ທ່ານກຳລັງທົດສອບຫຼາຍກວ່າຄວາມຖືກຕ້ອງ. ທ່ານກຳລັງທົດສອບພຶດຕິກຳ.
ລວມເອົາການທົດສອບສຳລັບ:
-
ການສ້າງເນື້ອຫາທີ່ບໍ່ໄດ້ຮັບອະນຸຍາດ (ການລະເມີດນະໂຍບາຍ)
-
ການຮົ່ວໄຫຼຄວາມເປັນສ່ວນຕົວ (ມັນສະທ້ອນຄວາມລັບບໍ?)
-
ອາການປະສາດຫຼອນໃນຂົງເຂດຄວາມສ່ຽງສູງ
-
ການປະຕິເສດຫຼາຍເກີນໄປ (ຕົວແບບປະຕິເສດຄຳຮ້ອງຂໍປົກກະຕິ)
-
ຜົນຜະລິດຂອງຄວາມເປັນພິດ ແລະ ການລົບກວນ
-
ຄວາມພະຍາຍາມ exfiltration ຜ່ານການສັກຢາທັນທີ
ວິທີການທີ່ມີພື້ນຖານຄື: ກຳນົດກົດລະບຽບນະໂຍບາຍ → ສ້າງການກະຕຸ້ນການທົດສອບ → ຜົນຜະລິດຄະແນນດ້ວຍການກວດສອບໂດຍມະນຸດ + ອັດຕະໂນມັດ → ດຳເນີນການທຸກຄັ້ງທີ່ມີຫຍັງປ່ຽນແປງ. ສ່ວນ "ທຸກໆຄັ້ງ" ນັ້ນແມ່ນຄ່າເຊົ່າ.
ສິ່ງນີ້ເຂົ້າກັນໄດ້ດີກັບແນວຄິດກ່ຽວກັບຄວາມສ່ຽງໃນວົງຈອນຊີວິດ: ປົກຄອງ, ສ້າງແຜນທີ່ສະພາບການ, ວັດແທກ, ຈັດການ, ເຮັດຊ້ຳອີກ [1].
9) ການທົດສອບທາງອອນລາຍ: ການເປີດຕົວແບບເປັນຂັ້ນຕອນ (ບ່ອນທີ່ຄວາມຈິງມີຊີວິດຢູ່) 🚀
ການທົດສອບແບບອອບໄລນ໌ແມ່ນມີຄວາມຈຳເປັນ. ການເປີດເຜີຍທາງອອນລາຍແມ່ນບ່ອນທີ່ຄວາມເປັນຈິງປະກົດຂຶ້ນໂດຍການໃສ່ເກີບເປື້ອນ.
ເຈົ້າບໍ່ຈຳເປັນຕ້ອງເປັນຄົນທີ່ຫຼູຫຼາ. ເຈົ້າພຽງແຕ່ຕ້ອງມີວິໄນ:
-
ແລ່ນໃນ ໂໝດເງົາ (ໂມເດວແລ່ນ, ບໍ່ມີຜົນກະທົບຕໍ່ຜູ້ໃຊ້)
-
ຄ່ອຍໆເປີດຕົວ (ການຈະລາຈອນໜ້ອຍກ່ອນ, ຂະຫຍາຍຖ້າມີປະໂຫຍດ)
-
ຕິດຕາມຜົນໄດ້ຮັບ ແລະ ເຫດການຕ່າງໆ (ການຮ້ອງຮຽນ, ການຍົກລະດັບ, ຄວາມລົ້ມເຫຼວຂອງນະໂຍບາຍ)
ເຖິງແມ່ນວ່າທ່ານບໍ່ສາມາດໄດ້ຮັບປ້າຍກຳກັບທັນທີ, ທ່ານສາມາດຕິດຕາມກວດກາສັນຍານ proxy ແລະ ສຸຂະພາບການດຳເນີນງານ (ຄວາມຊັກຊ້າ, ອັດຕາການລົ້ມເຫຼວ, ຄ່າໃຊ້ຈ່າຍ). ຈຸດຫຼັກ: ທ່ານຕ້ອງການວິທີການທີ່ຄວບຄຸມໄດ້ເພື່ອຄົ້ນພົບຄວາມລົ້ມເຫຼວ ກ່ອນທີ່ ຖານຜູ້ໃຊ້ທັງໝົດຂອງທ່ານຈະເຮັດ [1].
10) ການຕິດຕາມກວດກາຫຼັງຈາກການນຳໃຊ້: ການລ່ອງລອຍ, ການເສື່ອມສະພາບ, ແລະ ຄວາມລົ້ມເຫຼວທີ່ງຽບສະຫງົບ 📉👀
ຮູບແບບທີ່ທ່ານໄດ້ທົດສອບບໍ່ແມ່ນຮູບແບບທີ່ທ່ານຈະໃຊ້ຢູ່. ຂໍ້ມູນປ່ຽນແປງ. ຜູ້ໃຊ້ປ່ຽນແປງ. ໂລກປ່ຽນແປງ. ທໍ່ສົ່ງໄຟຟ້າຢຸດເຮັດວຽກເວລາ 2 ໂມງເຊົ້າ. ທ່ານຮູ້ບໍ່ວ່າມັນເປັນແນວໃດ..
ຈໍພາບ:
-
ການຫຼົງໄຫຼຂອງຂໍ້ມູນປ້ອນເຂົ້າ (ການປ່ຽນແປງໂຄງຮ່າງ, ການຫາຍໄປ, ການປ່ຽນແປງການແຈກຢາຍ)
-
ການປ່ຽນແປງຜົນຜະລິດ (ການປ່ຽນແປງຄວາມສົມດຸນຂອງຊັ້ນຮຽນ, ການປ່ຽນແປງຄະແນນ)
-
ຕົວແທນປະສິດທິພາບ (ເພາະວ່າການຊັກຊ້າຂອງປ້າຍກຳກັບແມ່ນເລື່ອງຈິງ)
-
ສັນຍານຄຳຕິຊົມ (ກົດໄລຄ໌, ແກ້ໄຂໃໝ່, ຍົກລະດັບ)
-
ການຖົດຖອຍລະດັບສ່ວນ (ຕົວຂ້າທີ່ງຽບສະຫງົບ)
ແລະ ກຳນົດຂອບເຂດການແຈ້ງເຕືອນທີ່ບໍ່ສັ່ນເກີນໄປ. ຈໍພາບທີ່ຮ້ອງຢູ່ຕະຫຼອດເວລາຈະຖືກລະເລີຍ - ຄືກັບສັນຍານເຕືອນໄພລົດໃນເມືອງ.
ວົງວຽນ "ຕິດຕາມກວດກາ + ປັບປຸງຕາມການເວລາ" ນີ້ແມ່ນບໍ່ຈຳເປັນຖ້າທ່ານໃສ່ໃຈກັບຄວາມໜ້າເຊື່ອຖື [1].
11) ຂັ້ນຕອນການເຮັດວຽກທີ່ໃຊ້ໄດ້ຈິງທີ່ທ່ານສາມາດຄັດລອກໄດ້ 🧩
ນີ້ແມ່ນວົງວຽນງ່າຍໆທີ່ມີຂະໜາດ:
-
ກຳນົດຮູບແບບຄວາມສຳເລັດ + ຄວາມລົ້ມເຫຼວ (ລວມທັງຄ່າໃຊ້ຈ່າຍ/ຄວາມຊັກຊ້າ/ຄວາມປອດໄພ) [1]
-
ສ້າງຊຸດຂໍ້ມູນ:
-
ຊຸດທອງຄຳ
-
ຊຸດກະເປົ໋າຂອບ
-
ຕົວຢ່າງຕົວຈິງທີ່ຜ່ານມາ (ປອດໄພຕໍ່ຄວາມເປັນສ່ວນຕົວ)
-
-
ເລືອກຕົວຊີ້ວັດ:
-
ຕົວຊີ້ວັດໜ້າວຽກ (F1, MAE, ອັດຕາການຊະນະ) [4][5]
-
ຕົວຊີ້ວັດຄວາມປອດໄພ (ອັດຕາການຜ່ານນະໂຍບາຍ) [1][5]
-
ຕົວຊີ້ວັດການດຳເນີນງານ (ຄວາມຊັກຊ້າ, ຄ່າໃຊ້ຈ່າຍ)
-
-
ສ້າງລະບົບປະເມີນຜົນ (ເຮັດວຽກໃນທຸກໆຮູບແບບ/ການປ່ຽນແປງຢ່າງວ່ອງໄວ) [4][5]
-
ບວກການທົດສອບຄວາມຕຶງຄຽດ + ການທົດສອບແບບກົງກັນຂ້າມ [1][5]
-
ການທົບທວນຄືນຂອງມະນຸດສຳລັບຕົວຢ່າງ (ໂດຍສະເພາະສຳລັບຜົນໄດ້ຮັບຂອງ LLM) [5]
-
ສົ່ງຜ່ານ shadow + ຂັ້ນຕອນການເປີດຕົວ [1]
-
ຕິດຕາມກວດກາ + ແຈ້ງເຕືອນ + ຝຶກອົບຮົມຄືນໃໝ່ດ້ວຍວິໄນ [1]
-
ບັນທຶກຜົນໄດ້ຮັບໃນການຂຽນແບບບັດແບບຈຳລອງ [2][3]
ການຝຶກອົບຮົມແມ່ນໜ້າສົນໃຈ. ການທົດສອບແມ່ນຕ້ອງຈ່າຍຄ່າເຊົ່າ.
12) ບັນທຶກສະຫຼຸບ + ສະຫຼຸບສັ້ນໆ 🧠✨
ຖ້າທ່ານຈື່ໄດ້ພຽງແຕ່ສອງສາມຢ່າງກ່ຽວກັບ ວິທີການທົດສອບຮູບແບບ AI :
-
ໃຊ້ ຂໍ້ມູນການທົດສອບທີ່ເປັນຕົວແທນ ແລະ ຫຼີກລ່ຽງການຮົ່ວໄຫຼ [4]
-
ເລືອກ ຫຼາຍຕົວຊີ້ວັດ ທີ່ເຊື່ອມໂຍງກັບຜົນໄດ້ຮັບທີ່ແທ້ຈິງ [4][5]
-
ສຳລັບ LLMs, ໃຫ້ອີງໃສ່ ການທົບທວນຄືນຂອງມະນຸດ + ການປຽບທຽບແບບອັດຕາການຊະນະ [5]
-
ທົດສອບຄວາມທົນທານ - ການປ້ອນຂໍ້ມູນທີ່ຜິດປົກກະຕິແມ່ນການປ້ອນຂໍ້ມູນປົກກະຕິທີ່ປອມແປງ [1]
-
ເປີດຕົວຢ່າງປອດໄພ ແລະ ຕິດຕາມກວດກາ, ເພາະວ່າຮູບແບບຕ່າງໆຈະເລື່ອນລອຍ ແລະ ທໍ່ສົ່ງນ້ຳຈະແຕກ [1]
-
ບັນທຶກສິ່ງທີ່ເຈົ້າໄດ້ເຮັດ ແລະ ສິ່ງທີ່ເຈົ້າບໍ່ໄດ້ທົດສອບ (ບໍ່ສະບາຍແຕ່ມີພະລັງຫຼາຍ) [2][3]
ການທົດສອບບໍ່ພຽງແຕ່ "ພິສູດວ່າມັນເຮັດວຽກໄດ້." ແຕ່ມັນແມ່ນ "ຊອກຫາວິທີທີ່ມັນລົ້ມເຫລວກ່ອນທີ່ຜູ້ໃຊ້ຂອງທ່ານຈະເຮັດ." ແລະແມ່ນແລ້ວ, ນັ້ນບໍ່ໜ້າສົນໃຈເທົ່າໃດ - ແຕ່ມັນເປັນສ່ວນທີ່ເຮັດໃຫ້ລະບົບຂອງເຈົ້າຢືນຢູ່ໄດ້ເມື່ອສິ່ງຕ່າງໆສັ່ນຄອນ... 🧱🙂
ຄຳຖາມທີ່ຖືກຖາມເລື້ອຍໆ
ວິທີທີ່ດີທີ່ສຸດໃນການທົດສອບຮູບແບບ AI ເພື່ອໃຫ້ມັນກົງກັບຄວາມຕ້ອງການຂອງຜູ້ໃຊ້ຕົວຈິງ
ເລີ່ມຕົ້ນດ້ວຍການນິຍາມ “ດີ” ໃນແງ່ຂອງຜູ້ໃຊ້ຕົວຈິງ ແລະ ການຕັດສິນໃຈທີ່ຮູບແບບສະໜັບສະໜູນ, ບໍ່ແມ່ນພຽງແຕ່ຕົວຊີ້ວັດກະດານຈັດອັນດັບເທົ່ານັ້ນ. ລະບຸຮູບແບບຄວາມລົ້ມເຫຼວທີ່ມີຄ່າໃຊ້ຈ່າຍສູງສຸດ (ຜົນບວກທີ່ບໍ່ຖືກຕ້ອງ ທຽບກັບ ຜົນລົບທີ່ບໍ່ຖືກຕ້ອງ) ແລະ ສະກົດຂໍ້ຈຳກັດທີ່ແຂງແກ່ນເຊັ່ນ: ຄວາມຊັກຊ້າ, ຄ່າໃຊ້ຈ່າຍ, ຄວາມເປັນສ່ວນຕົວ, ແລະ ຄວາມສາມາດໃນການອະທິບາຍ. ຈາກນັ້ນເລືອກຕົວຊີ້ວັດ ແລະ ກໍລະນີທົດສອບທີ່ສະທ້ອນເຖິງຜົນໄດ້ຮັບເຫຼົ່ານັ້ນ. ສິ່ງນີ້ປ້ອງກັນບໍ່ໃຫ້ທ່ານເພີ່ມປະສິດທິພາບ “ຕົວຊີ້ວັດທີ່ສວຍງາມ” ທີ່ບໍ່ເຄີຍແປເປັນຜະລິດຕະພັນທີ່ດີກວ່າ.
ການກຳນົດເງື່ອນໄຂຄວາມສຳເລັດກ່ອນທີ່ຈະເລືອກຕົວຊີ້ວັດການປະເມີນຜົນ
ຂຽນວ່າຜູ້ໃຊ້ແມ່ນໃຜ, ການຕັດສິນໃຈແບບໃດທີ່ຮູບແບບມີຈຸດປະສົງເພື່ອສະໜັບສະໜູນ, ແລະ "ຄວາມລົ້ມເຫຼວໃນກໍລະນີທີ່ຮ້າຍແຮງທີ່ສຸດ" ມີລັກສະນະແນວໃດໃນການຜະລິດ. ເພີ່ມຂໍ້ຈຳກັດດ້ານການດຳເນີນງານເຊັ່ນ: ຄວາມຊັກຊ້າທີ່ຍອມຮັບໄດ້ ແລະ ຄ່າໃຊ້ຈ່າຍຕໍ່ການຮ້ອງຂໍ, ບວກກັບຄວາມຕ້ອງການດ້ານການຄຸ້ມຄອງເຊັ່ນ: ກົດລະບຽບຄວາມເປັນສ່ວນຕົວ ແລະ ນະໂຍບາຍຄວາມປອດໄພ. ເມື່ອສິ່ງເຫຼົ່ານັ້ນຊັດເຈນແລ້ວ, ຕົວຊີ້ວັດຈະກາຍເປັນວິທີການວັດແທກສິ່ງທີ່ຖືກຕ້ອງ. ຖ້າບໍ່ມີກອບນັ້ນ, ທີມງານມັກຈະຫັນໄປສູ່ການເພີ່ມປະສິດທິພາບສິ່ງທີ່ງ່າຍທີ່ສຸດໃນການວັດແທກ.
ການປ້ອງກັນການຮົ່ວໄຫຼຂອງຂໍ້ມູນ ແລະ ການໂກງໂດຍບັງເອີນໃນການປະເມີນຮູບແບບ
ຮັກສາການແຍກແບບຝຶກຫັດ/ການກວດສອບຄວາມຖືກຕ້ອງ/ການທົດສອບໃຫ້ໝັ້ນຄົງ ແລະ ບັນທຶກເຫດຜົນຂອງການແຍກເພື່ອໃຫ້ຜົນໄດ້ຮັບສາມາດສ້າງຊ້ຳໄດ້. ບລັອກສິ່ງທີ່ຊໍ້າກັນ ແລະ ສິ່ງທີ່ເກືອບຊໍ້າກັນໃນທົ່ວການແຍກ (ຜູ້ໃຊ້ດຽວກັນ, ເອກະສານ, ຜະລິດຕະພັນ, ຫຼື ຮູບແບບທີ່ຊໍ້າກັນ). ລະວັງການຮົ່ວໄຫຼຂອງຄຸນສົມບັດທີ່ຂໍ້ມູນ "ອະນາຄົດ" ເລື່ອນເຂົ້າໄປໃນອິນພຸດຜ່ານເວລາ ຫຼື ຊ່ອງຂໍ້ມູນຫຼັງເຫດການ. ຂໍ້ມູນພື້ນຖານທີ່ເຂັ້ມແຂງ (ແມ່ນແຕ່ຕົວຄາດຄະເນແບບຈຳລອງ) ຊ່ວຍໃຫ້ທ່ານສັງເກດເຫັນເມື່ອທ່ານກຳລັງສະເຫຼີມສະຫຼອງສຽງລົບກວນ.
ສິ່ງທີ່ສາຍຮັດການປະເມີນຜົນຄວນປະກອບມີເພື່ອໃຫ້ການທົດສອບສາມາດເຮັດຊ້ຳໄດ້ໃນການປ່ຽນແປງຕ່າງໆ
ສາຍຮັດທີ່ໃຊ້ໄດ້ຈິງຈະດຳເນີນການທົດສອບທີ່ທຽບເທົ່າກັນຄືນໃໝ່ໃນທຸກໆຮູບແບບ, ການກະຕຸ້ນເຕືອນ, ຫຼືການປ່ຽນແປງນະໂຍບາຍໂດຍໃຊ້ຊຸດຂໍ້ມູນ ແລະກົດລະບຽບການໃຫ້ຄະແນນດຽວກັນ. ໂດຍປົກກະຕິແລ້ວມັນປະກອບມີຊຸດການຖົດຖອຍ, ແຜງຄວບຄຸມຕົວຊີ້ວັດທີ່ຊັດເຈນ, ແລະການຕັ້ງຄ່າ ແລະສິ່ງປະດິດທີ່ເກັບໄວ້ເພື່ອການຕິດຕາມ. ສຳລັບລະບົບ LLM, ມັນຍັງຕ້ອງການ "ຊຸດການກະຕຸ້ນເຕືອນທອງຄຳ" ທີ່ໝັ້ນຄົງບວກກັບຊຸດກໍລະນີຂອບ. ເປົ້າໝາຍແມ່ນ "ກົດປຸ່ມ → ຜົນໄດ້ຮັບທີ່ປຽບທຽບໄດ້," ບໍ່ແມ່ນ "ດຳເນີນປື້ມບັນທຶກຄືນໃໝ່ ແລະອະທິຖານ."
ຕົວຊີ້ວັດສຳລັບການທົດສອບຮູບແບບ AI ທີ່ເກີນຄວາມແມ່ນຍຳ
ໃຊ້ຫຼາຍຕົວຊີ້ວັດ, ເພາະວ່າຕົວເລກດຽວສາມາດປິດບັງການແລກປ່ຽນທີ່ສຳຄັນໄດ້. ສຳລັບການຈັດປະເພດ, ໃຫ້ຈັບຄູ່ຄວາມແມ່ນຍຳ/ການເອີ້ນຄືນ/F1 ກັບການປັບແຕ່ງຂອບເຂດ ແລະ ເມທຣິກຄວາມສັບສົນຕາມສ່ວນ. ສຳລັບການຖົດຖອຍ, ເລືອກ MAE ຫຼື RMSE ໂດຍອີງໃສ່ວິທີທີ່ທ່ານຕ້ອງການລົງໂທດຄວາມຜິດພາດ, ແລະ ເພີ່ມການກວດສອບແບບການປັບທຽບເມື່ອຜົນຜະລິດເຮັດວຽກຄືກັບຄະແນນ. ສຳລັບການຈັດອັນດັບ, ໃຫ້ໃຊ້ NDCG/MAP/MRR ແລະ ແບ່ງຕາມຄຳຖາມຫົວ vs ຫາງເພື່ອຈັບປະສິດທິພາບທີ່ບໍ່ສະເໝີພາບ.
ການປະເມີນຜົນຜະລິດຂອງ LLM ເມື່ອຕົວຊີ້ວັດອັດຕະໂນມັດບໍ່ພຽງພໍ
ປະຕິບັດຕໍ່ມັນຄືກັບລະບົບການກະຕຸ້ນ ແລະ ນະໂຍບາຍ ແລະ ພຶດຕິກຳການໃຫ້ຄະແນນ, ບໍ່ພຽງແຕ່ຄວາມຄ້າຍຄືກັນຂອງຂໍ້ຄວາມເທົ່ານັ້ນ. ຫຼາຍທີມລວມການປະເມີນຜົນຂອງມະນຸດເຂົ້າກັບຄວາມມັກຄູ່ (ອັດຕາການຊະນະ A/B), ບວກກັບການກວດສອບທີ່ອີງໃສ່ໜ້າວຽກເຊັ່ນ "ມັນໄດ້ສະກັດເອົາຊ່ອງຂໍ້ມູນທີ່ຖືກຕ້ອງບໍ" ຫຼື "ມັນໄດ້ປະຕິບັດຕາມນະໂຍບາຍບໍ". ຕົວຊີ້ວັດຂໍ້ຄວາມອັດຕະໂນມັດສາມາດຊ່ວຍໄດ້ໃນກໍລະນີທີ່ຄັບແຄບ, ແຕ່ພວກເຂົາມັກຈະພາດສິ່ງທີ່ຜູ້ໃຊ້ສົນໃຈ. ເກນການໃຫ້ຄະແນນທີ່ຊັດເຈນ ແລະ ຊຸດການຖົດຖອຍມັກຈະມີຄວາມສຳຄັນຫຼາຍກວ່າຄະແນນດຽວ.
ການທົດສອບຄວາມແຂງແຮງເພື່ອບໍ່ໃຫ້ຮູບແບບເສຍຫາຍເມື່ອມີສຽງລົບກວນ
ທົດສອບຄວາມເຄັ່ງຕຶງຂອງຮູບແບບດ້ວຍການພິມຜິດ, ຄ່າທີ່ຂາດຫາຍໄປ, ຮູບແບບທີ່ແປກປະຫຼາດ, ແລະ unicode ທີ່ບໍ່ໄດ້ມາດຕະຖານ, ເພາະວ່າຜູ້ໃຊ້ຕົວຈິງບໍ່ຄ່ອຍຈະເປັນລະບຽບຮຽບຮ້ອຍ. ເພີ່ມກໍລະນີການປ່ຽນແປງການແຈກຢາຍເຊັ່ນ: ໝວດໝູ່ໃໝ່, ພາສາສະແລງ, ເຊັນເຊີ, ຫຼືຮູບແບບພາສາ. ລວມເອົາຄ່າທີ່ຮຸນແຮງ (ສະຕຣິງຫວ່າງເປົ່າ, payload ຂະໜາດໃຫຍ່, ຕົວເລກນອກຂອບເຂດ) ເພື່ອສະແດງພຶດຕິກຳທີ່ແຕກຫັກ. ສຳລັບ LLMs, ໃຫ້ທົດສອບຮູບແບບການສີດການກະຕຸ້ນ ແລະ ຄວາມລົ້ມເຫຼວຂອງການໃຊ້ເຄື່ອງມືເຊັ່ນ: ການໝົດເວລາ ຫຼື ຜົນຜະລິດບາງສ່ວນ.
ການກວດສອບບັນຫາອະຄະຕິ ແລະ ຄວາມຍຸຕິທຳໂດຍບໍ່ຫຼົງທາງທິດສະດີ
ປະເມີນປະສິດທິພາບໃນຊິ້ນສ່ວນທີ່ມີຄວາມໝາຍ ແລະ ປຽບທຽບອັດຕາຄວາມຜິດພາດ ແລະ ການປັບທຽບລະຫວ່າງກຸ່ມຕ່າງໆທີ່ເໝາະສົມທາງດ້ານກົດໝາຍ ແລະ ຈັນຍາບັນໃນການວັດແທກ. ຊອກຫາຄຸນສົມບັດຕົວແທນ (ເຊັ່ນ: ລະຫັດໄປສະນີ, ປະເພດອຸປະກອນ, ຫຼື ພາສາ) ທີ່ສາມາດເຂົ້າລະຫັດລັກສະນະທີ່ລະອຽດອ່ອນໂດຍທາງອ້ອມ. ຮູບແບບສາມາດເບິ່ງຄືວ່າ "ຖືກຕ້ອງໂດຍລວມ" ໃນຂະນະທີ່ລົ້ມເຫຼວຢ່າງຕໍ່ເນື່ອງສຳລັບກຸ່ມສະເພາະ. ບັນທຶກສິ່ງທີ່ທ່ານວັດແທກ ແລະ ສິ່ງທີ່ທ່ານບໍ່ໄດ້ວັດແທກ, ດັ່ງນັ້ນການປ່ຽນແປງໃນອະນາຄົດຈະບໍ່ນຳເອົາການຖົດຖອຍກັບຄືນມາຢ່າງງຽບໆ.
ການທົດສອບຄວາມປອດໄພ ແລະ ຄວາມໝັ້ນຄົງຈະລວມເຖິງລະບົບ AI ແລະ LLM ທີ່ສ້າງສັນ
ທົດສອບການສ້າງເນື້ອຫາທີ່ບໍ່ໄດ້ຮັບອະນຸຍາດ, ການຮົ່ວໄຫຼຂອງຄວາມເປັນສ່ວນຕົວ, ອາການຫຼອນໃນໂດເມນທີ່ມີຄວາມສ່ຽງສູງ, ແລະ ການປະຕິເສດຫຼາຍເກີນໄປບ່ອນທີ່ຮູບແບບບລັອກການຮ້ອງຂໍປົກກະຕິ. ລວມທັງການສີດຂໍ້ມູນແບບວ່ອງໄວ ແລະ ຄວາມພະຍາຍາມໃນການກັ່ນຕອງຂໍ້ມູນ, ໂດຍສະເພາະເມື່ອລະບົບໃຊ້ເຄື່ອງມື ຫຼື ດຶງເອົາເນື້ອຫາ. ຂະບວນການເຮັດວຽກທີ່ມີພື້ນຖານແມ່ນ: ກຳນົດກົດລະບຽບນະໂຍບາຍ, ສ້າງຊຸດການທົດສອບແບບວ່ອງໄວ, ໃຫ້ຄະແນນດ້ວຍການກວດສອບແບບອັດຕະໂນມັດ ແລະ ກວດສອບດ້ວຍມະນຸດ, ແລະ ດຳເນີນການຄືນໃໝ່ທຸກຄັ້ງທີ່ການກະຕຸ້ນ, ຂໍ້ມູນ, ຫຼື ນະໂຍບາຍມີການປ່ຽນແປງ. ຄວາມສອດຄ່ອງແມ່ນຄ່າເຊົ່າທີ່ທ່ານຈ່າຍ.
ເປີດຕົວ ແລະ ຕິດຕາມກວດກາຮູບແບບ AI ຫຼັງຈາກການເປີດຕົວເພື່ອຕິດຕາມການເຄື່ອນທີ່ ແລະ ເຫດການຕ່າງໆ
ໃຊ້ຮູບແບບການເປີດຕົວແບບເປັນຂັ້ນຕອນເຊັ່ນ: ໂໝດເງົາ ແລະ ການຈະລາຈອນທີ່ຄ່ອຍໆເພີ່ມຂຶ້ນເພື່ອຊອກຫາຄວາມລົ້ມເຫຼວກ່ອນທີ່ຖານຜູ້ໃຊ້ເຕັມຂອງທ່ານຈະເຮັດ. ຕິດຕາມການປ່ຽນແປງຂອງອິນພຸດ (ການປ່ຽນແປງໂຄງຮ່າງ, ການຂາດຫາຍໄປ, ການປ່ຽນແປງການແຈກຢາຍ) ແລະ ການປ່ຽນແປງຂອງຜົນຜະລິດ (ການປ່ຽນແປງຄະແນນ, ການປ່ຽນແປງຄວາມສົມດຸນຂອງຊັ້ນຮຽນ), ບວກກັບສຸຂະພາບການດຳເນີນງານເຊັ່ນ: ຄວາມຊັກຊ້າ ແລະ ຄ່າໃຊ້ຈ່າຍ. ຕິດຕາມສັນຍານຄຳຕິຊົມເຊັ່ນ: ການແກ້ໄຂ, ການຍົກລະດັບ, ແລະ ການຮ້ອງຮຽນ, ແລະ ເບິ່ງການຖົດຖອຍລະດັບສ່ວນ. ເມື່ອມີຫຍັງປ່ຽນແປງ, ໃຫ້ໃຊ້ສາຍຮັດດຽວກັນຄືນໃໝ່ ແລະ ຕິດຕາມຢ່າງຕໍ່ເນື່ອງ.
ເອກະສານອ້າງອີງ
[1] NIST - ຂອບການຄຸ້ມຄອງຄວາມສ່ຽງດ້ານປັນຍາປະດິດ (AI RMF 1.0) (PDF)
[2] Mitchell ແລະ ຄະນະ - “ບັດແບບຈຳລອງສຳລັບການລາຍງານແບບຈຳລອງ” (arXiv:1810.03993)
[3] Gebru ແລະ ຄະນະ - “ແຜ່ນຂໍ້ມູນສຳລັບຊຸດຂໍ້ມູນ” (arXiv:1803.09010)
[4] scikit-learn - ເອກະສານ “ການເລືອກແບບຈຳລອງ ແລະ ການປະເມີນຜົນ”
[5] Liang ແລະ ຄະນະ - “ການປະເມີນຜົນແບບຈຳລອງພາສາແບບລວມ” (arXiv:2211.09110)