ວິທີການສ້າງຮູບແບບ AI

ວິທີການສ້າງແບບຈຳລອງ AI. ຂັ້ນຕອນທັງໝົດໄດ້ຖືກອະທິບາຍ.

ການສ້າງແບບຈຳລອງ AI ຟັງແລ້ວໜ້າຕື່ນເຕັ້ນ - ຄືກັບນັກວິທະຍາສາດໃນໜັງທີ່ເວົ້າພຶມພຳກ່ຽວກັບຄວາມໂດດເດັ່ນ - ຈົນກວ່າເຈົ້າຈະເຮັດມັນແທ້ໆເທື່ອດຽວ. ແລ້ວເຈົ້າຈະຮູ້ວ່າມັນເປັນວຽກງານເຮັດຄວາມສະອາດຂໍ້ມູນເຄິ່ງໜຶ່ງ, ວຽກງານປະປາອີກເຄິ່ງໜຶ່ງ, ແລະຕິດງ່າຍ. ຄູ່ມືນີ້ວາງອອກ ວິທີການສ້າງແບບຈຳລອງ AI ແບບ ຄົບວົງຈອນ: ການກະກຽມຂໍ້ມູນ, ການຝຶກອົບຮົມ, ການທົດສອບ, ການນຳໃຊ້, ແລະແມ່ນແລ້ວ - ການກວດສອບຄວາມປອດໄພທີ່ໜ້າເບື່ອແຕ່ສຳຄັນ. ພວກເຮົາຈະໃຊ້ນ້ຳສຽງແບບສະບາຍໆ, ລາຍລະອຽດເລິກເຊິ່ງ, ແລະຮັກສາອີໂມຈິໄວ້ໃນສ່ວນປະສົມ, ເພາະວ່າແທ້ໆແລ້ວ, ເປັນຫຍັງການຂຽນດ້ານວິຊາການຄວນຮູ້ສຶກຄືກັບການຍື່ນພາສີ?

ບົດຄວາມທີ່ທ່ານອາດຈະຢາກອ່ານຫຼັງຈາກບົດຄວາມນີ້:

🔗 arbitrage AI ແມ່ນຫຍັງ: ຄວາມຈິງທີ່ຢູ່ເບື້ອງຫຼັງຄຳສັບທີ່ນິຍົມ
ອະທິບາຍ AI arbitrage, ຄວາມສ່ຽງ, ໂອກາດ, ແລະຜົນສະທ້ອນຂອງໂລກທີ່ແທ້ຈິງ.

🔗 ຄູຝຶກ AI ແມ່ນຫຍັງ
ກວມເອົາພາລະບົດບາດ, ທັກສະ, ແລະຄວາມຮັບຜິດຊອບຂອງຄູຝຶກ AI.

🔗 AI ສັນຍາລັກແມ່ນຫຍັງ: ທຸກຢ່າງທີ່ເຈົ້າຕ້ອງຮູ້
ທໍາລາຍແນວຄວາມຄິດ AI ທີ່ເປັນສັນຍາລັກ, ປະຫວັດສາດ, ແລະການປະຕິບັດຕົວຈິງ.

ສິ່ງທີ່ເຮັດໃຫ້ຕົວແບບ AI - ພື້ນຖານ ✅

ຮູບແບບ "ດີ" ບໍ່ແມ່ນແບບທີ່ພຽງແຕ່ຕີຄວາມຖືກຕ້ອງ 99% ໃນໂນ໊ດບຸ໊ກ dev ຂອງເຈົ້າແລ້ວເຮັດໃຫ້ເຈົ້າອັບອາຍໃນການຜະລິດ. ມັນ​ເປັນ​ຫນຶ່ງ​ທີ່​:

  • ມີກອບທີ່ດີ → ບັນຫາແມ່ນຊັດເຈນ, ການປ້ອນຂໍ້ມູນ/ຜົນຜະລິດແມ່ນເຫັນໄດ້ຊັດເຈນ, ຕົວຊີ້ວັດແມ່ນຕົກລົງກັນໄດ້.

  • ຂໍ້ມູນແທ້ຈິງ → ຊຸດຂໍ້ມູນສະທ້ອນເຖິງໂລກແຫ່ງຄວາມເປັນຈິງທີ່ສັບສົນ, ບໍ່ແມ່ນສະບັບຄວາມຝັນທີ່ຖືກກັ່ນຕອງ. ການແຈກຢາຍເປັນທີ່ຮູ້ຈັກ, ການຮົ່ວໄຫຼຖືກປິດ, ປ້າຍສາມາດຕິດຕາມໄດ້.

  • ທີ່ແຂງແກ່ນ → ຈະບໍ່ລົ້ມລົງຖ້າລຳດັບຖັນປ່ຽນໄປ ຫຼື ອິນພຸດຫຼຸດລົງເລັກນ້ອຍ.

  • ປະເມີນຜົນດ້ວຍຄວາມຮູ້ສຶກ → ຕົວຊີ້ວັດທີ່ສອດຄ່ອງກັບຄວາມເປັນຈິງ, ບໍ່ແມ່ນຄວາມຫຼົງໄຫຼໃນກະດານຈັດອັນດັບ. ROC AUC ເບິ່ງຄືວ່າເຢັນແຕ່ບາງຄັ້ງ F1 ຫຼືການປັບທຽບແມ່ນສິ່ງທີ່ທຸລະກິດສົນໃຈ.

  • ສາມາດນຳໃຊ້ໄດ້ → ເວລາອະນຸມານທີ່ຄາດເດົາໄດ້, ຊັບພະຍາກອນມີສະມັດຖະພາບ, ລວມມີການຕິດຕາມກວດກາຫຼັງການນຳໃຊ້.

  • ຄວາມຮັບຜິດຊອບ → ການທົດສອບຄວາມຍຸຕິທຳ, ການຕີຄວາມໝາຍໄດ້, ການປ້ອງກັນການໃຊ້ໃນທາງທີ່ຜິດ [1].

ມົນຕີເຫຼົ່ານີ້ແລະທ່ານແລ້ວຫຼາຍທີ່ສຸດຂອງວິທີການຢູ່ທີ່ນັ້ນ. ສ່ວນທີ່ເຫຼືອແມ່ນພຽງແຕ່ການຊໍ້າຄືນ ... ແລະ "ຄວາມຮູ້ສຶກໃນລໍາໄສ້." 🙂

ເລື່ອງສົງຄາມຂະໜາດນ້ອຍ: ໃນຮູບແບບການຫຼອກລວງ, ໂດຍລວມແລ້ວ F1 ເບິ່ງດີຫຼາຍ. ຫຼັງຈາກນັ້ນ, ພວກເຮົາໄດ້ແຍກອອກຕາມພູມສາດ + “ບັດທີ່ມີຢູ່ vs ບໍ່ມີ.” ຄວາມແປກໃຈ: ຟີເຈີລົບປອມໄດ້ເພີ່ມຂຶ້ນໃນໜຶ່ງສ່ວນ. ບົດຮຽນໄດ້ຖືກເຜົາໄໝ້ - ສ່ວນກ່ອນ, ສ່ວນເລື້ອຍໆ.

ເລີ່ມຕົ້ນດ່ວນ: ເສັ້ນທາງສັ້ນທີ່ສຸດໃນການສ້າງ AI Model ⏱️

  1. ກໍາ​ນົດ​ຫນ້າ​ທີ່​: ການ​ຈັດ​ປະ​ເພດ​, regression​, ການ​ຈັດ​ອັນ​ດັບ​, ການ​ຕິດ​ສະ​ຫຼາກ​ລໍາ​ດັບ​, ການ​ຜະ​ລິດ​, ການ​ແນະ​ນໍາ​.

  2. ປະ​ກອບ​ຂໍ້​ມູນ​: ເກັບ​ກໍາ​, dedupe​, ແບ່ງ​ປັນ​ຢ່າງ​ຖືກ​ຕ້ອງ (ເວ​ລາ / ຫົວ​ຫນ່ວຍ​)​, ເອ​ກະ​ສານ​ມັນ [1​]​.

  3. ພື້ນຖານ: ສະເຫມີເລີ່ມຕົ້ນຂະຫນາດນ້ອຍ - logistic regression, ຕົ້ນໄມ້ຂະຫນາດນ້ອຍ [3].

  4. ເລືອກຄອບຄົວຕົວແບບ: ຕາຕະລາງ → ການເພີ່ມຄວາມຊັນ; ຂໍ້ຄວາມ → ໝໍ້ແປງຂະໜາດນ້ອຍ; ວິໄສທັດ → CNN ຫຼື ກະດູກສັນຫຼັງທີ່ໄດ້ຮັບການຝຶກຝົນລ່ວງໜ້າ [3][5].

  5. loop ການຝຶກອົບຮົມ: optimizer + ຢຸດຕົ້ນ; ຕິດຕາມທັງການສູນເສຍແລະການກວດສອບ [4].

  6. ການ​ປະ​ເມີນ​ຜົນ​: ການ​ກວດ​ສອບ​ຂ້າມ​, ການ​ວິ​ເຄາະ​ຄວາມ​ຜິດ​ພາດ​, ການ​ທົດ​ສອບ​ພາຍ​ໃຕ້​ການ​ປ່ຽນ​ແປງ​.

  7. ການຫຸ້ມຫໍ່: ປະຫຍັດນ້ໍາຫນັກ, preprocessors, API wrapper [2].

  8. ຈໍສະແດງຜົນ: ເບິ່ງ drift, latency, decay ຄວາມຖືກຕ້ອງ [2].

ມັນເບິ່ງດີຢູ່ໃນເຈ້ຍ. ໃນການປະຕິບັດ, messy. ແລະນັ້ນບໍ່ເປັນຫຍັງ.

ຕາຕະລາງປຽບທຽບ: ເຄື່ອງມືສໍາລັບວິທີການສ້າງແບບຈໍາລອງ AI 🛠️

ເຄື່ອງມື / ຫ້ອງສະຫມຸດ ດີທີ່ສຸດສຳລັບ ລາຄາ ເປັນຫຍັງມັນເຮັດວຽກ (ບັນທຶກ)
ຮຽນຮູ້ Scikit ຕາຕາລາງ, ພື້ນຖານ ຟຣີ - OSS API ສະອາດ, ການທົດລອງໄວ; ຍັງຊະນະຄລາສສິກ [3].
PyTorch ການຮຽນຮູ້ຢ່າງເລິກເຊິ່ງ ຟຣີ - OSS ແບບເຄື່ອນໄຫວ, ສາມາດອ່ານໄດ້, ຊຸມຊົນໃຫຍ່ [4].
TensorFlow + Keras ການຜະລິດ DL ຟຣີ - OSS Keras ເປັນມິດ; TF Serving ເຮັດໃຫ້ການໃຊ້ງານລຽບງ່າຍ.
JAX + Flax ການຄົ້ນຄວ້າ + ຄວາມໄວ ຟຣີ - OSS Autodiff + XLA = ການເພີ່ມປະສິດທິພາບ.
ກອດຕົວຫັນໜ້າ NLP, CV, ສຽງ ຟຣີ - OSS ແບບຝຶກຫັດ + ທໍ່... chef's kiss [5].
XGBoost/LightGBM ການເດັ່ນໃນຕາຕະລາງ ຟຣີ - OSS ມັກຈະຕີ DL ໃນຊຸດຂໍ້ມູນເລັກນ້ອຍ.
ໄວ DL ເປັນມິດ ຟຣີ - OSS ລະດັບສູງ, ໃຫ້ອະໄພຄ່າເລີ່ມຕົ້ນ.
Cloud AutoML (ຕ່າງໆ) ບໍ່ມີ/ລະຫັດຕ່ຳ ການ​ນໍາ​ໃຊ້​ຕາມ $ Drag, drop, deploy; ແຂງທີ່ຫນ້າປະຫລາດໃຈ.
ເວລາແລ່ນ ONNX ຄວາມໄວ Inference ຟຣີ - OSS ການໃຫ້ບໍລິການທີ່ດີທີ່ສຸດ, ເປັນມິດກັບຂອບ.

ເອກະສານທີ່ເຈົ້າຈະສືບຕໍ່ເປີດໃໝ່: scikit-learn [3], PyTorch [4], Hugging Face [5].

ຂັ້ນ​ຕອນ​ທີ 1 - ຈັດ​ວາງ​ບັນ​ຫາ​ຄື​ນັກ​ວິ​ທະ​ຍາ​ສາດ​, ບໍ່​ແມ່ນ hero 🎯​

ກ່ອນທີ່ທ່ານຈະຂຽນລະຫັດ, ໃຫ້ເວົ້າອອກມາດັງໆວ່າ: ຮູບແບບນີ້ຈະແຈ້ງໃຫ້ຊາບເຖິງການຕັດສິນໃຈອັນໃດ? ຖ້າມັນບໍ່ຊັດເຈນ, ຊຸດຂໍ້ມູນຈະຮ້າຍແຮງກວ່າເກົ່າ.

  • ເປົ້າໝາຍການຄາດຄະເນ → ຖັນດຽວ, ຄຳນິຍາມດຽວ. ຕົວຢ່າງ: ການປ່ຽນແປງພາຍໃນ 30 ມື້?

  • ຄວາມລະອຽດ → ຕໍ່ຜູ້ໃຊ້, ຕໍ່ກອງປະຊຸມ, ຕໍ່ລາຍການ - ຢ່າປະສົມກັນ. ຄວາມສ່ຽງຕໍ່ການຮົ່ວໄຫຼເພີ່ມຂຶ້ນຢ່າງໄວວາ.

  • ຂໍ້ຈຳກັດ → ຄວາມຊັກຊ້າ, ໜ່ວຍຄວາມຈຳ, ຄວາມເປັນສ່ວນຕົວ, ຂອບ ທຽບກັບ ເຊີບເວີ.

  • ຕົວຊີ້ວັດຄວາມສຳເລັດ → ໜຶ່ງຫຼັກ + ສອງສາມໜ່ວຍຍາມ. ຫ້ອງຮຽນບໍ່ສົມດຸນບໍ? ໃຊ້ AUPRC + F1. ການຖົດຖອຍບໍ? MAE ສາມາດເອົາຊະນະ RMSE ໄດ້ເມື່ອຄ່າກາງມີຄວາມສຳຄັນ.

ຄໍາແນະນໍາຈາກການສູ້ຮົບ: ຂຽນຂໍ້ຈໍາກັດເຫຼົ່ານີ້ + metric ໃນຫນ້າຫນຶ່ງຂອງ README. ບັນທຶກການໂຕ້ແຍ້ງໃນອະນາຄົດເມື່ອປະສິດທິພາບທຽບກັບເວລາແພັກເກັດຕຳກັນ.

ຂັ້ນ​ຕອນ​ທີ 2 - ການ​ເກັບ​ກໍາ​ຂໍ້​ມູນ​, ທໍາ​ຄວາມ​ສະ​ອາດ​, ແລະ​ການ​ແບ່ງ​ປັນ​ທີ່​ແທ້​ຈິງ​ຖື​ຂຶ້ນ 🧹📦​

ຂໍ້ມູນແມ່ນຕົວແບບ. ທ່ານຮູ້ຈັກມັນ. ຢ່າງໃດກໍຕາມ, ຂຸມ:

  • ຕົ້ນກຳເນີດ → ມັນມາຈາກໃສ, ໃຜເປັນເຈົ້າຂອງ, ພາຍໃຕ້ນະໂຍບາຍໃດ [1].

  • ປ້າຍກຳກັບ → ແນວທາງທີ່ເຂັ້ມງວດ, ການກວດສອບລະຫວ່າງຜູ້ອະທິບາຍ, ການກວດສອບ.

  • ການລຶບລ້າງຂໍ້ມູນຊ້ຳຊ້ອນ → ການຊໍ້າຊ້ອນແບບລັບໆເຮັດໃຫ້ຕົວຊີ້ວັດເພີ່ມຂຶ້ນ.

  • ການແບ່ງແຍກ → ແບບສຸ່ມບໍ່ຖືກຕ້ອງສະເໝີໄປ. ໃຊ້ການອີງໃສ່ເວລາສຳລັບການຄາດຄະເນ, ການອີງໃສ່ໜ່ວຍງານເພື່ອຫຼີກເວັ້ນການຮົ່ວໄຫຼຂອງຜູ້ໃຊ້.

  • ການຮົ່ວໄຫຼ → ບໍ່ມີການແນມເບິ່ງອະນາຄົດໃນເວລາຝຶກອົບຮົມ.

  • ເອກະສານ → ຂຽນ ບັດຂໍ້ມູນ ໄວໆ ດ້ວຍໂຄງຮ່າງ, ການເກັບກຳ, ອະຄະຕິ [1].

ພິທີກຳ: ສະແດງພາບການແຈກຢາຍເປົ້າໝາຍ + ຄຸນສົມບັດເທິງສຸດ. ນອກຈາກນັ້ນ, ຍັງຖື ແບບບໍ່ເຄີຍແຕະ ຈົນສຸດຂີດ.

ຂັ້ນຕອນທີ 3 - ພື້ນຖານທໍາອິດ: ຮູບແບບທີ່ຖ່ອມຕົວທີ່ຊ່ວຍປະຢັດເດືອນ 🧪

ພື້ນຖານບໍ່ງາມ, ແຕ່ພວກມັນເຮັດໃຫ້ຄວາມຄາດຫວັງ.

  • ຕາຕະລາງ → scikit-learn LogisticRegression ຫຼື RandomForest, ຈາກນັ້ນ XGBoost/LightGBM [3].

  • ຂໍ້ຄວາມ → TF-IDF + ຕົວຈັດປະເພດເສັ້ນຊື່. ກວດສອບສຸຂະພາບກ່ອນ Transformers.

  • ວິໄສທັດ → CNN ຂະໜາດນ້ອຍ ຫຼື ກະດູກສັນຫຼັງທີ່ໄດ້ຮັບການຝຶກຝົນລ່ວງໜ້າ, ຊັ້ນແຂງຕົວ.

ຖ້າຕາຫນ່າງເລິກຂອງເຈົ້າເກືອບຕີເສັ້ນພື້ນຖານ, ຫາຍໃຈ. ບາງຄັ້ງສັນຍານບໍ່ແຂງແຮງ.

ຂັ້ນຕອນທີ 4 - ເລືອກວິທີການສ້າງແບບຈໍາລອງທີ່ເໝາະສົມກັບຂໍ້ມູນ 🍱

ຕາຕາລາງ

Gradient boosting ທໍາອິດ - ມີປະສິດທິພາບຢ່າງໂຫດຮ້າຍ. ວິສະວະກໍາຄຸນສົມບັດ (ການໂຕ້ຕອບ, ການເຂົ້າລະຫັດ) ຍັງມີຄວາມສໍາຄັນ.

ຂໍ້ຄວາມ

ໝໍ້ແປງໄຟທີ່ໄດ້ຝຶກມາດ້ວຍການປັບນ້ຳໜັກເບົາ. ຮູບແບບການກັ່ນ ຖ້າຄວາມແຝງສຳຄັນ [5]. Tokenizers ກໍ່ສໍາຄັນເຊັ່ນກັນ. ສໍາລັບໄຊຊະນະໄວ: ທໍ່ HF.

ຮູບພາບ

ເລີ່ມຕົ້ນດ້ວຍ backbone pretrained + fine-tune ຫົວ. ເພີ່ມຄວາມສົມຈິງ (flips, ການປູກພືດ, jitter). ສໍາລັບຂໍ້ມູນຂະຫນາດນ້ອຍ, ການສັກຢາບໍ່ຫຼາຍປານໃດຫຼືສາຍ probes.

ຊຸດເວລາ

ພື້ນຖານ: ລັກສະນະ lag, ການເຄື່ອນຍ້າຍສະເລ່ຍ. ໂຮງຮຽນເກົ່າ ARIMA ທຽບກັບຕົ້ນໄມ້ທີ່ທັນສະໄໝ. ສະເຫມີເຄົາລົບຄໍາສັ່ງທີ່ໃຊ້ເວລາໃນການກວດສອບ.

ກົດ​ລະ​ບຽບ​ຂອງ​ໂປ້​ມື​: ຕົວ​ແບບ​ຂະ​ຫນາດ​ນ້ອຍ​, ສະ​ຫມໍ່າ​ສະ​ເຫມີ​> monsters overfit .

ຂັ້ນ​ຕອນ​ທີ 5 - loop ການ​ຝຶກ​ອົບ​ຮົມ​, ແຕ່​ບໍ່ overcomplicate 🔁​

ທັງ​ຫມົດ​ທີ່​ທ່ານ​ຕ້ອງ​ການ​: ຕົວ​ໂຫຼດ​ຂໍ້​ມູນ​, ຕົວ​ແບບ​, ການ​ສູນ​ເສຍ​, optimizer​, ກໍາ​ນົດ​ເວ​ລາ​, ການ​ບັນ​ທຶກ​. ສຳເລັດແລ້ວ.

  • ຕົວເພີ່ມປະສິດທິພາບ: Adam ຫຼື SGD ທີ່ມີແຮງກະຕຸ້ນ. ຢ່າປັບແຕ່ງຫຼາຍເກີນໄປ.

  • ຂະໜາດ batch: ສູງສຸດອອກຄວາມຈໍາອຸປະກອນໂດຍບໍ່ມີການ thrashing.

  • Regularization: dropout , ຫຼຸດ​ລົງ​ນ​້​ໍ​າ​, ຢຸດ​ຕົ້ນ​.

  • ຄວາມແມ່ນຍໍາປະສົມ: ເພີ່ມຄວາມໄວຢ່າງຫຼວງຫຼາຍ; ກອບທີ່ທັນສະໄຫມເຮັດໃຫ້ມັນງ່າຍ [4].

  • ຄວາມສາມາດໃນການສືບພັນ: ເມັດພືດຕົກ. ມັນຍັງຈະສັ່ນຢູ່. ນັ້ນເປັນເລື່ອງປົກກະຕິ.

ເບິ່ງ PyTorch tutorials ສໍາລັບຮູບແບບ canonical [4].

ຂັ້ນ​ຕອນ​ທີ 6 - ການ​ປະ​ເມີນ​ຜົນ​ທີ່​ສະ​ທ້ອນ​ໃຫ້​ເຫັນ​ຄວາມ​ເປັນ​ຈິງ​, ບໍ່​ແມ່ນ​ຈຸດ​ຜູ້​ນໍາ 🧭​

ກວດເບິ່ງຕ່ອນ, ບໍ່ພຽງແຕ່ສະເລ່ຍ:

  • ການປັບທຽບ → ຄວາມເປັນໄປໄດ້ຄວນມີຄວາມໝາຍບາງຢ່າງ. ແຜນວາດຄວາມໜ້າເຊື່ອຖືຊ່ວຍໄດ້.

  • ຄວາມເຂົ້າໃຈກ່ຽວກັບຄວາມສັບສົນ → ເສັ້ນໂຄ້ງຂອບເຂດ, ການແລກປ່ຽນທີ່ເຫັນໄດ້.

  • ກ່ອງຂໍ້ຜິດພາດ → ແບ່ງຕາມພາກພື້ນ, ອຸປະກອນ, ພາສາ, ເວລາ. ຊອກຫາຈຸດອ່ອນ.

  • ຄວາມແຂງແຮງ → ທົດສອບພາຍໃຕ້ການປ່ຽນແປງ, ການປ້ອນຂໍ້ມູນລົບກວນ.

  • ຄົນທີ່ຢູ່ໃນວົງວຽນ → ຖ້າຄົນໃຊ້ມັນ, ໃຫ້ທົດສອບການໃຊ້ງານ.

ຫຍໍ້ໜ້າສັ້ນໆ: ການເອີ້ນຄືນຄັ້ງໜຶ່ງມາຈາກການປັບຕົວ Unicode ທີ່ບໍ່ກົງກັນລະຫວ່າງການຝຶກອົບຮົມກັບການຜະລິດ. ຄ່າໃຊ້ຈ່າຍ? 4 ຄະແນນເຕັມ.

ຂັ້ນຕອນທີ 7 - ການຫຸ້ມຫໍ່, ການຮັບໃຊ້, ແລະ MLOps ໂດຍບໍ່ມີນ້ໍາຕາ 🚚

ນີ້ແມ່ນບ່ອນທີ່ໂຄງການມັກຈະເດີນທາງ.

  • ສິ່ງປະດິດ: ນ້ຳໜັກຕົວແບບ, ໂປຣເຊສເຊີກ່ອນ, ຄຳໝັ້ນສັນຍາ hash.

  • Env: pin versions, containerize lean.

  • ການໂຕ້ຕອບ: REST/gRPC ກັບ /health + /predict.

  • Latency/throughput: batch requests, ຮູບແບບການອົບອຸ່ນຂຶ້ນ.

  • ຮາດແວ: CPU ດີສໍາລັບຄລາສສິກ; GPUs ສໍາລັບ DL. ONNX Runtime ເລັ່ງຄວາມໄວ/ການພົກພາ.

ສໍາລັບທໍ່ເຕັມ (CI/CD/CT, ການຕິດຕາມ, rollback), ເອກະສານ MLOps ຂອງ Google ແມ່ນແຂງ [2].

ຂັ້ນ​ຕອນ​ທີ 8 - ການ​ຕິດ​ຕາມ​, drift​, ແລະ retraining ໂດຍ​ບໍ່​ມີ​ການ​ຕົກ​ໃຈ 📈🧭

ຕົວແບບເສື່ອມໂຊມ. ຜູ້ໃຊ້ພັດທະນາ. ທໍ່ຂໍ້ມູນເຮັດວຽກບໍ່ຖືກຕ້ອງ.

  • ການກວດສອບຂໍ້ມູນ: schema, ranges, nulls.

  • ການ​ຄາດ​ຄະ​ເນ: ການ​ແຜ່​ກະ​ຈາຍ​, metrics drift​, outliers​.

  • ປະສິດທິພາບ: ເມື່ອປ້າຍມາເຖິງ, ຄິດໄລ່ metrics.

  • ການ​ແຈ້ງ​ເຕືອນ​: latency​, ຄວາມ​ຜິດ​ພາດ​, drift​.

  • ຝຶກຈັງຫວະຄືນໃໝ່: ອີງໃສ່ຕົວກະຕຸ້ນ > ອີງໃສ່ປະຕິທິນ.

ເອ​ກະ​ສານ loop ໄດ້​. wiki ຕີ "ຄວາມຊົງຈໍາຂອງຊົນເຜົ່າ." ເບິ່ງ Google CT playbooks [2].

AI ທີ່ມີຄວາມຮັບຜິດຊອບ: ຄວາມຍຸດຕິທໍາ, ຄວາມເປັນສ່ວນຕົວ, ການຕີຄວາມ ໝາຍ 🧩🧠

ຖ້າປະຊາຊົນໄດ້ຮັບຜົນກະທົບ, ຄວາມຮັບຜິດຊອບບໍ່ແມ່ນທາງເລືອກ.

  • ການທົດສອບຄວາມຍຸຕິທຳ → ປະເມີນຜົນໃນທົ່ວກຸ່ມທີ່ລະອຽດອ່ອນ, ຫຼຸດຜ່ອນຊ່ອງຫວ່າງ [1].

  • ການຕີຄວາມໝາຍ → SHAP ສຳລັບຕາຕະລາງ, ການລະບຸຄຸນລັກສະນະສຳລັບຄວາມເລິກ. ໃຊ້ດ້ວຍຄວາມລະມັດລະວັງ.

  • ຄວາມເປັນສ່ວນຕົວ/ຄວາມປອດໄພ → ຫຼຸດຜ່ອນຂໍ້ມູນສ່ວນຕົວ (PII), ເຮັດໃຫ້ບໍ່ລະບຸຊື່, ແລະ ລັອກຄຸນສົມບັດຕ່າງໆ.

  • ນະໂຍບາຍ → ຂຽນການນຳໃຊ້ທີ່ຕັ້ງໃຈໄວ້ ທຽບກັບ ການນຳໃຊ້ທີ່ຕ້ອງຫ້າມ. ຊ່ວຍປະຢັດຄວາມເຈັບປວດໃນພາຍຫຼັງ [1].

ການຍ່າງຜ່ານນ້ອຍໆໄວ 🚵

ເວົ້າວ່າພວກເຮົາກໍາລັງຈັດປະເພດການທົບທວນຄືນ: ບວກ vs ລົບ.

  1. ຂໍ້ມູນ → ເກັບກຳການທົບທວນຄືນ, ແຍກອອກເປັນສອງສ່ວນ, ແບ່ງຕາມເວລາ [1].

  2. ເສັ້ນຖານ → TF-IDF + ການຖົດຖອຍໂລຈິດສະຕິກ (scikit-learn) [3].

  3. ຍົກລະດັບ → ໝໍ້ແປງໄຟຟ້າຂະໜາດນ້ອຍທີ່ໄດ້ຮັບການຝຶກຝົນລ່ວງໜ້າພ້ອມກັບໜ້າກອດ [5].

  4. ລົດໄຟ → ສອງສາມຍຸກສະໄໝ, ຢຸດແຕ່ເຊົ້າ, ລາງລົດໄຟ F1 [4].

  5. ປະເມີນ → ແມັດຕຣິກຄວາມສັບສົນ, ຄວາມແມ່ນຍຳ@ການລະນຶກ, ການປັບທຽບ.

  6. ແພັກເກດ → ເຄື່ອງໝາຍໂທເຄັນ + ຮູບແບບ, ເຄື່ອງຫໍ່ FastAPI [2].

  7. ຕິດຕາມກວດກາ → ສັງເກດເບິ່ງການຫັນປ່ຽນຜ່ານຫຼາຍໝວດໝູ່ [2].

  8. ການປັບແຕ່ງທີ່ມີຄວາມຮັບຜິດຊອບ → ກັ່ນຕອງ PII, ເຄົາລົບຂໍ້ມູນທີ່ລະອຽດອ່ອນ [1].

ໜຽວແໜ້ນ? ຮູບແບບການກັ່ນ ຫຼືສົ່ງອອກໄປຍັງ ONNX.

ຄວາມຜິດພາດທົ່ວໄປທີ່ເຮັດໃຫ້ຕົວແບບເບິ່ງສະຫລາດແຕ່ເຮັດແບບໂງ່ 🙃

  • ລັກສະນະຮົ່ວໄຫຼ (ຂໍ້ມູນຫຼັງເຫດການຢູ່ລົດໄຟ).

  • ເມຕຣິກຜິດ (AUC ເມື່ອທີມງານສົນໃຈການເອີ້ນຄືນ).

  • ຊຸດ val ນ້ອຍໆ (ສຽງດັງ "ການບຸກທະລຸ").

  • ຄວາມບໍ່ສົມດຸນຂອງຫ້ອງຮຽນຖືກລະເລີຍ.

  • ການປະມວນຜົນກ່ອນບໍ່ກົງກັນ (ລົດໄຟທຽບກັບບໍລິການ).

  • ການປັບແຕ່ງເກີນໄວເກີນໄປ.

  • ລືມຂໍ້ຈໍາກັດ (ຮູບແບບຍັກໃຫຍ່ໃນແອັບຯມືຖື).

ເຄັດລັບການເພີ່ມປະສິດທິພາບ 🔧

  • ເພີ່ມ ທີ່ສະຫຼາດກວ່າ : ດ້ານລົບຍາກ, ການຂະຫຍາຍຕົວຈິງ.

  • Regularize harder: dropout, ຕົວແບບຂະຫນາດນ້ອຍກວ່າ.

  • ຕາຕະລາງອັດຕາການຮຽນຮູ້ (cosine/ຂັ້ນຕອນ).

  • batch sweeps - ໃຫຍ່ກວ່າແມ່ນບໍ່ສະເຫມີໄປທີ່ດີກວ່າ.

  • ຄວາມແມ່ນຍໍາປະສົມ + vectorization ສໍາລັບຄວາມໄວ [4].

  • ປະລິມານ, pruning ກັບຕົວແບບກະທັດຮັດ.

  • ການຝັງ cache/pre-compute heavy ops.

ການຕິດສະຫຼາກຂໍ້ມູນທີ່ບໍ່ implode 🏷️

  • ຄໍາແນະນໍາ: ລາຍລະອຽດ, ມີກໍລະນີແຂບ.

  • ປ້າຍລົດໄຟ: ວຽກງານການປັບທຽບ, ການກວດສອບຂໍ້ຕົກລົງ.

  • ຄຸນະພາບ: ຊຸດຄໍາ, ການກວດສອບຈຸດ.

  • ເຄື່ອງມື: ຊຸດຂໍ້ມູນສະບັບ, ຮູບແບບທີ່ສາມາດສົ່ງອອກໄດ້.

  • ຈັນຍາບັນ: ເງິນເດືອນຍຸດຕິທຳ, ມີຄວາມຮັບຜິດຊອບ. ຢຸດເຕັມ [1].

ຮູບແບບການນຳໃຊ້ 🚀

  • ການໃຫ້ຄະແນນແບບກຸ່ມ → ວຽກປະຈຳຄືນ, ສາງ.

  • ການບໍລິການຈຸລະພາກແບບເວລາຈິງ → API ການຊິ້ງຂໍ້ມູນ, ເພີ່ມ caching.

  • ການຖ່າຍທອດສົດ → ການຂັບເຄື່ອນດ້ວຍເຫດການ, ຕົວຢ່າງ, ການສໍ້ໂກງ.

  • ຂອບ → ບີບອັດ, ທົດສອບອຸປະກອນ, ONNX/TensorRT.

ຮັກສາປື້ມບັນທຶກ: ຂັ້ນຕອນການກັບຄືນ, ການຟື້ນຟູສິ່ງປະດິດ [2].

ຊັບພະຍາກອນທີ່ຄຸ້ມຄ່າເວລາຂອງເຈົ້າ 📚

  • ພື້ນຖານ: ຄູ່ມືຜູ້ໃຊ້ scikit-learn [3]

  • ຮູບແບບ DL: PyTorch Tutorials [4]

  • ການ​ຮຽນ​ຮູ້​ການ​ໂອນ​: ການ​ກອດ​ໃບ​ຫນ້າ​ດ່ວນ [5​]

  • ການປົກຄອງ/ຄວາມສ່ຽງ: NIST AI RMF [1]

  • MLOps: Google Cloud playbooks [2]

FAQ-ish tidbits 💡

  • ຕ້ອງການ GPU ບໍ? ບໍ່ແມ່ນສໍາລັບຕາຕະລາງ. ສໍາລັບ DL, ແມ່ນແລ້ວ (ການເຊົ່າຄລາວເຮັດວຽກ).

  • ຂໍ້ມູນພຽງພໍບໍ? ເພີ່ມເຕີມແມ່ນດີຈົນກ່ວາປ້າຍມີສິ່ງລົບກວນ. ເລີ່ມຕົ້ນຂະຫນາດນ້ອຍ, ເຮັດຊ້ໍາອີກ.

  • ທາງເລືອກເມຕຣິກ? ຄ່າໃຊ້ຈ່າຍໃນການຕັດສິນໃຈທີ່ກົງກັນ. ຂຽນມາຕຣິກເບື້ອງ.

  • ຂ້າມມາດຕະຖານບໍ? ເຈົ້າສາມາດ... ຄືກັນກັບທີ່ເຈົ້າສາມາດຂ້າມອາຫານເຊົ້າແລະເສຍໃຈກັບມັນ.

  • AutoML? ທີ່ດີເລີດສໍາລັບການ bootstrapping. ຍັງເຮັດການກວດສອບຂອງທ່ານເອງ [2].

ຄວາມຈິງທີ່ສັບສົນເລັກນ້ອຍ🎬

ວິທີການສ້າງແບບຈຳລອງ AI ແມ່ນກ່ຽວກັບຄະນິດສາດທີ່ແປກປະຫຼາດໜ້ອຍລົງ ແຕ່ກ່ຽວກັບຫັດຖະກຳຫຼາຍກວ່າ: ການວາງໂຄງສ້າງທີ່ຄົມຊັດ, ຂໍ້ມູນທີ່ສະອາດ, ການກວດສອບສຸຂະພາບພື້ນຖານ, ການປະເມີນຜົນທີ່ໝັ້ນຄົງ, ການເຮັດຊ້ຳໆໄດ້. ເພີ່ມຄວາມຮັບຜິດຊອບເພື່ອວ່າໃນອະນາຄົດທ່ານຈະບໍ່ເຮັດຄວາມສະອາດຄວາມວຸ້ນວາຍທີ່ສາມາດປ້ອງກັນໄດ້ [1][2].

ຄວາມຈິງແມ່ນ, ຮຸ່ນ "ຫນ້າເບື່ອ" - ເຄັ່ງຄັດແລະວິທີການ - ມັກຈະຕີຕົວແບບທີ່ມີສີສັນທີ່ຟ້າວແລ່ນໃນເວລາ 2 ໂມງເຊົ້າວັນສຸກ. ແລະຖ້າຄວາມພະຍາຍາມທໍາອິດຂອງເຈົ້າຮູ້ສຶກບໍ່ສະບາຍບໍ? ນັ້ນແມ່ນເລື່ອງປົກກະຕິ. ແບບຈໍາລອງແມ່ນຄ້າຍຄືການເລີ່ມຕົ້ນ sourdough: ອາຫານ, ສັງເກດ, restart ບາງຄັ້ງ. 🥖🤷

TL;DR

  • ບັນຫາກອບ + metric; ຂ້າ​ການ​ຮົ່ວ​ໄຫຼ​.

  • ພື້ນຖານກ່ອນ; ເຄື່ອງ​ມື​ທີ່​ງ່າຍ​ດາຍ rock​.

  • ຕົວແບບທີ່ໄດ້ຝຶກຝົນໄວ້ຊ່ວຍ - ຢ່ານະມັດສະການພວກມັນ.

  • Eval ທົ່ວ slices; calibrate.

  • ພື້ນຖານຂອງ MLOps: ສະບັບ, ການຕິດຕາມ, rollbacks.

  • AI ທີ່ມີຄວາມຮັບຜິດຊອບຖືກອົບເຂົ້າ, ບໍ່ໄດ້ຕິດຢູ່.

  • Iterate, smile - ທ່ານໄດ້ສ້າງຕົວແບບ AI. 😄

ເອກະສານອ້າງອີງ

  1. NIST — ຂອບການຄຸ້ມຄອງຄວາມສ່ຽງດ້ານປັນຍາປະດິດ (AI RMF 1.0). ລິ້ງ

  2. Google Cloud — MLOps: ການຈັດສົ່ງຢ່າງຕໍ່ເນື່ອງ ແລະ ທໍ່ສົ່ງອັດຕະໂນມັດໃນການຮຽນຮູ້ຂອງເຄື່ອງຈັກ. ລິ້ງ

  3. scikit-learn — ຄູ່ມືຜູ້ໃຊ້. ລິ້ງ

  4. PyTorch — ບົດແນະນຳຢ່າງເປັນທາງການ. ລິ້ງ

  5. ໜ້າກອດ — ເລີ່ມຕົ້ນດ່ວນ Transformers. ລິ້ງ

ຊອກຫາ AI ລ່າສຸດໄດ້ທີ່ຮ້ານ AI Assistant ຢ່າງເປັນທາງການ

ກ່ຽວກັບພວກເຮົາ

ກັບໄປທີ່ບລັອກ