AI ເຄີຍອາໄສຢູ່ໃນເຊີບເວີຂະໜາດໃຫຍ່ ແລະ GPU ຄລາວ. ດຽວນີ້ມັນກຳລັງຫົດຕົວ ແລະ ເລື່ອນໄປທາງຂ້າງເຊັນເຊີ. AI ສຳລັບລະບົບຝັງຕົວ ບໍ່ແມ່ນຄຳສັນຍາທີ່ຫ່າງໄກ - ມັນກຳລັງດັງຢູ່ໃນຕູ້ເຢັນ, ໂດຣນ, ອຸປະກອນສວມໃສ່ໄດ້... ແມ່ນແຕ່ອຸປະກອນທີ່ເບິ່ງຄືວ່າບໍ່ "ສະຫຼາດ" ເລີຍ.
ນີ້ແມ່ນເຫດຜົນທີ່ວ່າເປັນຫຍັງການປ່ຽນແປງນີ້ຈຶ່ງມີຄວາມສຳຄັນ, ສິ່ງທີ່ເຮັດໃຫ້ມັນຍາກ, ແລະທາງເລືອກໃດທີ່ຄຸ້ມຄ່າກັບເວລາຂອງທ່ານ.
ບົດຄວາມທີ່ທ່ານອາດຈະຢາກອ່ານຫຼັງຈາກບົດຄວາມນີ້:
🔗 ເຄື່ອງມືການຄຸ້ມຄອງ AI ທີ່ດີທີ່ສຸດຮັບປະກັນລະບົບ AI ທີ່ສອດຄ່ອງກັບຈັນຍາບັນ ແລະ ໂປ່ງໃສ
ຄູ່ມືກ່ຽວກັບເຄື່ອງມືທີ່ຊ່ວຍຮັກສາ AI ທີ່ມີຈັນຍາບັນ, ປະຕິບັດຕາມກົດລະບຽບ ແລະ ໂປ່ງໃສ.
🔗 ບ່ອນເກັບຂໍ້ມູນວັດຖຸສຳລັບ AI: ທາງເລືອກ, ທາງເລືອກ, ທາງເລືອກ
ການປຽບທຽບຕົວເລືອກການເກັບຮັກສາວັດຖຸທີ່ອອກແບບມາສຳລັບປະລິມານວຽກຂອງ AI.
🔗 ຂໍ້ກຳນົດການເກັບຮັກສາຂໍ້ມູນສຳລັບ AI: ສິ່ງທີ່ທ່ານຈຳເປັນຕ້ອງຮູ້ແທ້ໆ
ປັດໄຈຫຼັກທີ່ຄວນພິຈາລະນາເມື່ອວາງແຜນການເກັບຮັກສາຂໍ້ມູນ AI.
AI ສຳລັບລະບົບຝັງຕົວ🌱
ອຸປະກອນທີ່ຝັງຢູ່ມີຂະໜາດນ້ອຍ, ມັກຈະໃຊ້ພະລັງງານແບັດເຕີຣີ, ແລະ ມີຂໍ້ຈຳກັດດ້ານຊັບພະຍາກອນ. ແຕ່ AI ປົດລັອກໄຊຊະນະອັນໃຫຍ່ຫຼວງ:
-
ການຕັດສິນໃຈແບບເວລາຈິງ ໂດຍບໍ່ມີການໄປ-ກັບຈາກຄລາວ.
-
ຄວາມເປັນສ່ວນຕົວໂດຍການອອກແບບ - ຂໍ້ມູນດິບສາມາດຢູ່ໃນອຸປະກອນໄດ້.
-
ຄວາມໜ່ວງຊ້າລົງ ເມື່ອມິນລິວິນາທີມີຄວາມສຳຄັນ.
-
ການອະນຸມານພະລັງງານແບບຮັບຮູ້ ຜ່ານການເລືອກຮູບແບບ + ຮາດແວຢ່າງລະມັດລະວັງ.
ສິ່ງເຫຼົ່ານີ້ບໍ່ແມ່ນຜົນປະໂຫຍດທີ່ງ່າຍດາຍ: ການຊຸກຍູ້ການປະມວນຜົນໄປຫາຂອບຊ່ວຍຫຼຸດຜ່ອນການເພິ່ງພາອາໄສເຄືອຂ່າຍ ແລະ ເສີມສ້າງຄວາມເປັນສ່ວນຕົວສຳລັບຫຼາຍໆກໍລະນີການນຳໃຊ້ [1].
ເຄັດລັບບໍ່ແມ່ນການໃຊ້ກຳລັງທີ່ໂຫດຮ້າຍ - ມັນຄືການສະຫຼາດດ້ວຍຊັບພະຍາກອນທີ່ຈຳກັດ. ລອງຄິດເບິ່ງການແລ່ນມາຣາທອນດ້ວຍກະເປົ໋າເປ້... ແລະວິສະວະກອນກໍ່ຍັງສືບຕໍ່ເອົາດິນຈີ່ອອກ.
ຕາຕະລາງປຽບທຽບດ່ວນຂອງ AI ສຳລັບລະບົບຝັງຕົວ 📝
| ເຄື່ອງມື / ຂອບການເຮັດວຽກ | ຜູ້ຊົມທີ່ເໝາະສົມ | ລາຄາ (ປະມານ) | ເປັນຫຍັງມັນຈຶ່ງເຮັດວຽກ (ບັນທຶກທີ່ແປກປະຫຼາດ) |
|---|---|---|---|
| TensorFlow Lite | ນັກພັດທະນາ, ຜູ້ທີ່ມັກຫຼິ້ນ | ຟຣີ | MCU ທີ່ລຽບງ່າຍ, ພົກພາໄດ້ງ່າຍ, ດີເລີດ → ການຄຸ້ມຄອງມືຖື |
| Edge Impulse | ຜູ້ເລີ່ມຕົ້ນ ແລະ ຜູ້ເລີ່ມຕົ້ນທຸລະກິດ | ຊັ້ນ Freemium | ຂັ້ນຕອນການເຮັດວຽກແບບລາກແລະວາງ - ຄືກັບ “AI LEGO” |
| ແພລດຟອມ Nvidia Jetson | ວິສະວະກອນທີ່ຕ້ອງການພະລັງງານ | $$$ (ບໍ່ແມ່ນລາຄາຖືກ) | GPU + ຕົວເລັ່ງຄວາມໄວສຳລັບການເບິ່ງເຫັນ/ພາລະວຽກໜັກ |
| TinyML (ຜ່ານ Arduino) | ນັກການສຶກສາ, ຜູ້ສ້າງແບບຈຳລອງ | ລາຄາຖືກ | ເຂົ້າຫາໄດ້ງ່າຍ; ຂັບເຄື່ອນໂດຍຊຸມຊົນ ❤️ |
| ເຄື່ອງຈັກ Qualcomm AI | OEMs, ຜູ້ຜະລິດໂທລະສັບມືຖື | ແຕກຕ່າງກັນ | NPU-accelerated ໃນ Snapdragon - ໄວແບບລັບໆ |
| ໂປຣແກຣມ ExecuTorch (PyTorch) | ນັກພັດທະນາມືຖື ແລະ edge | ຟຣີ | ໂປຣແກຣມ PyTorch ໃນອຸປະກອນສຳລັບໂທລະສັບ/ອຸປະກອນສວມໃສ່ໄດ້/ອຸປະກອນທີ່ຝັງຢູ່ [5] |
(ແມ່ນແລ້ວ, ບໍ່ສະໝໍ່າສະເໝີ. ຄວາມເປັນຈິງກໍ່ຄືກັນ.)
ເປັນຫຍັງ AI ໃນອຸປະກອນຝັງຕົວຈຶ່ງມີຄວາມສຳຄັນຕໍ່ອຸດສາຫະກຳ 🏭
ບໍ່ພຽງແຕ່ການໂຄສະນາເທົ່ານັ້ນ: ໃນສາຍການຜະລິດຂອງໂຮງງານ, ຮຸ່ນກະທັດຮັດຈະກວດຈັບຂໍ້ບົກຜ່ອງ; ໃນການກະສິກຳ, ໂນດພະລັງງານຕ່ຳຈະວິເຄາະດິນໃນພາກສະໜາມ; ໃນຍານພາຫະນະ, ຄຸນສົມບັດຄວາມປອດໄພບໍ່ສາມາດ "ໂທຫາບ້ານ" ກ່ອນທີ່ຈະເບຣກໄດ້. ເມື່ອ ຄວາມຊັກຊ້າ ແລະ ຄວາມເປັນສ່ວນຕົວບໍ່ສາມາດເຈລະຈາໄດ້ , ການຍ້າຍການປະມວນຜົນໄປໃຊ້ຂອບແມ່ນຕົວກະຕຸ້ນຍຸດທະສາດ [1].
TinyML: ວິລະບຸລຸດທີ່ງຽບສະຫງົບຂອງ AI ທີ່ຝັງຢູ່ 🐜
TinyML ໃຊ້ໂມເດວຕ່າງໆໃນໄມໂຄຣຄອນໂທຣລເລີທີ່ມີຂະໜາດກິໂລໄບຕ໌ຈົນເຖິງ RAM ສອງສາມເມກະໄບຕ໌ - ແຕ່ຍັງສາມາດກວດສອບຄຳສຳຄັນ, ການຮັບຮູ້ທ່າທາງ, ການກວດຈັບຄວາມຜິດປົກກະຕິ ແລະ ອື່ນໆອີກ. ມັນຄືກັບການເບິ່ງໜູຍົກດິນຈີ່ຂຶ້ນ. ເປັນທີ່ໜ້າພໍໃຈຢ່າງແປກປະຫຼາດ.
ຮູບແບບທາງຈິດໃຈທີ່ວ່ອງໄວ:
-
ຮອຍຕີນຂໍ້ມູນ : ຂະໜາດນ້ອຍ, ເຊັນເຊີສະຕຣີມມິງ.
-
ຮູບແບບ : CNNs/RNNs ກະທັດຮັດ, ML ແບບຄລາສສິກ, ຫຼື ຕາໜ່າງແບບກະຈາຍ/ປະລິມານ.
-
ງົບປະມານ : ມິນລິວັດ, ບໍ່ແມ່ນວັດ; KB–MB, ບໍ່ແມ່ນ GB.
ທາງເລືອກຮາດແວ: ລາຄາທຽບກັບປະສິດທິພາບ ⚔️
ການເລືອກຮາດແວແມ່ນບ່ອນທີ່ໂຄງການຫຼາຍຢ່າງບໍ່ສະໝໍ່າສະເໝີ:
-
ຊັ້ນ Raspberry Pi : CPU ທີ່ເປັນມິດ, ມີຈຸດປະສົງທົ່ວໄປ; ແຂງແຮງສຳລັບຕົ້ນແບບ.
-
NVIDIA Jetson : ໂມດູນ AI ຂອບທີ່ສ້າງຂຶ້ນໂດຍສະເພາະ (ເຊັ່ນ Orin) ສົ່ງ TOPS ຫຼາຍສິບຫາຫຼາຍຮ້ອຍອັນ ສຳລັບວິໄສທັດທີ່ໜາແໜ້ນ ຫຼື ການຊ້ອນກັນຫຼາຍຮູບແບບ - ດີຫຼາຍ, ແຕ່ມີລາຄາແພງກວ່າ ແລະ ໃຊ້ພະລັງງານຫຼາຍກວ່າ [4].
-
Google Coral (Edge TPU) : ຕົວເລັ່ງ ASIC ທີ່ສົ່ງ ~4 TOPS ປະມານ 2W (~2 TOPS/W) ສຳລັບຮູບແບບທີ່ມີປະລິມານ - perf/W ທີ່ດີເລີດເມື່ອຮູບແບບຂອງທ່ານເໝາະສົມກັບຂໍ້ຈຳກັດ [3].
-
SoC ສຳລັບໂທລະສັບສະຫຼາດ (Snapdragon) : ມາພ້ອມກັບ NPU ແລະ SDKs ເພື່ອໃຊ້ງານໂມເດວຕ່າງໆໃນອຸປະກອນໄດ້ຢ່າງມີປະສິດທິພາບ.
ກົດລະບຽບທົ່ວໄປ: ການດຸ່ນດ່ຽງຄ່າໃຊ້ຈ່າຍ, ຄວາມຮ້ອນ, ແລະ ການຄຳນວນ. “ດີພໍ, ຢູ່ທຸກບ່ອນ” ມັກຈະດີກ່ວາ “ທັນສະໄໝ, ບໍ່ມີບ່ອນໃດເລີຍ.”
ສິ່ງທ້າທາຍທົ່ວໄປໃນ AI ສຳລັບລະບົບຝັງຕົວ 🤯
ວິສະວະກອນມັກຈະຕໍ່ສູ້ກັບ:
-
ໜ່ວຍຄວາມຈຳແໜ້ນ : ອຸປະກອນຂະໜາດນ້ອຍບໍ່ສາມາດຮອງຮັບຮູບແບບຍັກໃຫຍ່ໄດ້.
-
ງົບປະມານແບັດເຕີຣີ : ທຸກໆມິນລິແອມມີຄວາມສຳຄັນ.
-
ການເພີ່ມປະສິດທິພາບຂອງຮູບແບບ:
-
ການວັດແທກປະລິມານ → ນ້ຳໜັກ/ການເປີດໃຊ້ງານ int8/float16 ທີ່ນ້ອຍກວ່າ, ໄວກວ່າ.
-
ການຕັດแต่งກິ່ງ → ເອົານ້ຳໜັກທີ່ບໍ່ສຳຄັນອອກເພື່ອໃຫ້ມີຂະໜາດນ້ອຍລົງ.
-
ການຈັດກຸ່ມ/ການແບ່ງປັນນ້ຳໜັກ → ບີບອັດຕື່ມອີກ.
ເຫຼົ່ານີ້ແມ່ນເຕັກນິກມາດຕະຖານສຳລັບປະສິດທິພາບໃນອຸປະກອນ [2].
-
-
ການຂະຫຍາຍ : ການສາທິດ Arduino ໃນຫ້ອງຮຽນ ≠ ລະບົບການຜະລິດລົດຍົນທີ່ມີຂໍ້ຈຳກັດດ້ານຄວາມປອດໄພ, ຄວາມໝັ້ນຄົງ ແລະ ວົງຈອນຊີວິດ.
ກຳລັງແກ້ໄຂຂໍ້ຜິດພາດບໍ? ລອງນຶກພາບເບິ່ງວ່າເຈົ້າກຳລັງອ່ານປຶ້ມຜ່ານຮູກະແຈ... ໂດຍໃສ່ຖົງມື.
ການນຳໃຊ້ຕົວຈິງທີ່ທ່ານຈະເຫັນໄດ້ໃນໄວໆນີ້ 🚀
-
ອຸປະກອນສວມໃສ່ອັດສະລິຍະ ທີ່ເຮັດຄວາມເຂົ້າໃຈກ່ຽວກັບສຸຂະພາບໃນອຸປະກອນ.
-
ກ້ອງຖ່າຍຮູບ IoT ລາຍງານເຫດການຕ່າງໆໂດຍບໍ່ຕ້ອງຖ່າຍທອດພາບດິບ.
-
ຜູ້ຊ່ວຍສຽງແບບອອບລາຍ ສຳລັບການຄວບຄຸມແບບບໍ່ຕ້ອງໃຊ້ມື - ບໍ່ມີການເພິ່ງພາອາໄສຄລາວ.
-
ໂດຣນອັດຕະໂນມັດ ສຳລັບການກວດກາ, ການຈັດສົ່ງ, ແລະ ການກະເສດທີ່ມີຄວາມແມ່ນຍໍາ.
ສະຫຼຸບແລ້ວ: AI ກຳລັງເຄື່ອນຍ້າຍເຂົ້າໃກ້ກວ່າເກົ່າ - ເຂົ້າໄປໃນຂໍ້ມືຂອງພວກເຮົາ, ເຂົ້າໄປໃນເຮືອນຄົວຂອງພວກເຮົາ, ແລະ ໃນທົ່ວພື້ນຖານໂຄງລ່າງຂອງພວກເຮົາ.
ນັກພັດທະນາສາມາດເລີ່ມຕົ້ນໄດ້ແນວໃດ 🛠️
-
ເລີ່ມຕົ້ນດ້ວຍ TensorFlow Lite ສຳລັບເຄື່ອງມືທີ່ກວ້າງຂວາງ ແລະ MCU → ການຄຸ້ມຄອງແບບເຄື່ອນທີ່; ນຳໃຊ້ quantization/pruning ແຕ່ຫົວທີ [2].
-
ສຳຫຼວດ ExecuTorch ຖ້າທ່ານອາໄສຢູ່ໃນດິນແດນ PyTorch ແລະຕ້ອງການ runtime ໃນອຸປະກອນທີ່ສະດວກສະບາຍໃນທົ່ວມືຖື ແລະ embedded [5].
-
ລອງໃຊ້ ຊຸດ Arduino + TinyML ສຳລັບການສ້າງຕົ້ນແບບທີ່ໄວ ແລະ ໜ້າສົນໃຈ.
-
ມັກທໍ່ສົ່ງຂໍ້ມູນທີ່ເບິ່ງເຫັນໄດ້ບໍ? Edge Impulse ຫຼຸດຜ່ອນອຸປະສັກດ້ວຍການເກັບກຳຂໍ້ມູນ, ການຝຶກອົບຮົມ ແລະ ການນຳໃຊ້.
-
ປະຕິບັດຕໍ່ຮາດແວຄືກັບພົນລະເມືອງຊັ້ນໜຶ່ງ - ຕົ້ນແບບໃນ CPU, ຈາກນັ້ນກວດສອບຄວາມຖືກຕ້ອງໃນຕົວເລັ່ງເປົ້າໝາຍຂອງທ່ານ (Edge TPU, Jetson, NPU) ເພື່ອຢືນຢັນຄວາມໜ่วงເວລາ, ຄວາມຮ້ອນ, ແລະ deltas ຄວາມຖືກຕ້ອງ.
ບົດຄວາມສັ້ນ: ທີມງານສົ່ງເຄື່ອງກວດຈັບຄວາມຜິດປົກກະຕິຂອງການສັ່ນສະເທືອນໃສ່ເຊັນເຊີເຊວຫຼຽນ. ຮູບແບບ float32 ຂາດງົບປະມານພະລັງງານ; ການວັດແທກປະລິມານ int8 ຫຼຸດພະລັງງານຕໍ່ການອະນຸມານ, ການຕັດໜ່ວຍຄວາມຈຳ, ແລະ ການປ່ຽນວົງຈອນໜ້າທີ່ຂອງ MCU ສຳເລັດວຽກ - ບໍ່ຕ້ອງການເຄືອຂ່າຍ [2,3].
ການປະຕິວັດທີ່ງຽບສະຫງົບຂອງ AI ສຳລັບລະບົບຝັງຕົວ 🌍
ໂປເຊດເຊີຂະໜາດນ້ອຍ ແລະ ລາຄາບໍ່ແພງ ກຳລັງຮຽນຮູ້ທີ່ຈະ ຮັບຮູ້ → ຄິດ → ກະທຳ - ຢູ່ໃນທ້ອງຖິ່ນ. ອາຍຸການໃຊ້ງານຂອງແບັດເຕີຣີຈະຫຼອກຫຼອນພວກເຮົາສະເໝີ, ແຕ່ເສັ້ນທາງແມ່ນຈະແຈ້ງ: ຮູບແບບທີ່ແໜ້ນໜາກວ່າ, ຕົວລວບລວມທີ່ດີກວ່າ, ຕົວເລັ່ງທີ່ສະຫຼາດກວ່າ. ຜົນໄດ້ຮັບ? ເທັກໂນໂລຢີທີ່ຮູ້ສຶກເປັນສ່ວນຕົວ ແລະ ຕອບສະໜອງໄດ້ດີກວ່າ ເພາະມັນບໍ່ພຽງແຕ່ເຊື່ອມຕໍ່ກັນ - ມັນຍັງເປັນການເອົາໃຈໃສ່.
ເອກະສານອ້າງອີງ
[1] ETSI (Multi-access Edge Computing) - ຜົນປະໂຫຍດຂອງຄວາມໜ่วงເວລາ/ຄວາມເປັນສ່ວນຕົວ ແລະ ສະພາບການຂອງອຸດສາຫະກຳ.
ETSI MEC: ພາບລວມຂອງເອກະສານຂາວໃໝ່
[2] ຊຸດເຄື່ອງມືການເພີ່ມປະສິດທິພາບຂອງຮູບແບບ Google TensorFlow - ການວັດແທກປະລິມານ, ການຕັດแต่ง, ການຈັດກຸ່ມເພື່ອປະສິດທິພາບໃນອຸປະກອນ.
ຄູ່ມືການເພີ່ມປະສິດທິພາບຂອງຮູບແບບ TensorFlow
[3] Google Coral Edge TPU - ມາດຕະຖານ Perf/W ສຳລັບການເລັ່ງຄວາມໄວຂອງຂອບ.
ມາດຕະຖານ Edge TPU
[4] NVIDIA Jetson Orin (ຢ່າງເປັນທາງການ) - ໂມດູນ Edge AI ແລະ ຂອບເຂດປະສິດທິພາບ.
ພາບລວມຂອງໂມດູນ Jetson Orin
[5] PyTorch ExecuTorch (ເອກະສານທາງການ) - ຣັນໄທມ PyTorch ໃນອຸປະກອນສຳລັບມືຖື ແລະ edge.
ພາບລວມຂອງ ExecuTorch