Edge AI ແມ່ນຫຍັງ?

Edge AI ແມ່ນຫຍັງ?

Edge AI ຊຸກດັນໃຫ້ຄວາມສະຫຼາດອອກໄປຫາບ່ອນທີ່ຂໍ້ມູນເກີດ. ຟັງແລ້ວເປັນເລື່ອງທີ່ແປກປະຫຼາດ, ແຕ່ແນວຄວາມຄິດຫຼັກແມ່ນງ່າຍດາຍ: ເຮັດແນວຄິດທີ່ຢູ່ຂ້າງເຊັນເຊີເພື່ອໃຫ້ຜົນໄດ້ຮັບປະກົດຂຶ້ນໃນປັດຈຸບັນ, ບໍ່ແມ່ນໃນພາຍຫຼັງ. ທ່ານໄດ້ຮັບຄວາມໄວ, ຄວາມຫນ້າເຊື່ອຖື, ແລະເລື່ອງຄວາມເປັນສ່ວນຕົວທີ່ເຫມາະສົມໂດຍບໍ່ມີການລ້ຽງເດັກຟັງທຸກການຕັດສິນໃຈ. ໃຫ້ unpack it-shortcuts ແລະ side quests ລວມ. 😅

ບົດຄວາມທີ່ທ່ານອາດຈະຢາກອ່ານຫຼັງຈາກບົດຄວາມນີ້:

🔗 AI ທົ່ວໄປແມ່ນຫຍັງ
ຄໍາອະທິບາຍທີ່ຊັດເຈນຂອງ AI ການຜະລິດ, ວິທີການເຮັດວຽກ, ແລະການນໍາໃຊ້ຕົວຈິງ.

🔗 AI ຕົວແທນແມ່ນຫຍັງ
ພາບລວມຂອງ AI ຕົວແທນ, ພຶດຕິກໍາທີ່ປົກຄອງຕົນເອງ, ແລະຮູບແບບການໃຊ້ງານໃນໂລກທີ່ແທ້ຈິງ.

🔗 AI scalability ແມ່ນຫຍັງ
ຮຽນ​ຮູ້​ວິ​ທີ​ການ​ປັບ​ຂະ​ຫນາດ​ລະ​ບົບ AI ໄວ້​ວາງ​ໃຈ​, ປະ​ສິດ​ທິ​ພາບ​, ແລະ​ຄ່າ​ໃຊ້​ຈ່າຍ​ປະ​ສິດ​ທິ​ຜົນ​.

🔗 ໂຄງຮ່າງການຊອບແວສໍາລັບ AI ແມ່ນຫຍັງ
ການແບ່ງໂຄງຮ່າງຂອງຊອບແວ AI, ຜົນປະໂຫຍດທາງສະຖາປັດຕະຍະກໍາ, ແລະພື້ນຖານການປະຕິບັດ.

Edge AI ແມ່ນຫຍັງ? ຄໍານິຍາມໄວ🧭

Edge AI ແມ່ນການປະຕິບັດແບບຈໍາລອງການຮຽນຮູ້ເຄື່ອງຈັກທີ່ໄດ້ຮັບການຝຶກອົບຮົມໂດຍກົງໃນຫຼືຢູ່ໃກ້ກັບອຸປະກອນທີ່ເກັບກໍາຂໍ້ມູນ - ໂທລະສັບ, ກ້ອງຖ່າຍຮູບ, ຫຸ່ນຍົນ, ລົດ, ເຄື່ອງສວມໃສ່, ເຄື່ອງຄວບຄຸມອຸດສາຫະກໍາ, ທ່ານຕັ້ງຊື່ມັນ. ແທນທີ່ຈະສົ່ງຂໍ້ມູນດິບໄປຍັງເຊີບເວີທີ່ຢູ່ໄກເພື່ອການວິເຄາະ, ອຸປະກອນປະມວນຜົນຂໍ້ມູນພາຍໃນທ້ອງຖິ່ນແລະສົ່ງພຽງແຕ່ສະຫຼຸບຫຼືບໍ່ມີຫຍັງເລີຍ. ການເດີນທາງຮອບໜ້ອຍລົງ, ຊ້າໜ້ອຍລົງ, ຄວບຄຸມໄດ້ຫຼາຍຂຶ້ນ. ຖ້າທ່ານຕ້ອງການຜູ້ອະທິບາຍທີ່ສະອາດ, ຜູ້ຂາຍທີ່ເປັນກາງ, ເລີ່ມຕົ້ນທີ່ນີ້. [1]

 

ປັນຍາປະດິດ Edge

ສິ່ງທີ່ເຮັດໃຫ້ Edge AI ມີປະໂຫຍດຢ່າງແທ້ຈິງ? 🌟

  • ເວລາ latency ຕ່ຳ - ການຕັດສິນໃຈເກີດຂຶ້ນໃນອຸປະກອນ, ດັ່ງນັ້ນການຕອບສະໜອງຈະຮູ້ສຶກທັນທີສຳລັບວຽກການຮັບຮູ້ເຊັ່ນ: ການກວດຫາວັດຖຸ, ການຈັບຄຳປຸກ ຫຼືການແຈ້ງເຕືອນຄວາມຜິດປົກກະຕິ. [1]

  • ຄວາມ​ເປັນ​ສ່ວນ​ຕົວ​ຕາມ​ທ້ອງ​ຖິ່ນ - ຂໍ້​ມູນ​ລະ​ອຽດ​ອ່ອນ​ສາ​ມາດ​ຢູ່​ໃນ​ອຸ​ປະ​ກອນ​, ການ​ຫຼຸດ​ຜ່ອນ​ການ​ເປີດ​ເຜີຍ​ແລະ​ການ​ຊ່ວຍ​ເຫຼືອ​ໃນ​ການ​ສົນ​ທະ​ນາ​ການ​ຫຼຸດ​ຜ່ອນ​ຂໍ້​ມູນ​. [1]

  • ການປະຫຍັດແບນວິດ - ສົ່ງຄຸນສົມບັດຫຼືເຫດການແທນທີ່ຈະເປັນກະແສດິບ. [1]

  • ຄວາມຢືດຢຸ່ນ - ເຮັດວຽກໃນລະຫວ່າງການເຊື່ອມຕໍ່ sketch.

  • ການຄວບຄຸມຄ່າໃຊ້ຈ່າຍ - ຮອບວຽນການຄິດໄລ່ຄລາວໜ້ອຍລົງ ແລະ ອັດຕາການລ້າທີ່ຕໍ່າລົງ.

  • ການຮັບຮູ້ສະພາບການ - ອຸປະກອນ "ຮູ້ສຶກ" ສະພາບແວດລ້ອມ ແລະ ປັບຕົວ.

ເລື່ອງຫຍໍ້ທີ່ໄວ: ນັກບິນຂາຍຍ່ອຍໄດ້ແລກປ່ຽນການອັບໂຫລດກ້ອງຖ່າຍຮູບຄົງທີ່ສໍາລັບການຈັດປະເພດບຸກຄົນກັບວັດຖຸໃນອຸປະກອນແລະຊຸກຍູ້ພຽງແຕ່ການນັບຊົ່ວໂມງແລະຄລິບຍົກເວັ້ນ. ຜົນໄດ້ຮັບ: ການແຈ້ງເຕືອນຍ່ອຍ 200 ms ຢູ່ແຂບຊັ້ນວາງແລະ ~90% ຫຼຸດລົງໃນການຈະລາຈອນ uplink- ໂດຍບໍ່ມີການປ່ຽນແປງສັນຍາ WAN ຂອງຮ້ານ. (ວິທີການ: inference ທ້ອງຖິ່ນ, batching ເຫດການ, ຜິດປົກກະຕິເທົ່ານັ້ນ.)

Edge AI vs cloud AI - ຄວາມຄົມຊັດໄວ 🥊

  • ບ່ອນທີ່ຄອມພິວເຕີ້ເກີດຂື້ນ: edge = on-device/near-device; cloud = ສູນຂໍ້ມູນຫ່າງໄກສອກຫຼີກ.

  • ຄວາມໜ่วงເວລາ: ຂອບ ≈ ເວລາຈິງ; ຄລາວມີການເດີນທາງໄປມາ.

  • ການ​ເຄື່ອນ​ໄຫວ​ຂໍ້​ມູນ: edge filters/compresses first; cloud ມັກການອັບໂຫລດແບບເຕັມຮູບແບບ.

  • ຄວາມຫນ້າເຊື່ອຖື: edge ດໍາເນີນການ offline; cloud ຕ້ອງການການເຊື່ອມຕໍ່.

  • ການປົກຄອງ: edge ສະຫນັບສະຫນູນການຫຼຸດຜ່ອນຂໍ້ມູນ; cloud ຄວບຄຸມການຄວບຄຸມ. [1]

ມັນ​ບໍ່​ແມ່ນ​ຫຼື​. ລະບົບອັດສະລິຍະປະສົມປະສານທັງສອງຢ່າງ: ການຕັດສິນໃຈທີ່ໄວໃນທ້ອງຖິ່ນ, ການວິເຄາະທີ່ເລິກເຊິ່ງກວ່າ ແລະການຮຽນຮູ້ຂອງເຮືອເປັນສູນກາງ. ຄໍາຕອບແບບປະສົມແມ່ນຫນ້າເບື່ອ - ແລະຖືກຕ້ອງ.

Edge AI ເຮັດວຽກແນວໃດພາຍໃຕ້ກະເປົ໋າ🧩

  1. ເຊັນເຊີ ຈັບສັນຍານດິບ - ກອບສຽງ, pixels ກ້ອງຖ່າຍຮູບ, ທໍ່ IMU, ການຕິດຕາມການສັ່ນສະເທືອນ.

  2. ການປະມວນຜົນລ່ວງໜ້າ ຈະປ່ຽນສັນຍານເຫຼົ່ານັ້ນໃຫ້ເປັນຄຸນສົມບັດທີ່ເປັນມິດກັບຕົວແບບ.

  3. Inference runtime ປະຕິບັດຮູບແບບທີ່ຫນາແຫນ້ນຢູ່ໃນອຸປະກອນໂດຍໃຊ້ເຄື່ອງເລັ່ງຄວາມໄວເມື່ອມີໃຫ້.

  4. Postprocessing ປ່ຽນຜົນອອກມາເປັນເຫດການ, ປ້າຍກຳກັບ, ຫຼືການຄວບຄຸມ.

  5. Telemetry ອັບໂຫຼດພຽງແຕ່ສິ່ງທີ່ເປັນປະໂຫຍດເທົ່ານັ້ນ: ສະຫຼຸບ, ຄວາມຜິດປົກກະຕິ, ຫຼື ຄຳຕິຊົມເປັນໄລຍະ.

ເວລາແລ່ນໃນອຸປະກອນທີ່ທ່ານຈະເຫັນໃນທຳມະຊາດລວມມີ LiteRT (ເມື່ອກ່ອນເອີ້ນວ່າ TensorFlow Lite), ONNX Runtimeຂອງ Intel OpenVINO. ລະບົບຕ່ອງໂສ້ເຄື່ອງມືເຫຼົ່ານີ້ບີບອັດປະລິມານການຜະລິດຈາກງົບປະມານພະລັງງານ/ໜ່ວຍຄວາມຈຳທີ່ຈຳກັດດ້ວຍເຄັດລັບຕ່າງໆເຊັ່ນ: quantization ແລະ operator fusion. ຖ້າທ່ານມັກສິ່ງເລັກໆນ້ອຍໆ, ເອກະສານຂອງພວກມັນແມ່ນແຂງແກ່ນ. [3][4]

ບ່ອນທີ່ມັນສະແດງໃຫ້ເຫັນ - ກໍລະນີການນໍາໃຊ້ທີ່ແທ້ຈິງທ່ານສາມາດຊີ້ໄປທີ່ 🧯🚗🏭

  • ວິໄສທັດຢູ່ຂອບ: ກ້ອງກະດິ່ງປະຕູ (ຄົນທຽບກັບສັດລ້ຽງ), ການສະແກນຊັ້ນວາງໃນຮ້ານຂາຍຍ່ອຍ, drones ຈຸດບົກພ່ອງ.

  • ສຽງ​ໃນ​ອຸ​ປະ​ກອນ​: wake ຄໍາ​ສັບ​ຕ່າງໆ​, dictation​, ການ​ກວດ​ພົບ​ຮົ່ວ​ໃນ​ພືດ​.

  • IoT ອຸດສາຫະກໍາ: ມໍເຕີແລະປັ໊ມຕິດຕາມຄວາມຜິດປົກກະຕິຂອງການສັ່ນສະເທືອນກ່ອນຄວາມລົ້ມເຫຼວ.

  • ຍານຍົນ: ການຕິດຕາມຜູ້ຂັບຂີ່, ການກວດຫາເສັ້ນທາງ, ການຊ່ວຍຈອດລົດ-ຮອງວິນາທີ ຫຼືແຕກ.

  • ການດູແລສຸຂະພາບ: wearables flag arrhythmias ທ້ອງຖິ່ນ; ສະຫຼຸບສັງລວມໃນພາຍຫຼັງ.

  • ໂທລະສັບສະຫຼາດ: ການປັບປຸງຮູບພາບ, ການກວດຈັບການໂທສະແປມ, ຊ່ວງເວລາ “ໂທລະສັບຂອງຂ້ອຍເຮັດແບບນັ້ນໄດ້ແນວໃດໃນຂະນະທີ່ອອບລາຍ”.

ສໍາລັບຄໍານິຍາມຢ່າງເປັນທາງການ (ແລະ "fog vs edge" cousin talk), ເບິ່ງຮູບແບບແນວຄວາມຄິດ NIST. [2]

ຮາດແວທີ່ເຮັດໃຫ້ມັນງ່ວງ🔌

ສອງສາມເວທີໄດ້ຮັບການກວດສອບຊື່ຫຼາຍ:

  • NVIDIA Jetson - ໂມດູນທີ່ໃຊ້ GPU ສໍາລັບຫຸ່ນຍົນ/ກ້ອງຖ່າຍຮູບ-Swiss-Army-knife vibes ສໍາລັບ AI ຝັງ.

  • Google Edge TPU + LiteRT - inference integer inference ປະສິດທິພາບ ແລະເປັນ runtime streamlined ສໍາລັບໂຄງການພະລັງງານຕ່ໍາສຸດ. [3]

  • Apple Neural Engine (ANE) - ແໜ້ນໃນອຸປະກອນ ML ສໍາລັບ iPhone, iPad, ແລະ Mac; Apple ໄດ້​ເຜີຍ​ແຜ່​ວຽກ​ງານ​ປະ​ຕິ​ບັດ​ໃນ​ການ​ນໍາ​ໃຊ້​ການ​ຫັນ​ເປັນ​ປະ​ສິດ​ທິ​ຜົນ​ໃນ ANE​. [5]

  • CPU/iGPU/NPU ຂອງ Intel ທີ່ມີ OpenVINO - “ຂຽນຄັ້ງດຽວ, ນຳໃຊ້ໄດ້ທຸກບ່ອນ” ໃນທົ່ວຮາດແວຂອງ Intel; ການເພີ່ມປະສິດທິພາບທີ່ເປັນປະໂຫຍດຜ່ານໄປ.

  • ONNX Runtime ຢູ່ທົ່ວທຸກແຫ່ງ - ເວລາແລ່ນທີ່ເປັນກາງກັບຜູ້ໃຫ້ບໍລິການປະຕິບັດການສຽບໄດ້ໃນທົ່ວໂທລະສັບ, PCs, ແລະ gateways. [4]

ທ່ານຕ້ອງການພວກມັນທັງໝົດບໍ? ບໍ່ແມ່ນແທ້ໆ. ເລືອກເສັ້ນທາງທີ່ເຂັ້ມແຂງທີ່ ເໝາະ ສົມກັບເຮືອຂອງເຈົ້າແລະຕິດກັບມັນ - ປັ່ນປ່ວນແມ່ນສັດຕູຂອງທີມຝັງ.

ຊອບແວ stack - ການທົວສັ້ນ 🧰

  • ການບີບອັດແບບຈໍາລອງ: quantization (ມັກຈະເປັນ int8), pruning, distillation.

  • ການເລັ່ງລະດັບຕົວປະຕິບັດການ: ແກ່ນແກ່ນຖືກປັບໃສ່ຊິລິໂຄນຂອງເຈົ້າ.

  • ເວລາແລ່ນ: LiteRT, ONNX Runtime, OpenVINO. [3][4]

  • ຜ້າຫໍ່ການນຳໃຊ້: containers/app bundle; ບາງຄັ້ງບໍລິການຈຸລະພາກຢູ່ໃນປະຕູ.

  • MLOps ສຳລັບຂອບ: ການອັບເດດແບບ OTA, A/B rollout, telemetry loops.

  • ການຄວບຄຸມຄວາມເປັນສ່ວນຕົວ ແລະ ຄວາມປອດໄພ: ການເຂົ້າລະຫັດໃນອຸປະກອນ, ການເປີດເຄື່ອງຢ່າງປອດໄພ, ການຢັ້ງຢືນ, ຂອບເຂດ.

Mini-case: ທີມງານກວດກາ drone ໄດ້ກັ່ນເຄື່ອງກວດຫານ້ໍາຫນັກຫນັກເຂົ້າໄປໃນຕົວແບບນັກຮຽນທີ່ມີປະລິມານສໍາລັບ LiteRT, ຫຼັງຈາກນັ້ນໄດ້ປະສົມປະສານ NMS ໃນອຸປະກອນ. ໄລຍະເວລາການບິນປັບປຸງ ~15% ຍ້ອນການແຕ້ມຄອມພິວເຕີ້ຕ່ໍາ; ປະລິມານການອັບໂຫລດຫຼຸດລົງເປັນກອບຂໍ້ຍົກເວັ້ນ. (ວິ​ທີ​ການ​: ການ​ເກັບ​ກໍາ​ຊຸດ​ຂໍ້​ມູນ​ຢູ່​ໃນ​ເວັບ​ໄຊ​, ການ​ປັບ​ປະ​ລິ​ມານ​ຫຼັງ​ຈາກ​ການ​ປະ​ລິ​ມານ​, ຮູບ​ແບບ​ເງົາ A/B ກ່ອນ​ທີ່​ຈະ​ນໍາ​ໃຊ້​ຢ່າງ​ເຕັມ​ທີ່​.)

ຕາຕະລາງປຽບທຽບ - ຕົວເລືອກ Edge AI ຍອດນິຍົມ🧪

ການສົນທະນາທີ່ແທ້ຈິງ: ຕາຕະລາງນີ້ແມ່ນຄວາມຄິດເຫັນແລະເລັກນ້ອຍ messy - ຄືກັນກັບໂລກທີ່ແທ້ຈິງ.

ເຄື່ອງມື / ແພລດຟອມ ຜູ້ຊົມທີ່ດີທີ່ສຸດ ລາຄາທີ່ຄາດໄວ້ ເປັນຫຍັງມັນເຮັດວຽກຢູ່ໃນຂອບ
LiteRT (ອະດີດ TFLite) Android, ຜູ້ຜະລິດ, ຝັງ $ ຫາ $$ ເວລາແລ່ນແບບ lean, docs ທີ່ເຂັ້ມແຂງ, ops ມືຖືທໍາອິດ. ເຮັດວຽກອອຟໄລໄດ້ດີ. [3]
ເວລາແລ່ນ ONNX ທີມງານຂ້າມເວທີ $ ຮູບແບບທີ່ເປັນກາງ, ຮາດແວ backends pluggable-friendly ໃນອະນາຄົດ. [4]
OpenVINO ການນຳໃຊ້ Intel-centric $ ຊຸດເຄື່ອງມືຫນຶ່ງ, ຫຼາຍເປົ້າຫມາຍ Intel; ຜ່ານການເພີ່ມປະສິດທິພາບທີ່ມີປະໂຫຍດ.
NVIDIA Jetson ຫຸ່ນຍົນ, ວິໄສທັດ - ຫນັກ $$ ຫາ $$$ ການເລັ່ງ GPU ໃນກ່ອງອາຫານທ່ຽງ; ລະບົບນິເວດກວ້າງ.
Apple ANE ແອັບ iOS/iPadOS/macOS ຄ່າ​ໃຊ້​ຈ່າຍ​ອຸ​ປະ​ກອນ​ ການເຊື່ອມໂຍງ HW/SW ແຫນ້ນ; ເອກະສານ ANE ເຮັດວຽກດີ. [5]
ຂອບ TPU + LiteRT ໂຄງການພະລັງງານຕ່ໍາສຸດ $ ປະສິດທິພາບ int8 inference ຢູ່ແຂບ; ຂະ​ຫນາດ​ນ້ອຍ​ແຕ່​ມີ​ຄວາມ​ສາ​ມາດ​. [3]

ວິທີການເລືອກເສັ້ນທາງ Edge AI - ຕົ້ນໄມ້ການຕັດສິນໃຈຂະຫນາດນ້ອຍ 🌳

  • ຍາກໃນເວລາຈິງຊີວິດຂອງເຈົ້າ? ເລີ່ມຕົ້ນດ້ວຍເຄື່ອງເລັ່ງ + ແບບປະລິມານ.

  • ອຸປະກອນຫຼາຍປະເພດ? ມັກ ONNX Runtime ຫຼື OpenVINO ສໍາລັບການພົກພາ. [4]

  • ຈັດສົ່ງແອັບຯມືຖືບໍ? LiteRT ແມ່ນເສັ້ນທາງຂອງການຕໍ່ຕ້ານຢ່າງຫນ້ອຍ. [3]

  • ຫຸ່ນຍົນ ຫຼື ການວິເຄາະກ້ອງຖ່າຍຮູບ? ການເຮັດວຽກທີ່ເປັນມິດກັບ GPU ຂອງ Jetson ຊ່ວຍປະຢັດເວລາ.

  • ທ່າທາງຄວາມເປັນສ່ວນຕົວທີ່ເຄັ່ງຄັດ? ຮັກສາຂໍ້ມູນຢູ່ໃນທ້ອງຖິ່ນ, ເຂົ້າລະຫັດທີ່ພັກຜ່ອນ, ບັນທຶກການລວບລວມບໍ່ແມ່ນກອບດິບ.

  • ທີມງານນ້ອຍໆ? ຫຼີກເວັ້ນການ toolchains exotic-ເຈາະແມ່ນງາມ.

  • ຕົວແບບຈະປ່ຽນແປງເລື້ອຍໆບໍ? ວາງແຜນ OTA ແລະ telemetry ຈາກມື້ຫນຶ່ງ.

ຄວາມສ່ຽງ, ຂີດຈຳກັດ, ແລະຂໍ້ບົກຜ່ອງທີ່ໜ້າເບື່ອ, ແຕ່ສຳຄັນ🧯

  • ການລອຍຕົວແບບ - ການປ່ຽນແປງສະພາບແວດລ້ອມ; ຕິດ​ຕາມ​ກວດ​ກາ​ການ​ແຜ່​ກະ​ຈາຍ​, ດໍາ​ເນີນ​ການ​ຮູບ​ແບບ​ເງົາ​, ຝຶກ​ຄືນ​ແຕ່​ລະ​ໄລ​ຍະ​.

  • ເພດານຄອມພີວເຕີ - ໜ່ວຍຄວາມຈຳທີ່ແໜ້ນໜາ/ກຳລັງແຮງແບບຈຳລອງຂະໜາດນ້ອຍ ຫຼື ຄວາມຖືກຕ້ອງທີ່ຜ່ອນຄາຍ.

  • ຄວາມປອດໄພ - ສົມມຸດວ່າການເຂົ້າເຖິງທາງດ້ານຮ່າງກາຍ; ໃຊ້ການໃສ່ເກີບທີ່ປອດໄພ, ເຊັນຊື່ປອມ, ການຢັ້ງຢືນ, ບໍລິການທີ່ມີສິດທິພິເສດໜ້ອຍທີ່ສຸດ.

  • ການຄຸ້ມຄອງຂໍ້ມູນ - ການປະມວນຜົນໃນທ້ອງຖິ່ນຊ່ວຍ, ແຕ່ທ່ານຍັງຕ້ອງການຄວາມຍິນຍອມ, ການຮັກສາໄວ້, ແລະ telemetry ທີ່ມີຂອບເຂດ.

  • Fleet ops - ອຸປະກອນໄປອອຟໄລໃນເວລາທີ່ຮ້າຍແຮງທີ່ສຸດ; ອອກແບບການອັບເດດທີ່ເລື່ອນເວລາແລະການອັບໂຫລດຄືນ.

  • ພອນສະຫວັນປະສົມ - ຝັງ + ML + DevOps ເປັນລູກເຮືອ motley; ລົດໄຟຂ້າມໄວ.

ແຜນທີ່ເສັ້ນທາງປະຕິບັດເພື່ອສົ່ງສິ່ງທີ່ມີປະໂຫຍດ 🗺️

  1. ເລືອກກໍລະນີທີ່ໃຊ້ໄດ້ອັນໜຶ່ງ ທີ່ມີການກວດຫາຂໍ້ບົກພ່ອງທີ່ວັດແທກໄດ້ຢູ່ແຖວທີ 3, ປຸກຄຳສັບໃນລຳໂພງອັດສະລິຍະ, ແລະອື່ນໆ.

  2. ເກັບກໍາຊຸດຂໍ້ມູນກະທັດຮັດ ທີ່ສະທ້ອນສະພາບແວດລ້ອມເປົ້າຫມາຍ; ໃສ່ສິ່ງລົບກວນເພື່ອໃຫ້ກົງກັບຄວາມເປັນຈິງ.

  3. ຕົ້ນແບບໃນຊຸດ dev ໃກ້ກັບຮາດແວການຜະລິດ.

  4. ບີບອັດຕົວແບບ ດ້ວຍ quantization / pruning; ວັດແທກການສູນເສຍຄວາມຖືກຕ້ອງຢ່າງຊື່ສັດ. [3]

  5. Wrap inference in a clean API with backpressure and watchdogs-ເນື່ອງຈາກວ່າອຸປະກອນວາງສາຍຢູ່ 2 am

  6. ການອອກແບບ telemetry ທີ່ເຄົາລົບຄວາມເປັນສ່ວນຕົວ: ສົ່ງການນັບ, histograms, ຄຸນນະສົມບັດສະກັດຂອບ.

  7. ຄວາມ​ປອດ​ໄພ​ແຂງ: binary ເຊັນ​, boot ທີ່​ປອດ​ໄພ​, ການ​ບໍ​ລິ​ການ​ຫນ້ອຍ​ທີ່​ເປີດ​.

  8. ແຜນ OTA: rollouts staggered, canaries, rollback ທັນ.

  9. ທົດລອງໃຊ້ກ່ອງມຸມທີ່ໜາ ກ່ອນ - ຖ້າມັນລອດຢູ່ທີ່ນັ້ນ, ມັນຈະລອດໄດ້ທຸກບ່ອນ.

  10. ຂະຫຍາຍດ້ວຍຄູ່ມືການນຳໃຊ້: ວິທີທີ່ທ່ານຈະເພີ່ມຮູບແບບ, ໝຸນປຸ່ມ, ເກັບຂໍ້ມູນໄວ້ - ດັ່ງນັ້ນໂຄງການທີ 2 ຈຶ່ງບໍ່ແມ່ນຄວາມວຸ້ນວາຍ.

ຄຳຖາມທີ່ຖືກຖາມເລື້ອຍໆ - ຄຳຕອບສັ້ນໆຕໍ່ ກັບ Edge AI ແມ່ນຫຍັງ ❓

Edge AI ພຽງແຕ່ໃຊ້ຮູບແບບຂະໜາດນ້ອຍໃນຄອມພິວເຕີຂະໜາດນ້ອຍບໍ?
ສ່ວນຫຼາຍແລ້ວ, ແມ່ນແລ້ວ - ແຕ່ຂະໜາດບໍ່ແມ່ນເລື່ອງທັງໝົດ. ມັນຍັງກ່ຽວກັບງົບປະມານຄວາມຊັກຊ້າ, ຄຳໝັ້ນສັນຍາດ້ານຄວາມເປັນສ່ວນຕົວ, ແລະ ການຈັດການອຸປະກອນຫຼາຍຢ່າງທີ່ເຮັດວຽກຢູ່ໃນທ້ອງຖິ່ນແຕ່ຮຽນຮູ້ທົ່ວໂລກ. [1]

ຂ້ອຍສາມາດຝຶກຊ້ອມໃນຂອບເຂດດຽວກັນໄດ້ບໍ?
ການຝຶກອົບຮົມ/ການປັບແຕ່ງສ່ວນຕົວໃນອຸປະກອນທີ່ມີນ້ຳໜັກເບົາຍັງມີຢູ່; ການຝຶກອົບຮົມທີ່ໜັກໜ່ວງກວ່າຍັງຄົງດຳເນີນຢູ່ສູນກາງ. ONNX Runtime ບັນທຶກຕົວເລືອກການຝຶກອົບຮົມໃນອຸປະກອນຖ້າທ່ານມັກຄວາມກ້າຫານ. [4]

Edge AI vs fog computing ແມ່ນຫຍັງ?
ໝອກ ແລະ ຂອບແມ່ນພີ່ນ້ອງ. ທັງສອງນໍາເອົາຄອມພິວເຕີ້ເຂົ້າໃກ້ແຫຼ່ງຂໍ້ມູນ, ບາງຄັ້ງຜ່ານປະຕູໃກ້ຄຽງ. ສໍາລັບຄໍານິຍາມແລະສະພາບການທີ່ເປັນທາງການ, ເບິ່ງ NIST. [2]

Edge AI ປັບປຸງຄວາມເປັນສ່ວນຕົວສະເໝີບໍ?
ມັນຊ່ວຍໄດ້ - ແຕ່ມັນບໍ່ແມ່ນເວດມົນ. ເຈົ້າຍັງຕ້ອງການການຫຼຸດຜ່ອນ, ເສັ້ນທາງການອັບເດດທີ່ປອດໄພ, ແລະການບັນທຶກຢ່າງລະມັດລະວັງ. ປະຕິບັດຕໍ່ຄວາມເປັນສ່ວນຕົວຄືກັບນິໄສ, ບໍ່ແມ່ນກ່ອງກາເຄື່ອງໝາຍ.

ການຂຸດຂຸມເລິກທີ່ເຈົ້າອາດຈະອ່ານຕົວຈິງ📚

1) ການເພີ່ມປະສິດທິພາບແບບຈໍາລອງທີ່ບໍ່ທໍາລາຍຄວາມຖືກຕ້ອງ

Quantization ສາມາດ slash ຄວາມຈໍາແລະເລັ່ງ ops, ແຕ່ calibrate ກັບຂໍ້ມູນຕົວແທນຫຼືຕົວແບບອາດຈະ hallucinate ກະຮອກບ່ອນທີ່ມີ cones ການຈະລາຈອນ. ຄູກັ່ນ - ຄູແນະນໍານັກຮຽນນ້ອຍ - ມັກຈະຮັກສາຄວາມຫມາຍ. [3]

2) Edge runtimes inference ໃນພາກປະຕິບັດ

ນາຍພາສາຂອງ LiteRT ແມ່ນເຈດຕະນາຄວາມຈຳຄົງທີ່ໜ້ອຍລົງໃນເວລາແລ່ນ. ONNX Runtime ສຽບໃສ່ເຄື່ອງເລັ່ງທີ່ແຕກຕ່າງກັນຜ່ານຜູ້ໃຫ້ບໍລິການປະຕິບັດ. ທັງບໍ່ແມ່ນລູກປືນເງິນ; ທັງສອງແມ່ນຄ້ອນແຂງ. [3][4]

3) ຄວາມທົນທານໃນທໍາມະຊາດ

ຄວາມຮ້ອນ, ຂີ້ຝຸ່ນ, ພະລັງງານບໍ່ແຕກ, slapdash Wi-Fi: ສ້າງຕົວເຝົ້າລະວັງທີ່ປິດທໍ່ຄືນໃໝ່, ການຕັດສິນໃຈຂອງແຄດ, ແລະຄືນດີເມື່ອເຄືອຂ່າຍກັບຄືນມາ. glamorous ຫນ້ອຍກ່ວາຄວາມສົນໃຈຫົວຫນ້າ - ມີຄວາມສໍາຄັນຫຼາຍ.

ປະໂຫຍກທີ່ເຈົ້າຈະເວົ້າຊ້ຳໃນການປະຊຸມ - Edge AI ແມ່ນຫຍັງ 🗣️

Edge AI ຍ້າຍຄວາມສະຫຼາດເຂົ້າໃກ້ຂໍ້ມູນເພື່ອຕອບສະໜອງຂໍ້ຈຳກັດທາງປະຕິບັດຂອງຄວາມແຝງ, ຄວາມເປັນສ່ວນຕົວ, ແບນວິດ ແລະ ຄວາມໜ້າເຊື່ອຖື. ມະຫັດສະຈັນບໍ່ແມ່ນຊິບດຽວຫຼືກອບ - ມັນເລືອກຢ່າງສະຫລາດວ່າຈະຄິດໄລ່ບ່ອນໃດ.

ຂໍ້ສັງເກດສຸດທ້າຍ - ດົນເກີນໄປ, ຂ້ອຍບໍ່ໄດ້ອ່ານມັນ 🧵

Edge AI ເຮັດວຽກແບບຈຳລອງໃກ້ກັບຂໍ້ມູນ ດັ່ງນັ້ນຜະລິດຕະພັນຈຶ່ງຮູ້ສຶກໄວ, ເປັນສ່ວນຕົວ ແລະ ແຂງແຮງ. ທ່ານຈະປະສົມປະສານການອະນຸມານໃນທ້ອງຖິ່ນກັບການກວດສອບຄລາວເພື່ອສິ່ງທີ່ດີທີ່ສຸດຂອງທັງສອງໂລກ. ເລືອກເວລາເຮັດວຽກທີ່ກົງກັບອຸປະກອນຂອງທ່ານ, ອີງໃສ່ຕົວເລັ່ງຄວາມໄວເມື່ອທ່ານສາມາດເຮັດໄດ້, ຮັກສາແບບຈຳລອງໃຫ້ເປັນລະບຽບດ້ວຍການບີບອັດ, ແລະ ອອກແບບການດຳເນີນງານຂອງກອງຍານພາຫະນະຄືກັບວ່າວຽກຂອງທ່ານແມ່ນຂຶ້ນກັບມັນ - ເພາະວ່າ, ດີ, ມັນອາດຈະ. ຖ້າມີຄົນຖາມວ່າ Edge AI ແມ່ນຫຍັງ, ໃຫ້ເວົ້າວ່າ: ການຕັດສິນໃຈທີ່ສະຫຼາດ, ເຮັດຢູ່ໃນທ້ອງຖິ່ນ, ຕາມເວລາ. ຈາກນັ້ນຍິ້ມ ແລະ ປ່ຽນຫົວຂໍ້ເປັນແບັດເຕີຣີ. 🔋🙂

ເອກະສານອ້າງອີງ

  1. IBM - Edge AI ແມ່ນຫຍັງ? (ຄໍານິຍາມ, ຜົນປະໂຫຍດ).
    https://www.ibm.com/think/topics/edge-ai

  2. NIST - SP 500-325: Fog Computing Conceptual Model (ສະພາບທີ່ເປັນທາງການສຳລັບໝອກ/ຂອບ).
    https://csrc.nist.gov/pubs/sp/500/325/final

  3. Google AI Edge - LiteRT (ເມື່ອກ່ອນເອີ້ນວ່າ TensorFlow Lite) (runtime, quantization, migration).
    https://ai.google.dev/edge/litert

  4. ONNX Runtime - On-Device Training (ເວລາແລ່ນແບບພົກພາ + ການຝຶກອົບຮົມໃນອຸປະກອນຂອບ).
    https://onnxruntime.ai/docs/get-started/training-on-device.html

  5. ການຄົ້ນຄວ້າການຮຽນຮູ້ເຄື່ອງຈັກຂອງ Apple - ການນຳໃຊ້ເຄື່ອງຫັນປ່ຽນໃນ Apple Neural Engine (ບັນທຶກປະສິດທິພາບ ANE).
    https://machinelearning.apple.com/research/neural-engine-transformers

ຊອກຫາ AI ລ່າສຸດໄດ້ທີ່ຮ້ານ AI Assistant ຢ່າງເປັນທາງການ

ກ່ຽວກັບພວກເຮົາ

ກັບໄປທີ່ບລັອກ