Edge AI ແມ່ນຫຍັງ?

Edge AI ແມ່ນຫຍັງ?

Edge AI ຊຸກດັນໃຫ້ຄວາມສະຫຼາດອອກໄປຫາບ່ອນທີ່ຂໍ້ມູນເກີດ. ຟັງແລ້ວເປັນເລື່ອງທີ່ແປກປະຫຼາດ, ແຕ່ແນວຄວາມຄິດຫຼັກແມ່ນງ່າຍດາຍ: ເຮັດແນວຄິດທີ່ຢູ່ຂ້າງເຊັນເຊີເພື່ອໃຫ້ຜົນໄດ້ຮັບປະກົດຂຶ້ນໃນປັດຈຸບັນ, ບໍ່ແມ່ນໃນພາຍຫຼັງ. ທ່ານໄດ້ຮັບຄວາມໄວ, ຄວາມຫນ້າເຊື່ອຖື, ແລະເລື່ອງຄວາມເປັນສ່ວນຕົວທີ່ເຫມາະສົມໂດຍບໍ່ມີການລ້ຽງເດັກຟັງທຸກການຕັດສິນໃຈ. ໃຫ້ unpack it-shortcuts ແລະ side quests ລວມ. 😅

ບົດຄວາມທີ່ທ່ານອາດຈະຢາກອ່ານຫຼັງຈາກບົດຄວາມນີ້:

🔗 AI ທົ່ວໄປແມ່ນຫຍັງ
ຄໍາອະທິບາຍທີ່ຊັດເຈນຂອງ AI ການຜະລິດ, ວິທີການເຮັດວຽກ, ແລະການນໍາໃຊ້ຕົວຈິງ.

🔗 AI ຕົວແທນແມ່ນຫຍັງ
ພາບລວມຂອງ AI ຕົວແທນ, ພຶດຕິກໍາທີ່ປົກຄອງຕົນເອງ, ແລະຮູບແບບການໃຊ້ງານໃນໂລກທີ່ແທ້ຈິງ.

🔗 AI scalability ແມ່ນຫຍັງ
ຮຽນ​ຮູ້​ວິ​ທີ​ການ​ປັບ​ຂະ​ຫນາດ​ລະ​ບົບ AI ໄວ້​ວາງ​ໃຈ​, ປະ​ສິດ​ທິ​ພາບ​, ແລະ​ຄ່າ​ໃຊ້​ຈ່າຍ​ປະ​ສິດ​ທິ​ຜົນ​.

🔗 ໂຄງຮ່າງການຊອບແວສໍາລັບ AI ແມ່ນຫຍັງ
ການແບ່ງໂຄງຮ່າງຂອງຊອບແວ AI, ຜົນປະໂຫຍດທາງສະຖາປັດຕະຍະກໍາ, ແລະພື້ນຖານການປະຕິບັດ.

Edge AI ແມ່ນຫຍັງ? ຄໍານິຍາມໄວ🧭

Edge AI ແມ່ນການປະຕິບັດແບບຈໍາລອງການຮຽນຮູ້ເຄື່ອງຈັກທີ່ໄດ້ຮັບການຝຶກອົບຮົມໂດຍກົງໃນຫຼືຢູ່ໃກ້ກັບອຸປະກອນທີ່ເກັບກໍາຂໍ້ມູນ - ໂທລະສັບ, ກ້ອງຖ່າຍຮູບ, ຫຸ່ນຍົນ, ລົດ, ເຄື່ອງສວມໃສ່, ເຄື່ອງຄວບຄຸມອຸດສາຫະກໍາ, ທ່ານຕັ້ງຊື່ມັນ. ແທນທີ່ຈະສົ່ງຂໍ້ມູນດິບໄປຍັງເຊີບເວີທີ່ຢູ່ໄກເພື່ອການວິເຄາະ, ອຸປະກອນປະມວນຜົນຂໍ້ມູນພາຍໃນທ້ອງຖິ່ນແລະສົ່ງພຽງແຕ່ສະຫຼຸບຫຼືບໍ່ມີຫຍັງເລີຍ. ການເດີນທາງຮອບໜ້ອຍລົງ, ຊ້າໜ້ອຍລົງ, ຄວບຄຸມໄດ້ຫຼາຍຂຶ້ນ. ຖ້າທ່ານຕ້ອງການຜູ້ອະທິບາຍທີ່ສະອາດ, ຜູ້ຂາຍທີ່ເປັນກາງ, ເລີ່ມຕົ້ນທີ່ນີ້. [1]

 

ປັນຍາປະດິດ Edge

ສິ່ງທີ່ເຮັດໃຫ້ Edge AI ມີປະໂຫຍດຢ່າງແທ້ຈິງ? 🌟

  • ເວລາ latency ຕ່ຳ - ການຕັດສິນໃຈເກີດຂຶ້ນໃນອຸປະກອນ, ດັ່ງນັ້ນການຕອບສະໜອງຈະຮູ້ສຶກທັນທີສຳລັບວຽກການຮັບຮູ້ເຊັ່ນ: ການກວດຫາວັດຖຸ, ການຈັບຄຳປຸກ ຫຼືການແຈ້ງເຕືອນຄວາມຜິດປົກກະຕິ. [1]

  • ຄວາມ​ເປັນ​ສ່ວນ​ຕົວ​ຕາມ​ທ້ອງ​ຖິ່ນ - ຂໍ້​ມູນ​ລະ​ອຽດ​ອ່ອນ​ສາ​ມາດ​ຢູ່​ໃນ​ອຸ​ປະ​ກອນ​, ການ​ຫຼຸດ​ຜ່ອນ​ການ​ເປີດ​ເຜີຍ​ແລະ​ການ​ຊ່ວຍ​ເຫຼືອ​ໃນ​ການ​ສົນ​ທະ​ນາ​ການ​ຫຼຸດ​ຜ່ອນ​ຂໍ້​ມູນ​. [1]

  • ການປະຫຍັດແບນວິດ - ສົ່ງຄຸນສົມບັດຫຼືເຫດການແທນທີ່ຈະເປັນກະແສດິບ. [1]

  • ຄວາມຢືດຢຸ່ນ - ເຮັດວຽກໃນລະຫວ່າງການເຊື່ອມຕໍ່ sketch.

  • ການຄວບຄຸມຄ່າໃຊ້ຈ່າຍ - ຮອບວຽນການຄິດໄລ່ຄລາວໜ້ອຍລົງ ແລະ ອັດຕາການລ້າທີ່ຕໍ່າລົງ.

  • ການຮັບຮູ້ສະພາບການ - ອຸປະກອນ "ຮູ້ສຶກ" ສະພາບແວດລ້ອມແລະປັບຕົວ.

ເລື່ອງຫຍໍ້ທີ່ໄວ: ນັກບິນຂາຍຍ່ອຍໄດ້ແລກປ່ຽນການອັບໂຫລດກ້ອງຖ່າຍຮູບຄົງທີ່ສໍາລັບການຈັດປະເພດບຸກຄົນກັບວັດຖຸໃນອຸປະກອນແລະຊຸກຍູ້ພຽງແຕ່ການນັບຊົ່ວໂມງແລະຄລິບຍົກເວັ້ນ. ຜົນໄດ້ຮັບ: ການແຈ້ງເຕືອນຍ່ອຍ 200 ms ຢູ່ແຂບຊັ້ນວາງແລະ ~90% ຫຼຸດລົງໃນການຈະລາຈອນ uplink- ໂດຍບໍ່ມີການປ່ຽນແປງສັນຍາ WAN ຂອງຮ້ານ. (ວິທີການ: inference ທ້ອງຖິ່ນ, batching ເຫດການ, ຜິດປົກກະຕິເທົ່ານັ້ນ.)

Edge AI vs cloud AI - ຄວາມຄົມຊັດໄວ 🥊

  • ບ່ອນທີ່ຄອມພິວເຕີ້ເກີດຂື້ນ : edge = on-device/near-device; cloud = ສູນຂໍ້ມູນຫ່າງໄກສອກຫຼີກ.

  • Latency : edge ≈ real-time; cloud ມີການເດີນທາງໄປມາ.

  • ການ​ເຄື່ອນ​ໄຫວ​ຂໍ້​ມູນ : edge filters/compresses first; cloud ມັກການອັບໂຫລດແບບເຕັມຮູບແບບ.

  • ຄວາມຫນ້າເຊື່ອຖື : edge ດໍາເນີນການ offline; cloud ຕ້ອງການການເຊື່ອມຕໍ່.

  • ການປົກຄອງ : edge ສະຫນັບສະຫນູນການຫຼຸດຜ່ອນຂໍ້ມູນ; cloud ຄວບຄຸມການຄວບຄຸມ. [1]

ມັນ​ບໍ່​ແມ່ນ​ຫຼື​. ລະບົບອັດສະລິຍະປະສົມປະສານທັງສອງຢ່າງ: ການຕັດສິນໃຈທີ່ໄວໃນທ້ອງຖິ່ນ, ການວິເຄາະທີ່ເລິກເຊິ່ງກວ່າ ແລະການຮຽນຮູ້ຂອງເຮືອເປັນສູນກາງ. ຄໍາຕອບແບບປະສົມແມ່ນຫນ້າເບື່ອ - ແລະຖືກຕ້ອງ.

Edge AI ເຮັດວຽກແນວໃດພາຍໃຕ້ກະເປົ໋າ🧩

  1. ເຊັນເຊີ ຈັບສັນຍານດິບ - ກອບສຽງ, pixels ກ້ອງຖ່າຍຮູບ, ທໍ່ IMU, ການຕິດຕາມການສັ່ນສະເທືອນ.

  2. ການປະມວນຜົນລ່ວງໜ້າ ຈະປ່ຽນສັນຍານເຫຼົ່ານັ້ນໃຫ້ເປັນຄຸນສົມບັດທີ່ເປັນມິດກັບຕົວແບບ.

  3. Inference runtime ປະຕິບັດຮູບແບບທີ່ຫນາແຫນ້ນຢູ່ໃນອຸປະກອນໂດຍໃຊ້ເຄື່ອງເລັ່ງຄວາມໄວເມື່ອມີໃຫ້.

  4. Postprocessing ປ່ຽນຜົນອອກມາເປັນເຫດການ, ປ້າຍກຳກັບ, ຫຼືການຄວບຄຸມ.

  5. Telemetry ອັບໂຫລດພຽງແຕ່ສິ່ງທີ່ເປັນປະໂຫຍດ: ສະຫຼຸບ, ຄວາມຜິດປົກກະຕິ, ຫຼືຄໍາຄຶດຄໍາເຫັນແຕ່ລະໄລຍະ.

ເວລາແລ່ນໃນອຸປະກອນທີ່ເຈົ້າຈະເຫັນໃນທຳມະຊາດລວມມີ LiteRT (ເມື່ອກ່ອນເອີ້ນວ່າ TensorFlow Lite), ONNX Runtime OpenVINO ຂອງ Intel . ຕ່ອງໂສ້ເຄື່ອງມືເຫຼົ່ານີ້ບີບເອົາກະແສໄຟຟ້າຈາກງົບປະມານພະລັງງານ / ຫນ່ວຍຄວາມຈໍາທີ່ແຫນ້ນຫນາດ້ວຍ tricks ເຊັ່ນ: quantization ແລະ operator fusion. ຖ້າເຈົ້າມັກແກ່ນໝາກໄມ້ ແລະລູກກອດ, ເອກະສານຂອງພວກມັນແຂງ. [3][4]

ບ່ອນທີ່ມັນສະແດງໃຫ້ເຫັນ - ກໍລະນີການນໍາໃຊ້ທີ່ແທ້ຈິງທ່ານສາມາດຊີ້ໄປທີ່ 🧯🚗🏭

  • ວິໄສທັດຢູ່ຂອບ : ກ້ອງກະດິ່ງປະຕູ (ຄົນທຽບກັບສັດລ້ຽງ), ການສະແກນຊັ້ນວາງໃນຮ້ານຂາຍຍ່ອຍ, drones ຈຸດບົກພ່ອງ.

  • ສຽງ​ໃນ​ອຸ​ປະ​ກອນ ​: wake ຄໍາ​ສັບ​ຕ່າງໆ​, dictation​, ການ​ກວດ​ພົບ​ຮົ່ວ​ໃນ​ພືດ​.

  • IoT ອຸດສາຫະກໍາ : ມໍເຕີແລະປັ໊ມຕິດຕາມຄວາມຜິດປົກກະຕິຂອງການສັ່ນສະເທືອນກ່ອນຄວາມລົ້ມເຫຼວ.

  • ຍານຍົນ : ການຕິດຕາມຜູ້ຂັບຂີ່, ການກວດຫາເສັ້ນທາງ, ການຊ່ວຍຈອດລົດ-ຮອງວິນາທີ ຫຼືແຕກ.

  • ການດູແລສຸຂະພາບ : wearables flag arrhythmias ທ້ອງຖິ່ນ; ສະຫຼຸບສັງລວມໃນພາຍຫຼັງ.

  • ໂທລະສັບສະຫຼາດ : ການປັບປຸງຮູບພາບ, ການກວດສອບການໂທ spam, "ໂທລະສັບຂອງຂ້ອຍເຮັດແບບນັ້ນໄດ້ແນວໃດ" ໃນເວລາອອບໄລນ໌.

ສໍາລັບຄໍານິຍາມຢ່າງເປັນທາງການ (ແລະ "fog vs edge" cousin talk), ເບິ່ງຮູບແບບແນວຄວາມຄິດ NIST. [2]

ຮາດແວທີ່ເຮັດໃຫ້ມັນງ່ວງ🔌

ສອງສາມເວທີໄດ້ຮັບການກວດສອບຊື່ຫຼາຍ:

  • NVIDIA Jetson - ໂມດູນທີ່ໃຊ້ GPU ສໍາລັບຫຸ່ນຍົນ/ກ້ອງຖ່າຍຮູບ-Swiss-Army-knife vibes ສໍາລັບ AI ຝັງ.

  • Google Edge TPU + LiteRT - inference integer inference ປະສິດທິພາບ ແລະເປັນ runtime streamlined ສໍາລັບໂຄງການພະລັງງານຕ່ໍາສຸດ. [3]

  • Apple Neural Engine (ANE) - ແໜ້ນໃນອຸປະກອນ ML ສໍາລັບ iPhone, iPad, ແລະ Mac; Apple ໄດ້​ເຜີຍ​ແຜ່​ວຽກ​ງານ​ປະ​ຕິ​ບັດ​ໃນ​ການ​ນໍາ​ໃຊ້​ການ​ຫັນ​ເປັນ​ປະ​ສິດ​ທິ​ຜົນ​ໃນ ANE​. [5]

  • Intel CPUs/iGPUs/NPUs ກັບ OpenVINO - “ຂຽນຄັ້ງດຽວ, ນຳໃຊ້ໄດ້ທຸກບ່ອນ” ໃນທົ່ວຮາດແວ Intel; ຜ່ານການເພີ່ມປະສິດທິພາບທີ່ເປັນປະໂຫຍດ.

  • ONNX Runtime ຢູ່ທົ່ວທຸກແຫ່ງ - ເວລາແລ່ນທີ່ເປັນກາງກັບຜູ້ໃຫ້ບໍລິການປະຕິບັດການສຽບໄດ້ໃນທົ່ວໂທລະສັບ, PCs, ແລະ gateways. [4]

ທ່ານຕ້ອງການພວກມັນທັງໝົດບໍ? ບໍ່ແມ່ນແທ້ໆ. ເລືອກເສັ້ນທາງທີ່ເຂັ້ມແຂງທີ່ ເໝາະ ສົມກັບເຮືອຂອງເຈົ້າແລະຕິດກັບມັນ - ປັ່ນປ່ວນແມ່ນສັດຕູຂອງທີມຝັງ.

ຊອບແວ stack - ການທົວສັ້ນ 🧰

  • ການບີບອັດແບບຈໍາລອງ : quantization (ມັກຈະເປັນ int8), pruning, distillation.

  • ການເລັ່ງລະດັບຕົວປະຕິບັດການ : ແກ່ນແກ່ນຖືກປັບໃສ່ຊິລິໂຄນຂອງເຈົ້າ.

  • ເວລາແລ່ນ : LiteRT, ONNX Runtime, OpenVINO. [3][4]

  • ຜ້າຫໍ່ການນຳໃຊ້ : containers/app bundle; ບາງຄັ້ງບໍລິການຈຸລະພາກຢູ່ໃນປະຕູ.

  • MLOps ສຳລັບຂອບ : ການອັບເດດແບບ OTA, A/B rollout, telemetry loops.

  • ຄວາມ​ເປັນ​ສ່ວນ​ຕົວ & ການ​ຄວບ​ຄຸມ​ຄວາມ​ປອດ​ໄພ ​: ການ​ເຂົ້າ​ລະ​ຫັດ​ໃນ​ອຸ​ປະ​ກອນ​, ການ​ບູດ​ທີ່​ປອດ​ໄພ​, ການ​ຢັ້ງ​ຢືນ​, enclaves​.

Mini-case: ທີມງານກວດກາ drone ໄດ້ກັ່ນເຄື່ອງກວດຫານ້ໍາຫນັກຫນັກເຂົ້າໄປໃນຕົວແບບນັກຮຽນທີ່ມີປະລິມານສໍາລັບ LiteRT, ຫຼັງຈາກນັ້ນໄດ້ປະສົມປະສານ NMS ໃນອຸປະກອນ. ໄລຍະເວລາການບິນປັບປຸງ ~15% ຍ້ອນການແຕ້ມຄອມພິວເຕີ້ຕ່ໍາ; ປະລິມານການອັບໂຫລດຫຼຸດລົງເປັນກອບຂໍ້ຍົກເວັ້ນ. (ວິ​ທີ​ການ​: ການ​ເກັບ​ກໍາ​ຊຸດ​ຂໍ້​ມູນ​ຢູ່​ໃນ​ເວັບ​ໄຊ​, ການ​ປັບ​ປະ​ລິ​ມານ​ຫຼັງ​ຈາກ​ການ​ປະ​ລິ​ມານ​, ຮູບ​ແບບ​ເງົາ A/B ກ່ອນ​ທີ່​ຈະ​ນໍາ​ໃຊ້​ຢ່າງ​ເຕັມ​ທີ່​.)

ຕາຕະລາງປຽບທຽບ - ຕົວເລືອກ Edge AI ຍອດນິຍົມ🧪

ການສົນທະນາທີ່ແທ້ຈິງ: ຕາຕະລາງນີ້ແມ່ນຄວາມຄິດເຫັນແລະເລັກນ້ອຍ messy - ຄືກັນກັບໂລກທີ່ແທ້ຈິງ.

ເຄື່ອງມື / ແພລດຟອມ ຜູ້ຊົມທີ່ດີທີ່ສຸດ ລາຄາທີ່ຄາດໄວ້ ເປັນຫຍັງມັນເຮັດວຽກຢູ່ໃນຂອບ
LiteRT (ອະດີດ TFLite) Android, ຜູ້ຜະລິດ, ຝັງ $ ຫາ $$ ເວລາແລ່ນແບບ lean, docs ທີ່ເຂັ້ມແຂງ, ops ມືຖືທໍາອິດ. ເຮັດວຽກອອຟໄລໄດ້ດີ. [3]
ເວລາແລ່ນ ONNX ທີມງານຂ້າມເວທີ $ ຮູບແບບທີ່ເປັນກາງ, ຮາດແວ backends pluggable-friendly ໃນອະນາຄົດ. [4]
OpenVINO ການນຳໃຊ້ Intel-centric $ ຊຸດເຄື່ອງມືຫນຶ່ງ, ຫຼາຍເປົ້າຫມາຍ Intel; ຜ່ານການເພີ່ມປະສິດທິພາບທີ່ມີປະໂຫຍດ.
NVIDIA Jetson ຫຸ່ນຍົນ, ວິໄສທັດ - ຫນັກ $$ ຫາ $$$ ການເລັ່ງ GPU ໃນກ່ອງອາຫານທ່ຽງ; ລະບົບນິເວດກວ້າງ.
Apple ANE ແອັບ iOS/iPadOS/macOS ຄ່າ​ໃຊ້​ຈ່າຍ​ອຸ​ປະ​ກອນ​ ການເຊື່ອມໂຍງ HW/SW ແຫນ້ນ; ເອກະສານ ANE ເຮັດວຽກດີ. [5]
ຂອບ TPU + LiteRT ໂຄງການພະລັງງານຕ່ໍາສຸດ $ ປະສິດທິພາບ int8 inference ຢູ່ແຂບ; ຂະ​ຫນາດ​ນ້ອຍ​ແຕ່​ມີ​ຄວາມ​ສາ​ມາດ​. [3]

ວິທີການເລືອກເສັ້ນທາງ Edge AI - ຕົ້ນໄມ້ການຕັດສິນໃຈຂະຫນາດນ້ອຍ 🌳

  • ຍາກໃນເວລາຈິງຊີວິດຂອງເຈົ້າ? ເລີ່ມຕົ້ນດ້ວຍເຄື່ອງເລັ່ງ + ແບບປະລິມານ.

  • ອຸປະກອນຫຼາຍປະເພດ? ມັກ ONNX Runtime ຫຼື OpenVINO ສໍາລັບການພົກພາ. [4]

  • ຈັດສົ່ງແອັບຯມືຖືບໍ? LiteRT ແມ່ນເສັ້ນທາງຂອງການຕໍ່ຕ້ານຢ່າງຫນ້ອຍ. [3]

  • ຫຸ່ນຍົນຫຼືການວິເຄາະກ້ອງຖ່າຍຮູບ? ops ທີ່ເປັນມິດກັບ GPU ຂອງ Jetson ປະຫຍັດເວລາ.

  • ທ່າທາງຄວາມເປັນສ່ວນຕົວທີ່ເຄັ່ງຄັດ? ຮັກສາຂໍ້ມູນຢູ່ໃນທ້ອງຖິ່ນ, ເຂົ້າລະຫັດທີ່ພັກຜ່ອນ, ບັນທຶກການລວບລວມບໍ່ແມ່ນກອບດິບ.

  • ທີມງານນ້ອຍໆ? ຫຼີກເວັ້ນການ toolchains exotic-ເຈາະແມ່ນງາມ.

  • ຕົວແບບຈະປ່ຽນແປງເລື້ອຍໆບໍ? ວາງແຜນ OTA ແລະ telemetry ຈາກມື້ຫນຶ່ງ.

ຄວາມສ່ຽງ, ຂີດຈຳກັດ, ແລະຂໍ້ບົກຜ່ອງທີ່ໜ້າເບື່ອ, ແຕ່ສຳຄັນ🧯

  • ການລອຍຕົວແບບ - ການປ່ຽນແປງສະພາບແວດລ້ອມ; ຕິດ​ຕາມ​ກວດ​ກາ​ການ​ແຜ່​ກະ​ຈາຍ​, ດໍາ​ເນີນ​ການ​ຮູບ​ແບບ​ເງົາ​, ຝຶກ​ຄືນ​ແຕ່​ລະ​ໄລ​ຍະ​.

  • ເພດານຄອມພີວເຕີ - ໜ່ວຍຄວາມຈຳທີ່ແໜ້ນໜາ/ກຳລັງແຮງແບບຈຳລອງຂະໜາດນ້ອຍ ຫຼື ຄວາມຖືກຕ້ອງທີ່ຜ່ອນຄາຍ.

  • ຄວາມປອດໄພ - ສົມມຸດວ່າການເຂົ້າເຖິງທາງດ້ານຮ່າງກາຍ; ໃຊ້ການໃສ່ເກີບທີ່ປອດໄພ, ເຊັນຊື່ປອມ, ການຢັ້ງຢືນ, ບໍລິການທີ່ມີສິດທິພິເສດໜ້ອຍທີ່ສຸດ.

  • ການຄຸ້ມຄອງຂໍ້ມູນ - ການປະມວນຜົນໃນທ້ອງຖິ່ນຊ່ວຍ, ແຕ່ທ່ານຍັງຕ້ອງການຄວາມຍິນຍອມ, ການຮັກສາໄວ້, ແລະ telemetry ທີ່ມີຂອບເຂດ.

  • Fleet ops - ອຸປະກອນໄປອອຟໄລໃນເວລາທີ່ຮ້າຍແຮງທີ່ສຸດ; ອອກແບບການອັບເດດທີ່ເລື່ອນເວລາແລະການອັບໂຫລດຄືນ.

  • ພອນສະຫວັນປະສົມ - ຝັງ + ML + DevOps ເປັນລູກເຮືອ motley; ລົດໄຟຂ້າມໄວ.

ແຜນທີ່ເສັ້ນທາງປະຕິບັດເພື່ອສົ່ງສິ່ງທີ່ມີປະໂຫຍດ 🗺️

  1. ເລືອກກໍລະນີທີ່ໃຊ້ໄດ້ອັນໜຶ່ງ ທີ່ມີການກວດຫາຂໍ້ບົກພ່ອງທີ່ວັດແທກໄດ້ຢູ່ແຖວທີ 3, ປຸກຄຳສັບໃນລຳໂພງອັດສະລິຍະ, ແລະອື່ນໆ.

  2. ເກັບກໍາຊຸດຂໍ້ມູນກະທັດຮັດ ທີ່ສະທ້ອນສະພາບແວດລ້ອມເປົ້າຫມາຍ; ໃສ່ສິ່ງລົບກວນເພື່ອໃຫ້ກົງກັບຄວາມເປັນຈິງ.

  3. ຕົ້ນແບບໃນຊຸດ dev ໃກ້ກັບຮາດແວການຜະລິດ.

  4. ບີບອັດຕົວແບບ ດ້ວຍ quantization / pruning; ວັດແທກການສູນເສຍຄວາມຖືກຕ້ອງຢ່າງຊື່ສັດ. [3]

  5. Wrap inference in a clean API with backpressure and watchdogs-ເນື່ອງຈາກວ່າອຸປະກອນວາງສາຍຢູ່ 2 am

  6. ການອອກແບບ telemetry ທີ່ເຄົາລົບຄວາມເປັນສ່ວນຕົວ: ສົ່ງການນັບ, histograms, ຄຸນນະສົມບັດສະກັດຂອບ.

  7. ຄວາມ​ປອດ​ໄພ​ແຂງ : binary ເຊັນ​, boot ທີ່​ປອດ​ໄພ​, ການ​ບໍ​ລິ​ການ​ຫນ້ອຍ​ທີ່​ເປີດ​.

  8. ແຜນ OTA : rollouts staggered, canaries, rollback ທັນ.

  9. ນັກບິນໃນກໍລະນີມຸມທີ່ແປກປະຫຼາດ ກ່ອນ - ຖ້າມັນລອດຢູ່ທີ່ນັ້ນ, ມັນຈະຢູ່ລອດທຸກບ່ອນ.

  10. ປັບຂະໜາດດ້ວຍປຶ້ມຫຼິ້ນ : ເຈົ້າຈະເພີ່ມແບບຈໍາລອງແນວໃດ, ໝຸນກະແຈ, ຈັດເກັບຂໍ້ມູນ - ດັ່ງນັ້ນໂຄງການ #2 ບໍ່ແມ່ນຄວາມວຸ່ນວາຍ.

FAQs - ຄໍາຕອບສັ້ນໆຂອງ Edge AI curiosities ແມ່ນຫຍັງ ❓

Edge AI ພຽງແຕ່ແລ່ນຮູບແບບຂະຫນາດນ້ອຍໃນຄອມພິວເຕີຂະຫນາດນ້ອຍບໍ?
ສ່ວນຫຼາຍແລ້ວ, ແມ່ນແລ້ວ, ແຕ່ຂະຫນາດບໍ່ແມ່ນເລື່ອງທັງຫມົດ. ມັນຍັງກ່ຽວກັບງົບປະມານ latency, ຄໍາຫມັ້ນສັນຍາຄວາມເປັນສ່ວນຕົວ, ແລະ orchestrating ອຸປະກອນຈໍານວນຫຼາຍປະຕິບັດໃນທ້ອງຖິ່ນແຕ່ການຮຽນຮູ້ທົ່ວໂລກ. [1]

ຂ້ອຍສາມາດຝຶກຢູ່ແຄມໄດ້ບໍ?
ມີການຝຶກອົບຮົມ/ການປັບແຕ່ງສ່ວນຕົວໃນອຸປະກອນທີ່ມີນ້ຳໜັກເບົາ; ການ​ຝຶກ​ອົບ​ຮົມ​ທີ່​ຫນັກ​ກວ່າ​ຍັງ​ດໍາ​ເນີນ​ການ​ສູນ​ກາງ​. ONNX Runtime ເອກະສານທາງເລືອກການຝຶກອົບຮົມໃນອຸປະກອນຖ້າຫາກວ່າທ່ານກໍາລັງຜະຈົນໄພ. [4]

Edge AI vs fog computing ແມ່ນຫຍັງ?
ໝອກ ແລະ ຂອບແມ່ນພີ່ນ້ອງ. ທັງສອງນໍາເອົາຄອມພິວເຕີ້ເຂົ້າໃກ້ແຫຼ່ງຂໍ້ມູນ, ບາງຄັ້ງຜ່ານປະຕູໃກ້ຄຽງ. ສໍາລັບຄໍານິຍາມແລະສະພາບການທີ່ເປັນທາງການ, ເບິ່ງ NIST. [2]

Edge AI ປັບປຸງຄວາມເປັນສ່ວນຕົວສະເໝີບໍ?
ມັນຊ່ວຍ - ແຕ່ມັນບໍ່ແມ່ນ magic. ທ່ານຍັງຕ້ອງການການຫຼຸດຫນ້ອຍລົງ, ເສັ້ນທາງການປັບປຸງທີ່ປອດໄພ, ແລະບັນທຶກຢ່າງລະມັດລະວັງ. ຮັກສາຄວາມເປັນສ່ວນຕົວເປັນນິໄສ, ບໍ່ແມ່ນ checkbox.

ການຂຸດຂຸມເລິກທີ່ເຈົ້າອາດຈະອ່ານຕົວຈິງ📚

1) ການເພີ່ມປະສິດທິພາບແບບຈໍາລອງທີ່ບໍ່ທໍາລາຍຄວາມຖືກຕ້ອງ

Quantization ສາມາດ slash ຄວາມຈໍາແລະເລັ່ງ ops, ແຕ່ calibrate ກັບຂໍ້ມູນຕົວແທນຫຼືຕົວແບບອາດຈະ hallucinate ກະຮອກບ່ອນທີ່ມີ cones ການຈະລາຈອນ. ຄູກັ່ນ - ຄູແນະນໍານັກຮຽນນ້ອຍ - ມັກຈະຮັກສາຄວາມຫມາຍ. [3]

2) Edge runtimes inference ໃນພາກປະຕິບັດ

ນາຍພາສາຂອງ LiteRT ແມ່ນເຈດຕະນາຄວາມຈຳຄົງທີ່ໜ້ອຍລົງໃນເວລາແລ່ນ. ONNX Runtime ສຽບໃສ່ເຄື່ອງເລັ່ງທີ່ແຕກຕ່າງກັນຜ່ານຜູ້ໃຫ້ບໍລິການປະຕິບັດ. ທັງບໍ່ແມ່ນລູກປືນເງິນ; ທັງສອງແມ່ນຄ້ອນແຂງ. [3][4]

3) ຄວາມທົນທານໃນທໍາມະຊາດ

ຄວາມຮ້ອນ, ຂີ້ຝຸ່ນ, ພະລັງງານບໍ່ແຕກ, slapdash Wi-Fi: ສ້າງຕົວເຝົ້າລະວັງທີ່ປິດທໍ່ຄືນໃໝ່, ການຕັດສິນໃຈຂອງແຄດ, ແລະຄືນດີເມື່ອເຄືອຂ່າຍກັບຄືນມາ. glamorous ຫນ້ອຍກ່ວາຄວາມສົນໃຈຫົວຫນ້າ - ມີຄວາມສໍາຄັນຫຼາຍ.

ປະໂຫຍກທີ່ເຈົ້າຈະເວົ້າຊ້ຳໃນກອງປະຊຸມ - 🗣️ ແມ່ນຫຍັງ

Edge AI ຍ້າຍຄວາມສະຫຼາດເຂົ້າໃກ້ຂໍ້ມູນເພື່ອຕອບສະໜອງຂໍ້ຈຳກັດທາງປະຕິບັດຂອງຄວາມແຝງ, ຄວາມເປັນສ່ວນຕົວ, ແບນວິດ ແລະ ຄວາມໜ້າເຊື່ອຖື. ມະຫັດສະຈັນບໍ່ແມ່ນຊິບດຽວຫຼືກອບ - ມັນເລືອກຢ່າງສະຫລາດວ່າຈະຄິດໄລ່ບ່ອນໃດ.

ຂໍ້ສັງເກດສຸດທ້າຍ - ດົນເກີນໄປ, ຂ້ອຍບໍ່ໄດ້ອ່ານມັນ 🧵

Edge AI ແລ່ນແບບຈໍາລອງຢູ່ໃກ້ກັບຂໍ້ມູນເພື່ອໃຫ້ຜະລິດຕະພັນມີຄວາມຮູ້ສຶກໄວ, ເປັນສ່ວນຕົວ, ແລະທົນທານ. ທ່ານຈະຜະສົມຜະສານ inference ທ້ອງຖິ່ນກັບການຄວບຄຸມຟັງສໍາລັບທີ່ດີທີ່ສຸດຂອງທັງສອງໂລກ. ເລືອກເວລາແລ່ນທີ່ກົງກັບອຸປະກອນຂອງທ່ານ, ອີງໃສ່ເຄື່ອງເລັ່ງເວລາທີ່ເຈົ້າສາມາດ, ຮັກສາຕົວແບບຢ່າງກະທັດຮັດດ້ວຍການບີບອັດ, ແລະການອອກແບບການເຮັດວຽກຂອງເຮືອເຊັ່ນ: ວຽກຂອງເຈົ້າແມ່ນຂຶ້ນກັບມັນ - ເພາະວ່າ, ມັນອາດຈະ. ຖ້າມີຄົນຖາມວ່າ Edge AI ແມ່ນຫຍັງ , ໃຫ້ເວົ້າວ່າ: ການຕັດສິນໃຈທີ່ສະຫຼາດ, ເຮັດຢູ່ໃນທ້ອງຖິ່ນ, ຕາມເວລາ. ຫຼັງຈາກນັ້ນ, ຍິ້ມແລະປ່ຽນຫົວຂໍ້ເປັນຫມໍ້ໄຟ. 🔋🙂

ເອກະສານອ້າງອີງ

  1. IBM - Edge AI ແມ່ນຫຍັງ? (ຄໍານິຍາມ, ຜົນປະໂຫຍດ).
    https://www.ibm.com/think/topics/edge-ai

  2. NIST - SP 500-325: Fog Computing Conceptual Model (ສະພາບທີ່ເປັນທາງການສຳລັບໝອກ/ຂອບ).
    https://csrc.nist.gov/pubs/sp/500/325/final

  3. Google AI Edge - LiteRT (ເມື່ອກ່ອນເອີ້ນວ່າ TensorFlow Lite) (runtime, quantization, migration).
    https://ai.google.dev/edge/litert

  4. ONNX Runtime - On-Device Training (ເວລາແລ່ນແບບພົກພາ + ການຝຶກອົບຮົມໃນອຸປະກອນຂອບ).
    https://onnxruntime.ai/docs/get-started/training-on-device.html

  5. ການຄົ້ນຄວ້າການຮຽນຮູ້ເຄື່ອງຈັກຂອງ Apple - ການນຳໃຊ້ເຄື່ອງຫັນປ່ຽນໃນ Apple Neural Engine (ບັນທຶກປະສິດທິພາບ ANE).
    https://machinelearning.apple.com/research/neural-engine-transformers

ຊອກຫາ AI ລ່າສຸດໄດ້ທີ່ຮ້ານ AI Assistant ຢ່າງເປັນທາງການ

ກ່ຽວກັບພວກເຮົາ

ກັບໄປທີ່ບລັອກ