CLM-8B ຫາກໍ່ເປີດຕົວ: ຮູບແບບ AI ເປີດໃໝ່ທີ່ອ້າງວ່າໄວກວ່າ Jev ສຳລັບຕົວແທນເຖິງ 9 ເທົ່າ

ຄຳຕອບສັ້ນໆ: CLM-8B ເປັນ ຮູບແບບພາສາກົງກັນຂ້າມແບບ ທີ່ແນໃສ່ການຕັດສິນໃຈຂອງຕົວແທນຢ່າງວ່ອງໄວ, ໂດຍຜູ້ຂຽນອ້າງວ່າມີຄວາມໜ่วงເວລາຕ່ຳກວ່າເພື່ອນຮ່ວມງານລະດັບ Jev ເຖິງປະມານ 9 ເທົ່າ. ຕົວເລກເຫຼົ່ານັ້ນຍັງບໍ່ທັນໄດ້ຮັບການຢືນຢັນນອກເໜືອຈາກການຕັ້ງຄ່າການປ່ອຍ. ຖ້າທ່ານສ້າງຕົວແທນລະຫັດ, ໃຫ້ A/B ມັນໃນສາຍຮັດຂອງທ່ານເອງກ່ອນທີ່ຈະໄວ້ວາງໃຈໃນຕາຕະລາງ.

ບົດຮຽນຫຼັກ:

ການຮຽກຮ້ອງຄວາມໜ่วงເວລາ: ປະຕິບັດຕໍ່ການເລັ່ງຄວາມໄວ ~9× Jev ຄືກັບທີ່ຜູ້ຂຽນລາຍງານຈົນກວ່າຄົນອື່ນຈະນຳມັນມາໃຊ້ຄືນ.

ສາຍຮັດປະເມີນຜົນ: ຖືເຄື່ອງມື ແລະ ການກະຕຸ້ນເຕືອນໄວ້ຕະຫຼອດເວລາເມື່ອທົດສອບ A/B CLM-8B.

Hybrid stack: ໃຊ້ CLM ສຳລັບ hot loops; ຮັກສາ reasoner ທີ່ຊ້າກວ່າສຳລັບໜ້າວຽກໃໝ່ໆ.

ນ້ຳໜັກເປີດ: ຢືນຢັນໄຟລ໌ໃບອະນຸຍາດ Apache ກ່ອນການຂົນສົ່ງສ້ອມທາງການຄ້າ.

ຄວາມສ່ຽງໃນການນຳໃຊ້ໃນທາງທີ່ຜິດ: ປະຕູເຄື່ອງມື ແລະ ຄວາມລັບທີ່ສາມາດປ່ຽນແປງໄດ້ເມື່ອຕົວແທນຕັດສິນໃຈພາຍໃນມິນລິວິນາທີ.

ສິ່ງທີ່ CLM-8B ກຳລັງພະຍາຍາມເປັນ ⚡

ການຝຶກອົບຮົມຮູບແບບພາສາທີ່ກົງກັນຂ້າມ, ຕາມທີ່ໄດ້ອະທິບາຍໂດຍຜູ້ຄົນທີ່ສົ່ງເສີມການຫຼຸດລົງນີ້, ແມ່ນກ່ຽວກັບການເຊື່ອມຕໍ່ສະຖານະ ແລະ ການກະທຳຕ່າງໆ ແທນທີ່ຈະເພີ່ມຄວາມເປັນໄປໄດ້ຂອງສັນຍາລັກຕໍ່ໄປໃຫ້ສູງສຸດໂດຍໂດດດ່ຽວ. ໃນແງ່ມຸມທີ່ຈະແຈ້ງ: ຮູບແບບດັ່ງກ່າວຖືກກະຕຸ້ນໃຫ້ວາງແຜນ "ນີ້ແມ່ນສະຖານະການ" ໄປຫາ "ນີ້ແມ່ນການເຄື່ອນໄຫວ," ຄ້າຍຄືກັບຫົວໜ້ານະໂຍບາຍຫຼາຍກວ່ານັກຂຽນນິຍາຍ. ນັ້ນແມ່ນການປຽບທຽບລະບົບ 1 ທີ່ນັກຄົ້ນຄວ້າສືບຕໍ່ເອື້ອມເຖິງ - ໄວ, ເຊື່ອມໂຍງ, ມີຮູບແບບການຕັດສິນໃຈ - ກົງກັນຂ້າມກັບລັກສະນະຂອງລະບົບ 2 ຂອງລະບົບຕ່ອງໂສ້ຄວາມຄິດທີ່ຍາວນານທີ່ເຜົາໄໝ້ສັນຍາລັກໃນຂະນະທີ່ມັນຄິດອອກມາດັງໆ.

CLM-8B ເປັນນ້ຳໜັກສາທາລະນະທຳອິດທີ່ກຳນົດໄວ້ໃນບັນທັດນັ້ນ. ມັນຖືກວາງໄວ້ເປັນການປ່ອຍການຄົ້ນຄວ້າແບບເປີດດ້ວຍ ໃບອະນຸຍາດ Apache 2.0 ໃນການຄຸ້ມຄອງທີ່ມາພ້ອມກັບການຫຼຸດລົງ, ເຊິ່ງມີຄວາມສຳຄັນຖ້າທ່ານຕ້ອງການປັບແຕ່ງ, ສົ່ງ, ຫຼືແຍກອອກໂດຍບໍ່ມີການໄປກິນເຂົ້າປ່າກັບທະນາຍຄວາມ. Jacky Kwok ໄດ້ແນະນຳ ວຽກງານ; Azalia Mirhoseini, ຜູ້ທີ່ກ່ຽວຂ້ອງກັບ Stanford, ໄດ້ຂະຫຍາຍມັນ; ແລະຂອບທີ່ກວ້າງຂວາງສະແດງໃຫ້ເຫັນຄວາມພະຍາຍາມຂອງ Stanford ແລະ NVIDIA. ນັກຄົ້ນຄວ້າທີ່ມີຊື່, ນ້ຳໜັກສາທາລະນະ, ລະຫັດເປີດ - ບໍ່ແມ່ນການຮົ່ວໄຫຼທີ່ບໍ່ລະບຸຊື່. ຍັງໄວສຳລັບການສຳເນົາຂອງພາກສ່ວນທີສາມ, ສະນັ້ນໃຫ້ຮັກສາຄວາມສົງໄສໄວ້ບ່ອນໃດບ່ອນໜຶ່ງລະຫວ່າງ "ໜ້າສົນໃຈ" ແລະ "ສະແດງໃຫ້ຂ້ອຍເຫັນຄະນະກຳມະການເອກະລາດ."

ຂະໜາດຂອງຄລາສແມ່ນແປດພັນລ້ານພາລາມິເຕີ, ເຊິ່ງນ້ອຍພໍທີ່ຫ້ອງທົດລອງ ແລະ ຜູ້ກໍ່ສ້າງອິນດີ້ສາມາດໂຮດມັນໄດ້ໂດຍບໍ່ຕ້ອງຂາຍໝາກໄຂ່ຫຼັງເປັນເວລາ H100. ມີການເວົ້າກ່ຽວກັບ CLM-35B ລຸ້ນຕໍ່ທີ່ໃຫຍ່ກວ່າແລ້ວ. ບໍ່ວ່າລຸ້ນອ້າຍທີ່ໃຫຍ່ກວ່ານັ້ນຈະຮັກສາເລື່ອງຄວາມຊັກຊ້າ ຫຼື ແລກປ່ຽນຄວາມໄວເພື່ອຄວາມເລິກຍັງບໍ່ທັນໄດ້ຮັບການແກ້ໄຂ, ແຕ່ສັນຍານແຜນທີ່ຈະແຈ້ງແມ່ນ: ນີ້ແມ່ນມີຈຸດປະສົງເພື່ອເປັນຄອບຄົວ, ບໍ່ແມ່ນບັດສາທິດຄັ້ງດຽວ.

•  ຈຸດສຸມ: ສະຖານະ → ວົງວຽນການກະທຳສຳລັບຕົວແທນ, ບໍ່ແມ່ນການຂຽນບົດຂຽນ
•  ໃບອະນຸຍາດຖືກກຳນົດເປັນ Apache 2.0 ໃນການຄຸ້ມຄອງຮອບການປ່ອຍ
•  ແບບ: ລະບົບ 1 / ເລື່ອງການຝຶກອົບຮົມທີ່ເນັ້ນການຕັດສິນໃຈ
•  ຕິດຕາມ: CLM-35B ຂະໜາດໃຫຍ່ກວ່າຖືກກ່າວເຖິງເປັນແຜນການ

ແບບລະບົບທີ 1 ທຽບກັບເຄື່ອງແລ່ນໂທເຄັນທຳມະດາ 

ຫຼັກສູດ LLM ສ່ວນໃຫຍ່ທີ່ທ່ານຮູ້ຈັກຈະສ້າງຂໍ້ຄວາມຄັ້ງລະໜຶ່ງໂທເຄັນ. ມັນເຮັດວຽກໄດ້ດີຫຼາຍສຳລັບການຂຽນແບບ prose, ການຖິ້ມລະຫັດ, ແລະ ການຕິດຕາມເຫດຜົນທີ່ລະມັດລະວັງ. ມັນຍັງເປັນເຫດຜົນທີ່ຕົວແທນທີ່ຕ້ອງການການຕັດສິນໃຈຂະໜາດນ້ອຍຊາວຄັ້ງຕໍ່ນາທີສາມາດຮູ້ສຶກຊ້າລົງເຖິງແມ່ນວ່າຮູບແບບຈະ "ສະຫຼາດ". ທຸກໆບາດກ້າວຈ່າຍພາສີອັດຕະໂນມັດ.

ຮູບແບບພາສາທີ່ກົງກັນຂ້າມຈະເນັ້ນໜັກຂຶ້ນ. ແທນທີ່ຈະຂໍໃຫ້ເຄືອຂ່າຍບັນຍາຍວິທີການຂອງມັນໄປສູ່ຄຳຕອບ, ເຈົ້າຝຶກມັນໃຫ້ມັກການກະທຳທີ່ຖືກຕ້ອງຕາມສະຖານະ - ຄິດເຖິງການດຶງທີ່ກົງກັນຂ້າມລະຫວ່າງການເຄື່ອນໄຫວທີ່ດີ ແລະ ບໍ່ດີ, ບໍ່ພຽງແຕ່ການສືບຕໍ່ທີ່ຄ່ອງແຄ້ວເທົ່ານັ້ນ. ຜູ້ສ້າງຮູ້ຮູບແບບແລ້ວ: ບາງຄັ້ງເຈົ້າບໍ່ຕ້ອງການເຫດຜົນພັນຄຳ; ເຈົ້າຕ້ອງການໃຫ້ຮູບແບບພິມ pytest ແທນທີ່ຈະ rm -rf. ການວົນຊ້ຳໄວເອົາໃຈໃສ່ກັບຄວາມແຕກຕ່າງນັ້ນ.

ບໍ່ມີອັນໃດໃນນີ້ໝາຍຄວາມວ່າ CLM-8B ບໍ່ສາມາດສົ່ງຂໍ້ຄວາມໄດ້. ມັນໝາຍຄວາມວ່າຈຸດປະສົງການຝຶກອົບຮົມ ແລະ ເລື່ອງການປະເມີນຜົນແມ່ນມີແນວໂນ້ມໄປສູ່ການຄວບຄຸມແບບຕົວແທນ. ນັ້ນແມ່ນຮູບຮ່າງຜະລິດຕະພັນທີ່ແຕກຕ່າງຈາກ "ຮູບແບບການສົນທະນາທີ່ສາມາດເອີ້ນໃຊ້ເຄື່ອງມືໄດ້." ອຸດສາຫະກຳໄດ້ໃຊ້ເວລາຫຼາຍປີເພື່ອເຮັດໃຫ້ຮູບແບບດີຂຶ້ນໃນການເວົ້າກ່ຽວກັບເຄື່ອງມືໃນຂະນະທີ່ຍັງມີຂໍ້ຈຳກັດໃນການເວົ້າ. ຮູບແບບການຕັດສິນໃຈກ່ອນແມ່ນການເຄື່ອນໄຫວແບບຂ້າງໆທີ່ເບິ່ງຄືວ່າຈະແຈ້ງໃນພາຍຫຼັງ ຫຼື ລົ້ມເຫຼວເມື່ອມາດຕະຖານສັບສົນ. ຜົນໄດ້ຮັບທັງສອງແມ່ນເປັນໄປໄດ້.

ໝາຍເລກຄວາມໄວ ແລະ ໝາຍເລກມາດຕະຖານທີ່ຮຽກຮ້ອງ (ຖືວ່າເປັນການຮຽກຮ້ອງ)

ນີ້ແມ່ນສ່ວນທີ່ຂັບເຄື່ອນໂພສທາງສັງຄົມ: ຜູ້ສົ່ງເສີມອ້າງວ່າ ການອະນຸມານໄວກວ່າຮູບແບບ Jev-class ເຖິງປະມານ 9 ເທົ່າ. ຫຼັງຈາກການປັບແຕ່ງເບົາບາງ, ພວກເຂົາຍັງລາຍງານຜົນໄດ້ຮັບການຂຽນລະຫັດຕົວແທນທີ່ເຂັ້ມແຂງ - DeepSWE ປະມານ 81.6% ປະສົບຜົນສຳເລັດ ແລະ Terminal-Bench 2.1 ປະມານ 87.6%. ໃນການປະເມີນຜົນບາງຢ່າງ ພວກເຂົາອະທິບາຍປະສິດທິພາບ zero-shot ວ່າທຽບເທົ່າກັບ Jev ໃນຂະນະທີ່ຄວາມໜ่วงເວລາຍັງຄົງຕ່ຳກວ່າຫຼາຍ. ບົດສະຫຼຸບກຸ່ມໜຶ່ງທີ່ລອຍຢູ່ກັບການສົນທະນາກ່ຽວກັບການປ່ອຍອອກມາໄດ້ອ້າງເຖິງເວລາຕອບສະໜອງປະມານ 32 ms-class ໃນການຕັ້ງຄ່າ terminal bench. ປະໂຫຍກທີ່ວ່າຢ່າງລະມັດລະວັງ: ລາຍງານ ແລະ ອ້າງສິດ, ບໍ່ໄດ້ຖືກກວດສອບຢ່າງເປັນອິດສະຫຼະໃນບົດຄວາມນີ້.

ຖ້າຕົວເລກຄວາມຊັກຊ້າເຫຼົ່ານັ້ນເປັນເລື່ອງທົ່ວໄປ, ຜົນໄດ້ປຽບໃນທາງປະຕິບັດແມ່ນ GPU ໜ້ອຍລົງຕໍ່ຕົວແທນທີ່ໃຊ້ພ້ອມກັນ, ຫຼື ຕົວແທນຫຼາຍຂຶ້ນຕໍ່ GPU. ຕົວແທນລະຫັດທີ່ທຳລາຍ shell ແມ່ນມີຄວາມອ່ອນໄຫວໂດຍສະເພາະເພາະວ່າການລໍຖ້າແບບໂມງ; ການຕັດສິນໃຈ 200 ms ແລະ ການຕັດສິນໃຈ 30 ms ຮູ້ສຶກຄືກັບຜະລິດຕະພັນທີ່ແຕກຕ່າງກັນຫຼັງຈາກສອງສາມຮ້ອຍຮອບ. ຜູ້ໃຊ້ມັກຈະຕຳນິ "ຮູບແບບທີ່ໂງ່" ເມື່ອຄວາມເຈັບປວດທີ່ຮຸນແຮງກວ່າແມ່ນຄວາມຊັກຊ້າຂອງການໂຕ້ຕອບ.

ເຖິງຢ່າງໃດກໍ່ຕາມ - ແລະນີ້ແມ່ນວັກຊີ້ນຳຂອງຜູ້ໃຫຍ່ - ຕາຕະລາງຜູ້ຂຽນກຳລັງຕະຫຼາດຈົນກວ່າຈະມີຄົນອື່ນຜະລິດຄືນພວກມັນໃນຮາດແວທີ່ໃຊ້ຮ່ວມກັນດ້ວຍການກະຕຸ້ນຮ່ວມກັນ. ຜົນໄດ້ຮັບການປັບແຕ່ງທີ່ລະອຽດອ່ອນຍັງສາມາດເຊື່ອງໂຄງສ້າງຫຼາຍຢ່າງໄດ້. ຕົວເລກ DeepSWE ແລະ Terminal-Bench ທີ່ເຂັ້ມແຂງແມ່ນໜ້າຕື່ນເຕັ້ນຢ່າງແນ່ນອນເພາະວ່າຊຸດເຫຼົ່ານັ້ນລົງໂທດຕົວແທນທີ່ແຕກຫັກງ່າຍ, ແຕ່ຄວາມຕື່ນເຕັ້ນບໍ່ແມ່ນການສຳເນົາ. ໃຫ້ຈົດບັນທຶກທີ່ຂຽນວ່າ CLAIM ໃນຕົວເລກ 9× ແລະໃນຕົວເລກ 32 ms-class ນັ້ນ. 

ຕາຕະລາງປຽບທຽບ: LLM ແບບໂທເຄັນຕໍ່ໂທເຄັນ ທຽບກັບ ການວາງກອບແບບ CLM

ຕາຕະລາງຊ່ວຍໄດ້ເມື່ອພາສາການຕະຫຼາດມີຂໍ້ບົກຜ່ອງ. ຕາຕະລາງນີ້ປຽບທຽບນິໄສການສ້າງ LLM ທົ່ວໄປກັບເລື່ອງແບບຈຳລອງພາສາທີ່ກົງກັນຂ້າມຕາມທີ່ນັກຄົ້ນຄວ້າອະທິບາຍ. ຈຸລັງຕ່າງໆມີຈຸດປະສົງບໍ່ສະໝໍ່າສະເໝີ ເພາະວ່າການປຽບທຽບທີ່ເປັນຮູບປະທຳແມ່ນສະເໝີໄປ.

ໃຊ້ຕາຕະລາງເປັນແບບຢ່າງທາງຈິດໃຈ, ບໍ່ແມ່ນຄຳຕັດສິນ. ທີມງານຜະລິດຕະພັນຍັງຈຳເປັນຕ້ອງວັດແທກຄວາມສາມາດຂອງຕົນເອງ: ແຜນວາດເຄື່ອງມື, ນະໂຍບາຍການລອງໃໝ່, ແລະ ສຽງລົບກວນຈາກສະພາບແວດລ້ອມຈະເພີ່ມຄະແນນຫຼາຍກວ່າທີ່ຊຸດສະໄລ້ຍອມຮັບ.

ໃຜຢູ່ເບື້ອງຫຼັງສຽງດັງ👤

ການລະບຸຕົວຕົນມີຄວາມສຳຄັນເພາະວ່າການປ່ອຍ AI ແບບເປີດມີຕັ້ງແຕ່ການປ່ອຍອອກມາຈາກຫ້ອງທົດລອງຢ່າງລະມັດລະວັງຈົນເຖິງ torrent ທີ່ລຶກລັບ. ອັນນີ້ມີໃບໜ້າ. Jacky Kwok ໄດ້ນຳສະເໜີ CLM; Azalia Mirhoseini ໄດ້ຊ່ວຍຊຸກຍູ້ມັນໄປສູ່ມຸມມອງທີ່ກວ້າງຂວາງ; ການລາຍງານຂ່າວໄດ້ສະແດງໃຫ້ເຫັນເຖິງການຮ່ວມມືດ້ານການຄົ້ນຄວ້າທີ່ເຊື່ອມໂຍງກັບ Stanford ແລະ NVIDIA ຢ່າງສະໝ່ຳສະເໝີ. ນັ້ນບໍ່ໄດ້ເຮັດໃຫ້ຕົວເລກທຸກຕົວເປັນຄວາມຈິງຢ່າງມະຫັດສະຈັນ, ແຕ່ມັນເຮັດໃຫ້ຊື່ສຽງຂອງເກມມີຊື່ສຽງ. ການປ່ອຍອອກມາແບບເປີດຂອງນັກຄົ້ນຄວ້າທີ່ມີຊື່ມັກຈະໄດ້ຮັບການທົດສອບຄວາມຕຶງຄຽດໄວກວ່າການຖິ້ມຂໍ້ມູນທີ່ບໍ່ລະບຸຊື່ - ເພື່ອນຮ່ວມງານມັກເປົ້າໝາຍສາທາລະນະ.

ສຳລັບຜູ້ສ້າງ, ຄວາມໝາຍທີ່ເປັນປະໂຫຍດແມ່ນການເຂົ້າເຖິງ. ນ້ຳໜັກເປີດບວກກັບໃບອະນຸຍາດແບບ Apache 2.0 (ຕາມທີ່ໄດ້ກວມເອົາຮອບການເປີດຕົວ) ໂດຍປົກກະຕິແລ້ວໝາຍຄວາມວ່າທ່ານສາມາດທົດລອງທາງການຄ້າດ້ວຍ gotchas ໜ້ອຍກວ່າໃບອະນຸຍາດການຄົ້ນຄວ້າເທົ່ານັ້ນ. ກວດສອບໄຟລ໌ໃບອະນຸຍາດຕົວຈິງໃນລຸ້ນດ້ວຍຕົວທ່ານເອງກ່ອນທີ່ທ່ານຈະສົ່ງສິ່ງໃດກໍ່ຕາມ; ສະຫຼຸບການຄຸ້ມຄອງບໍ່ແມ່ນສັນຍາ. ນັ້ນອາດຟັງຄືວ່າເປັນເລື່ອງທຳມະດາ, ແຕ່ການໃຫ້ໃບອະນຸຍາດຊ່ວຍປະຢັດບໍລິສັດ startup ໄດ້.

ຮູບແບບການຂະຫຍາຍສັງຄົມແມ່ນຄຸ້ນເຄີຍ: ໂພສຂອງນັກຄົ້ນຄວ້າ, ໂພສຄຳເວົ້າຂອງເຄື່ອງຂະຫຍາຍທີ່ເຄົາລົບນັບຖື, ຈາກນັ້ນຄື້ນຂອງ "ຕົວແທນໄດ້ຮັບການແກ້ໄຂໃນທີ່ສຸດ" ເກີດຂຶ້ນ. ກັ່ນຕອງສຳລັບຜູ້ທີ່ແບ່ງປັນລາຍລະອຽດກ່ຽວກັບ harness. ພາບໜ້າຈໍຂອງການແລ່ນໂປຣແກຣມທີ່ປະສົບຜົນສຳເລັດຄັ້ງດຽວແມ່ນການສະແດງອາລົມ, ບໍ່ແມ່ນວິທະຍາສາດ. 🛰️

ເປັນຫຍັງ State-to-Action Loops ຈຶ່ງມີລະຫັດຕົວແທນຂອງຕົນເອງ 

ການຂຽນໂປຣແກຣມແບບ Agent ແມ່ນສະພາບແວດລ້ອມທີ່ໂຫດຮ້າຍ. ຮູບແບບເຫັນພາບຖ່າຍ repo, ບົດບັນທຶກ shell, ບາງທີອາດເປັນການທົດສອບທີ່ລົ້ມເຫຼວ, ແລະຕ້ອງເລືອກການແກ້ໄຂ ຫຼື ຄຳສັ່ງ. ຄວາມສຳເລັດແມ່ນແບບ binary ຫຼາຍກວ່າການສົນທະນາ. ບໍ່ວ່າຈະເປັນການທົດສອບຈະເປັນສີຂຽວ ຫຼື ມັນບໍ່ເປັນສີຂຽວ. ຮູບແບບລາງວັນນັ້ນສະໜັບສະໜູນນະໂຍບາຍທີ່ເລືອກການກະທຳທີ່ສະອາດກວ່າຮູບແບບທີ່ຂຽນບົດປະພັນຄວາມລົ້ມເຫຼວທີ່ສວຍງາມ.

ເລື່ອງລາວການຝຶກອົບຮົມທີ່ກົງກັນຂ້າມເໝາະສົມກັບໂລກນັ້ນ ເພາະວ່າພວກມັນຊຸກຍູ້ເຄືອຂ່າຍໄປສູ່ການກະທຳທີ່ຕ້ອງການພາຍໃຕ້ສະຖານະທີ່ກຳນົດໄວ້ຢ່າງຊັດເຈນ. ລອງຄິດເບິ່ງຄືກັບການສອນວິສະວະກອນລະດັບຕົ້ນ "ເມື່ອເຈົ້າເຫັນຫ້ອງຮຽນຄວາມຜິດພາດນີ້, ໃຫ້ຊອກຫາຮູບແບບການແກ້ໄຂນີ້" ແທນທີ່ຈະ "ຂຽນບົດຄວາມໃນບລັອກກ່ຽວກັບເຫດຜົນທີ່ໂປຣແກຣມຄອມໄພເລີຍາກ." ວິສະວະກອນລະດັບຕົ້ນຍັງຕ້ອງການການຕັດສິນ; ທາງລັດພຽງແຕ່ຫຼຸດຜ່ອນການລົບກວນ.

ມີການປະສົມຂອງຄວາມໜ่วงເວລາຢູ່ທີ່ນີ້. ສົມມຸດວ່າຕົວແທນໃຊ້ເຄື່ອງມືສະເລ່ຍແປດສິບຂັ້ນຕອນເພື່ອແກ້ໄຂຂໍ້ຜິດພາດຂະໜາດກາງ. ຫຼຸດເວລາລົງ 150 ms ຕໍ່ຂັ້ນຕອນ ແລະ ທ່ານຈະໄດ້ຮັບໂມງຄືນສິບສອງວິນາທີ - ເຊິ່ງເປັນຄວາມແຕກຕ່າງລະຫວ່າງສະຖານະກະແສ ແລະ ຜູ້ໃຊ້ກົດປຸ່ມ alt-tab ເພື່ອກວດສອບອີເມວ. ທີມງານທີ່ດຳເນີນງານກຸ່ມຕົວແທນຮູ້ສຶກວ່າຄະນິດສາດນັ້ນຢູ່ໃນໃບບິນຄ່າຄລາວເຊັ່ນກັນ. ການເລັ່ງການອະນຸມານຕາມລຳດັບຂະໜາດທີ່ອ້າງອິງທຽບກັບເພື່ອນຮ່ວມງານຊັ້ນ Jev, ເຖິງແມ່ນວ່າມັນຈະຕົກເປັນ "ພຽງແຕ່" 4 ເທົ່າໃນທຳມະຊາດ, ແຕ່ກໍ່ຍັງຈັດແຈງການວາງແຜນຄວາມອາດສາມາດຄືນໃໝ່.

ມີຄຳປຽບທຽບທີ່ບໍ່ໝັ້ນຄົງທີ່ຂ້ອຍໃຊ້ຢູ່ໃນກອງປະຊຸມຢູ່ເລື້ອຍໆ: ຮູບແບບການສົນທະນາແບບໂທເຄັນຕໍ່ໂທເຄັນແມ່ນຄືກັບການໂຕ້ວາທີກ່ຽວກັບເສັ້ນທາງຢູ່ທຸກໆຈຸດຕັດກັນ, ໃນຂະນະທີ່ຕົວຄວບຄຸມແບບ System 1 ແມ່ນຄ້າຍຄືກັບຄວາມຊົງຈຳຂອງກ້າມຊີ້ນສຳລັບການຂັບຂີ່ໃນເມືອງ. ຄວາມຊົງຈຳຂອງກ້າມຊີ້ນລົ້ມເຫຼວໃນເມືອງໃໝ່. ຮູບແບບການກະທຳທີ່ຖືກປັບແຕ່ງຢ່າງແຄບກໍ່ເຊັ່ນກັນເມື່ອວັດທະນະທຳ repo ມີລັກສະນະແປກປະຫຼາດ. ເຈົ້າຍັງຕ້ອງການຮູບແບບການພິຈາລະນາສຳລັບການເລືອກສະຖາປັດຕະຍະກຳແບບໃໝ່; ເຈົ້າຕ້ອງການການຕອບສະໜອງສຳລັບຄັ້ງທີຫ້າສິບ "ແກ້ໄຂການນຳເຂົ້າ ແລະ ການເຮັດວຽກຄືນໃໝ່." Hybrid stacks - ຕົວຄວບຄຸມຄ້າຍຄື CLM ທີ່ໄວບວກກັບຕົວມີເຫດຜົນທີ່ໜັກກວ່າໃນສາຂາແຂງ - ອາດຈະເປັນບ່ອນທີ່ລະບົບທີ່ຮ້າຍແຮງລົງຈອດ, ເຖິງແມ່ນວ່າໂພສເປີດຕົວຂາຍຮູບແບບ hero ດຽວ. 🚦

ຍັງຄຸ້ມຄ່າທີ່ຈະເວົ້າອອກມາດັງໆ: ໂປຣແກຣມລະຫັດຕົວແທນເຊັ່ນ DeepSWE ແລະ Terminal-Bench ໃຫ້ລາງວັນແກ່ scaffolding. ຄຸນນະພາບຂອງ harness, ລາຍຊື່ເຄື່ອງມືທີ່ອະນຸຍາດ, ແລະ ການກະຕຸ້ນການກູ້ຄືນສາມາດປ່ຽນແປງອັດຕາຄວາມສຳເລັດໄດ້ສອງຕົວເລກ. ເມື່ອທ່ານເຫັນ ~81.6% ຫຼື ~87.6% ຫຼັງຈາກການປັບແຕ່ງແສງ, ໃຫ້ຂຸດຄົ້ນສິ່ງທີ່ຫໍ່ຫຸ້ມໄວ້ອ້ອມຮອບນ້ຳໜັກ. ນັ້ນບໍ່ແມ່ນເງົາ; ມັນແມ່ນວິທີການເຮັດວຽກຂອງພາກສະໜາມ.

ນ້ຳໜັກເປີດ, ການປັບແຕ່ງລະອຽດ, ແລະ ເງົາ 35B 

ນ້ຳໜັກເປີດປ່ຽນແປງການເຄື່ອນໄຫວທາງສັງຄົມຂອງການຮຽກຮ້ອງ. ຮູບແບບ API ປິດສາມາດສະແດງຕາຕະລາງ ແລະ ເຮັດໃຫ້ທ່ານຄາດເດົາກ່ຽວກັບການປົນເປື້ອນ, ເຄັດລັບການຖອດລະຫັດ, ຫຼື ການກະຕຸ້ນລະບົບລັບ. ດ້ວຍພາລາມິເຕີທີ່ສາມາດດາວໂຫຼດໄດ້, ທ່ານຢ່າງໜ້ອຍກໍ່ສາມາດຄົ້ນຫາສິ່ງນັ້ນໄດ້. ການປັບແຕ່ງ CLM-8B ໃຫ້ລະອຽດສຳລັບສະພາບແວດລ້ອມການຂຽນລະຫັດພາຍໃນຂອງທ່ານ - ກົດລະບຽບ lint ຂອງທ່ານ, CLI ການນຳໃຊ້ຂອງທ່ານ, topology monorepo ຂອງທ່ານ - ແມ່ນເສັ້ນທາງທີ່ເປັນຈິງໄປສູ່ຕົວເລກ bench ທີ່ເງົາງາມ, ບໍ່ແມ່ນເວດມົນ zero-shot ໃນມື້ທຳອິດ.

ການວາງກອບ Apache 2.0 (ຕາມການຄຸ້ມຄອງ) ແມ່ນເປັນມິດກັບຜູ້ສ້າງ: ພາສາການໃຫ້ສິດທິບັດ, ມາດຕະຖານການແຈກຢາຍຄືນທີ່ຊັດເຈນ, ມີດັກ "ການຄົ້ນຄວ້າເທົ່ານັ້ນ" ໜ້ອຍລົງ. ອີກເທື່ອໜຶ່ງ: ອ່ານໄຟລ໌. ຜູ້ຂຽນການຄຸ້ມຄອງສະຫຼຸບ; ທະນາຍຄວາມມີຄວາມຊ່ຽວຊານ.

CLM-35B ທີ່ວາງແຜນໄວ້ແມ່ນສິ່ງສຳຄັນທີ່ສຸດໃນແຜນການ. ລຸ້ນໃຫຍ່ມັກຈະໄດ້ຮັບທັກສະໃນການພິຈາລະນາຄືນ ແລະ ສູນເສຍສະເໜ່ "ຂະໜາດນ້ອຍ ແລະ ໄວທີ່ສຸດ" ເວັ້ນເສຍແຕ່ວ່າການກັ່ນຕອງ ຫຼື ກົນອຸບາຍການຄາດເດົາຈະຄວບຄຸມຄວາມຊັກຊ້າໄດ້. ຖ້າລຸ້ນແປດພັນລ້ານແມ່ນລົດກິລາ ແລະ ສາມສິບຫ້າພັນລ້ານແມ່ນລົດເກັງທົວ, ທີມງານອາດຈະຮັກສາທັງສອງຢ່າງໄວ້: 8B ສຳລັບ hot loops, 35B ສຳລັບການວາງແຜນຢ່າງໜັກ. ຫຼື ລຸ້ນໃຫຍ່ກວ່າອາດຈະຄອບງຳຖ້າຮາດແວມີລາຄາຖືກລົງເລື້ອຍໆ. ອະນາຄົດໃດທີ່ຈະມາເຖິງຍັງບໍ່ທັນໄດ້ຮັບການແກ້ໄຂ; ບັນທຶກການປ່ອຍຂອງອະນາຄົດຈະຕັດສິນ, ບໍ່ແມ່ນວັກນີ້.

ຄວາມສ່ຽງທີ່ລະອຽດອ່ອນອັນໜຶ່ງກັບຮູບແບບຕົວແທນເປີດ: ຜູ້ຄົນຈະສົ່ງພວກມັນເຂົ້າໄປໃນ CI ໂດຍບໍ່ມີຂໍ້ຈຳກັດດ້ານອັດຕາ ແລະ ຄົ້ນພົບການສີດຢ່າງໄວວາຜ່ານ README ທີ່ເປັນອັນຕະລາຍ. ຮູບແບບໄວຂະຫຍາຍການໃຊ້ໃນທາງທີ່ຜິດໃນລັກສະນະດຽວກັນກັບທີ່ພວກມັນຂະຫຍາຍມູນຄ່າຕົວຈິງ. ຮົ້ວກັ້ນບໍ່ແມ່ນ cosplay ທາງເລືອກ; ພວກມັນແມ່ນຜະລິດຕະພັນ. 

• ປັບແຕ່ງຮ່ອງຮອຍຂອງທ່ານເອງກ່ອນທີ່ຈະຕັດສິນຄຸນນະພາບ
• ຮັກສາເຫດຜົນທີ່ຊ້າກວ່າເປັນຊ່ອງທາງຫຼົບໜີສຳລັບວຽກງານໃໝ່ໆ
• ຄວາມໜ່ວງຊ້າຂອງເຄື່ອງມື p50/p95 ໃນສາຍຮັດຂອງທ່ານ, ບໍ່ພຽງແຕ່ຄວາມແມ່ນຍຳເທົ່ານັ້ນ
• ສົມມຸດວ່າ 35B ຈະປ່ຽນຂອບເຂດ Pareto ອີກຄັ້ງ

ການອ່ານການປຽບທຽບ Jev ໂດຍບໍ່ຕ້ອງຕົກຫິມະ 

ການປຽບທຽບກັບຮູບແບບ Jev-class ກຳລັງເຮັດວຽກກ່ຽວກັບວາຈາ. ພວກເຂົາສ້າງເພື່ອນຮ່ວມງານໃນລະດັບຄວາມໄວຂອງຕົວແທນ ດັ່ງນັ້ນ "ໄວກວ່າເຖິງ 9 ເທົ່າ" ຈຶ່ງມີຕົວອ້າງອີງ. ການຮຽກຮ້ອງທີ່ກ່ຽວຂ້ອງຕ້ອງການຈຸດຍຶດ, ແລະນັ້ນແມ່ນສຽງທີ່ດີ. ອັນຕະລາຍແມ່ນການຍຸບກອງການປະເມີນຜົນທັງໝົດລົງໃນຕົວຄູນດຽວ. ຂະໜາດຂອງຊຸດ, ຄວາມແມ່ນຍຳ, ການຕັ້ງຄ່າການຖອດລະຫັດ, ຄວາມຍາວຂອງສະພາບການ, ແລະການຈັດລຳດັບການເອີ້ນເຄື່ອງມືທັງໝົດຈະປ່ຽນແປງຄວາມໝາຍຂອງ "ໄວກວ່າ", ແລະປຸ່ມເຫຼົ່ານັ້ນບໍ່ຄ່ອຍປາກົດຢູ່ໃນສະໄລ້ດຽວກັນ.

ເມື່ອບົດສະຫຼຸບກຸ່ມອ້າງອີງການຕອບສະໜອງ ~32 ms-class ໃນການຕັ້ງຄ່າ terminal bench, ໃຫ້ຖືວ່າ "ການຕອບສະໜອງ" ເປັນປ້າຍກຳກັບທີ່ບໍ່ຊັດເຈນຈົນກວ່າຈະມີຄົນສະກົດວ່າມັນໝາຍເຖິງໂທເຄັນທຳອິດ, JSON ການກະທຳເຕັມຮູບແບບ, ຫຼື ຄຳນຳໜ້າແຄດ. ຄວາມແຕກຕ່າງເຫຼົ່ານັ້ນປ່ຽນມິນລິວິນາທີການຕະຫຼາດໃຫ້ກາຍເປັນຊົ່ວໂມງວິສະວະກຳ. ຄຸນນະພາບ zero-shot ທີ່ປຽບທຽບໄດ້ດ້ວຍຄວາມໜ່ວງເວລາຕ່ຳກວ່າແມ່ນການຈັບຄູ່ຄວາມຝັນ; ຖ້າກຸ່ມເອກະລາດຢືນຢັນເຖິງເຄິ່ງໜຶ່ງຂອງຄວາມຝັນນັ້ນ, ການຝຶກອົບຮົມແບບ CLM ຈະໄດ້ຮັບບ່ອນນັ່ງຖາວອນໃນກອງປະຊຸມສະຖາປັດຕະຍະກຳ.

ຈົນກວ່າຈະຮອດເວລານັ້ນ, ໃຫ້ຖືວ່າ Jev ເປັນພຽງເລື່ອງເລົ່າກ່ຽວກັບການແຂ່ງຂັນຫຼາຍກວ່າກະດານຈັດອັນດັບທີ່ຕັ້ງໃຈໄວ້. ການແຂ່ງຂັນຂາຍໂພສ. KPI ການຜະລິດຂອງເຈົ້າບໍ່ສົນໃຈເລື່ອງເລົ່າ. ວັດແທກຄວາມສຳເລັດຂອງໜ້າວຽກ, ເງິນໂດລາຕໍ່ປີ້ທີ່ແກ້ໄຂໄດ້, ແລະອັດຕາການແຊກແຊງຂອງມະນຸດ. ຖ້າການແຍກແບບພາສາກົງກັນຂ້າມຊະນະສິ່ງເຫຼົ່ານັ້ນ, ໃຫ້ສະຫຼອງ. ຖ້າມັນຊະນະພຽງແຕ່ Twitter, ໃຫ້ສືບຕໍ່ເດີນໜ້າ. 🚶

ເວລາທີ່ຂັດແຍ້ງກັນເລັກນ້ອຍ: ເລື່ອງລາວການແຂ່ງຂັນຍັງຄົງດຶງດູດນໍ້າໜັກຂອງມັນ. ພວກມັນບັງຄັບໃຫ້ຫ້ອງທົດລອງເຜີຍແຜ່ຕົວເລກແທນທີ່ຈະເປັນອາລົມທີ່ໂປ່ງໃສ. ພຽງແຕ່ຢ່າສັບສົນກະດານຄະແນນກັບກິລາ.

ສິ່ງທີ່ການປ່ອຍອອກມານີ້ຕ້ອງການເພື່ອໃຫ້ຖືກຕ້ອງ 

ເພື່ອໃຫ້ CLM-8B ມີຄວາມສຳຄັນເກີນກວ່າວົງຈອນຂ່າວ, ມີບາງສິ່ງທີ່ຕ້ອງນຳສະເໜີ:

• ການຊ້ຳກັນ: ກຸ່ມພາຍນອກຄວນຈະສາມາດຈັບຄູ່ຄວາມຊັກຊ້າຂອງຫົວຂໍ້ ແລະ ອັດຕາຄວາມສຳເລັດຂອງການຂຽນໂປຣແກຣມກັບສູດອາຫານທີ່ໄດ້ບັນທຶກໄວ້.
• ຄວາມໂປ່ງໃສຂອງ Harness: ແບ່ງປັນລາຍລະອຽດຂອງຕົວແທນທີ່ຜະລິດຄະແນນ DeepSWE ແລະ Terminal-Bench.
• ເອກະສານທີ່ບໍ່ສົມມຸດວ່າໂທລະຈິດໃນຫ້ອງທົດລອງ: ສະຄຣິບທີ່ປັບແຕ່ງຢ່າງລະອຽດ, ຄຳສັ່ງປະເມີນ ແລະ ບັນທຶກຮາດແວ.
• ຮູບແບບຄວາມລົ້ມເຫຼວ: ສະແດງໃຫ້ເຫັນບ່ອນທີ່ການຕັດສິນໃຈແບບລະບົບ 1 ລົ້ມເຫຼວ - APIs ໃໝ່, ປີ້ທີ່ບໍ່ຊັດເຈນ, ການປະຕິບັດງານທີ່ລະອຽດອ່ອນຕໍ່ຄວາມປອດໄພ.
• ເສັ້ນທາງການຍົກລະດັບ: ຊີ້ແຈງວ່າ CLM-35B ກ່ຽວຂ້ອງກັນແນວໃດ ເພື່ອບໍ່ໃຫ້ທີມຕ່າງໆປັບ stack ຂອງເຂົາເຈົ້າໃຫ້ພໍດີກັບຈຸດຕາຍ 8B.

ຖ້າກ່ອງເຫຼົ່ານັ້ນຍັງຫວ່າງເປົ່າ, ຮູບແບບກໍ່ຈະກາຍເປັນບ່ອນທັບເຈ້ຍທີ່ໜ້າສົນໃຈອີກອັນໜຶ່ງ. ຖ້າພວກມັນເຕີມເຕັມ, ແພລດຟອມຕົວແທນຈະໄດ້ຮັບທາງເລືອກອົງປະກອບທີ່ເປັນຮູບປະທຳ: LLM ແບບພິຈາລະນາຢ່າງລະອຽດສຳລັບຄວາມຄິດຢ່າງໜັກ, ຮູບແບບທີ່ວ່ອງໄວທີ່ກົງກັນຂ້າມສຳລັບມືທີ່ສັ່ນ. ການແບ່ງວຽກນັ້ນຮູ້ສຶກເປັນຜູ້ໃຫຍ່ຫຼາຍກວ່າການທຳທ່າວ່າຮູບແບບໃຫຍ່ຄວນເຮັດວຽກທຸກຢ່າງໃນທຸກໆງົບປະມານທີ່ຊັກຊ້າ.

ບົດຮຽນທີ່ເປັນປະໂຫຍດສຳລັບຜູ້ກໍ່ສ້າງທີ່ສົ່ງຕົວແທນ 

ເຈົ້າບໍ່ຈຳເປັນຕ້ອງຂຽນ stack ຂອງເຈົ້າຄືນໃໝ່ໃນມື້ອື່ນ. ເຈົ້າຕ້ອງການແຜນການປະເມີນຮູບແບບການຕັດສິນໃຈໄວ. ເລີ່ມຕົ້ນດ້ວຍການແກະສະຫຼັກຊິ້ນສ່ວນທີ່ສຳຄັນຕໍ່ຄວາມຊັກຊ້າຂອງຕົວແທນຂອງເຈົ້າ - ບາງທີອາດເປັນ terminal micro-loop ຫຼືຂັ້ນຕອນ "ເລືອກ grep ຕໍ່ໄປ" - ແລະ A/B ປັບແຕ່ງ CLM-8B ຕໍ່ກັບ workhorse ປັດຈຸບັນຂອງເຈົ້າ. ຮັກສາຄ່າຄົງທີ່ຂອງ harness. ບັນທຶກທຸກຢ່າງ.

ລະວັງການຖົດຖອຍຄຸນນະພາບທີ່ງຽບໆ: ຮູບແບບທີ່ຕອບທັນທີດ້ວຍການກະທຳທີ່ຜິດພາດຢ່າງໝັ້ນໃຈແມ່ນຮ້າຍແຮງກວ່າຮູບແບບທີ່ຖືກຕ້ອງທີ່ຊ້າໃນ repos ທີ່ມີຄວາມສ່ຽງຕໍ່ການສ່ຽງສູງ. ເພີ່ມຂັ້ນຕອນການຢັ້ງຢືນ. ມັກເຄື່ອງມືທີ່ສາມາດປີ້ນກັບກັນໄດ້. ວາງແຜນການໂທຫາຮູບແບບຄັ້ງທີສອງເມື່ອຄວາມໝັ້ນໃຈຕໍ່າ - ແມ່ນແລ້ວ, ມັນກິນສ່ວນໜຶ່ງຂອງຄວາມໄວ, ແລະນັ້ນກໍ່ບໍ່ເປັນຫຍັງ. ຄວາມໄວທີ່ບໍ່ມີເບກແມ່ນວິທີທີ່ການສາທິດກາຍເປັນການຂັດຂ້ອງ.

ໃນດ້ານອົງກອນ, ໃຫ້ອັບເດດແຜ່ນຄວາມອາດສາມາດດ້ວຍຖັນສຳລັບ "ການກະທຳຕໍ່ວິນາທີຕໍ່ GPU" ແທນທີ່ຈະເປັນພຽງແຕ່ໂທເຄັນຕໍ່ວິນາທີ. ວຽກງານຂອງຕົວແທນໃຫ້ຄວາມສຳຄັນກັບການຕັດສິນໃຈ, ບໍ່ແມ່ນປະລິມານວຽກທີ່ເພີ່ມຂຶ້ນ. ຖ້າການອ້າງສິດ ~9× ຂອງຜູ້ຂຽນຍັງຄົງຢູ່ບາງສ່ວນຫຼັງຈາກຕິດຕໍ່ກັບຮາດແວຂອງທ່ານ, ຕາຕະລາງຂອງທ່ານຈະເບິ່ງແຕກຕ່າງ. ຖ້າບໍ່, ທ່ານໄດ້ຮຽນຮູ້ລາຄາຖືກ.

ແລະກະລຸນາ, ເພື່ອຄວາມຮັກໃນການປະຕິບັດງານ, ຢ່າວາງຄວາມລັບການຜະລິດໃສ່ຕົວແທນທົດລອງເພາະວ່າຮູບແບບຮູ້ສຶກວ່າ "ປອດໄພ". ຮູບແບບທີ່ເປີດໄວເຮັດໃຫ້ມັນງ່າຍຕໍ່ການໝຸນລະບົບເງົາທີ່ບໍ່ມີໃຜທົບທວນ. ຂະບວນການຍັງຄົງມີຄວາມສຳຄັນ. 

ຫົວຂໍ້ທີ່ເປີດຢູ່ຍັງຄົງຄ້າງຢູ່ 

ຫົວຂໍ້ທີ່ຍັງບໍ່ໄດ້ຮັບການແກ້ໄຂບາງອັນເຮັດໃຫ້ຂ້ອຍບໍ່ສາມາດໂປຣໂມຊັນໄດ້ເຕັມຮູບແບບ:

• ຄວາມສຳເລັດຂອງການຂຽນໂປຣແກຣມທີ່ລາຍງານມານັ້ນ ສ່ວນໃຫຍ່ແມ່ນຍ້ອນນ້ຳໜັກທຽບກັບຂໍ້ມູນການປັບແຕ່ງ ແລະ ການຫໍ່ຫຸ້ມ ຍັງບໍ່ຈະແຈ້ງເທື່ອ.
• ການວາງກອບຂອງລະບົບ 1 ອາດຈະບາງລົງເມື່ອວຽກງານຕ້ອງການການວາງແຜນຂອບເຂດຍາວແທນທີ່ຈະເປັນການສະທ້ອນຂອງເປືອກທ້ອງຖິ່ນ.
• CLM-35B ອາດຈະຮັກສາເລື່ອງຄວາມຊັກຊ້າ ຫຼື ກາຍເປັນ LLM ຂະໜາດກາງທີ່ເຂັ້ມແຂງອີກອັນໜຶ່ງ.
• ຄວາມມັກໃນການກະທຳທີ່ກົງກັນຂ້າມສາມາດປ່ຽນເປັນຄວາມບໍ່ໝັ້ນຄົງພາຍໃຕ້ການປ່ຽນແປງການແຈກຢາຍ - ພາສາໃໝ່, CLIs ຄລາວໃໝ່, ບ່ອນເກັບມ້ຽນແບບກົງກັນຂ້າມ.
• ເລື່ອງຄວາມປອດໄພຍັງຕ້ອງການເນື້ອໃນເມື່ອການກະທຳຖືກປະຕິບັດພາຍໃນມິນລິວິນາທີ.

ສິ່ງເຫຼົ່ານັ້ນບໍ່ແມ່ນການຫຼອກລວງທີ່ມີຈຸດປະສົງເພື່ອເອົາໄປໃຊ້ກັບທີມ. ພວກມັນແມ່ນການກວດສອບທີ່ການທົບທວນການຮັບຮອງເອົາຢ່າງຈິງຈັງຄວນດຳເນີນການ. ການປ່ອຍລຸ້ນເປີດໃນຕອນຕົ້ນສົມຄວນໄດ້ຮັບການກວດສອບຢ່າງລະອຽດ ແລະ ການຂັດແຍ້ງ, ບໍ່ແມ່ນການຕິດຕັ້ງແບບບໍ່ເຫັນດ້ວຍຕາເປົ່າ.

ສະຫຼຸບແລ້ວ 

CLM-8B ແມ່ນຮູບແບບພາສາກົງກັນຂ້າມທີ່ເປີດກວ້າງ, ປະກອບດ້ວຍກອບ Apache (ຕໍ່ການຄຸ້ມຄອງ) ເຊິ່ງແນໃສ່ພຶດຕິກຳການກະທຳທີ່ວ່ອງໄວສຳລັບຕົວແທນ, ເຊິ່ງນຳສະເໜີຕໍ່ສາທາລະນະໂດຍ Jacky Kwok ພ້ອມດ້ວຍການຂະຫຍາຍຈາກ Azalia Mirhoseini ແລະ ຖືກວາງກອບເປັນການຄົ້ນຄວ້າທີ່ເຊື່ອມໂຍງກັບ Stanford/NVIDIA. ຫົວຂໍ້ຂ່າວອ້າງ - ໄວກວ່າການອະນຸມານລະດັບ Jev ເຖິງປະມານ 9 ເທົ່າ, ຜົນໄດ້ຮັບ DeepSWE ທີ່ເຂັ້ມແຂງ ແລະ ຜົນໄດ້ຮັບ Terminal-Bench ຫຼັງຈາກການປັບແຕ່ງແສງ, ຄຸນນະພາບ zero-shot ທີ່ທຽບເທົ່າໄດ້ດ້ວຍຄວາມໜ່ວງເວລາຕ່ຳກວ່າຫຼາຍ, ລວມທັງການສົນທະນາກ່ຽວກັບການຕອບສະໜອງລະດັບ terminal ປະມານ 32 ms - ແມ່ນລາຍງານໂດຍຜູ້ຂຽນ ແລະ ຍັງລໍຖ້າການຢືນຢັນຈາກພາກສ່ວນທີສາມຢ່າງກວ້າງຂວາງ. CLM-35B ທີ່ໃຫຍ່ກວ່າແມ່ນຢູ່ໃນຂອບເຂດ.

ຖ້າທ່ານສ້າງລະບົບການຂຽນໂປຣແກຣມແບບຕົວແທນ, ນີ້ແມ່ນຄຸ້ມຄ່າທີ່ຈະມີການປະເມີນຜົນທີ່ສຸມໃສ່, ບໍ່ແມ່ນສາສະໜາ. ປະຕິບັດຕໍ່ມັນຄືກັບຕົວຄວບຄຸມລະບົບ 1 ທີ່ເປັນໄປໄດ້ໃນຊຸດປະສົມ, ວັດແທກສາຍຮັດຂອງທ່ານເອງ, ແລະຮັກສາສະຕິກເກີ CLAIM ໄວ້ໃນທຸກໆຕາຕະລາງຈົນກວ່າການແລ່ນເອກະລາດຈະມາຮອດ. ສ່ວນທີ່ໜ້າສົນໃຈບໍ່ແມ່ນຮູບແບບການສົນທະນາອື່ນທີ່ມີໂລໂກ້ໃໝ່. ສ່ວນທີ່ໜ້າສົນໃຈແມ່ນວ່າການຝຶກອົບຮົມຮູບແບບການຕັດສິນໃຈສາມາດເຮັດໃຫ້ຕົວແທນຮູ້ສຶກທັນທີໂດຍບໍ່ເຮັດໃຫ້ພວກເຂົາຜິດພາດໂດຍບໍ່ລະມັດລະວັງ.

ຕົວຢ່າງການປະຕິບັດ: ການສ້າງການປະເມີນວົງຈອນຈຸລະພາກຂອງຕົວແທນທີ່ມີຄວາມສຳຄັນຕໍ່ຄວາມຊັກຊ້າສຳລັບ CLM-8B

ຕາຕະລາງຜູ້ຂຽນກ່ຽວກັບ CLM-8B ຫາກໍ່ເປີດຕົວ: ຮູບແບບ AI ເປີດໃໝ່ທີ່ອ້າງວ່າໄວກວ່າ Jev ເຖິງ 9 ເທົ່າ ສຳລັບຕົວແທນ ສາມາດເບິ່ງໜ້າເຊື່ອຖືໄດ້; ສາຍຮັດຂອງເຈົ້າແມ່ນຄະແນນສຽງດຽວທີ່ນັບ. ນີ້ແມ່ນວິທີທີ່ທີມງານເຄື່ອງມືອິນດີ້ຂອງອັງກິດປະຕິບັດຕໍ່ CLM-8B ເປັນຕົວຄວບຄຸມ System 1 ທີ່ເປັນໄປໄດ້ - ບໍ່ແມ່ນການທົດແທນການສົນທະນາ - ແລະວັດແທກມັນຢູ່ໃນ terminal micro-loop ຂອງຕົນເອງ.

ສະຖານະການ

Sam ດໍາເນີນການຜະລິດຕະພັນຂະໜາດນ້ອຍທີ່ໃຊ້ຕົວແທນການຂຽນລະຫັດທີ່ໜັກກວ່າສໍາລັບການປັບປຸງຫຼາຍໄຟລ໌. ສ່ວນທີ່ເຈັບປວດແມ່ນວົງວຽນຮ້ອນ: ອ່ານບົດບັນທຶກການທົດສອບທີ່ລົ້ມເຫຼວ, ເລືອກເຊວຕໍ່ໄປ ຫຼື ແກ້ໄຂການດໍາເນີນການ, ດໍາເນີນການມັນ, ເຮັດຊ້ຳອີກ. ຜູ້ໃຊ້ຈົ່ມກ່ຽວກັບຄໍາຕອບທີ່ໜ້າເບື່ອໜ້ອຍກວ່າກ່ຽວກັບຄວາມຊັກຊ້າຂອງຖົງມືລະດູໜາວໃນຫ້າສິບຂັ້ນຕອນເຄື່ອງມື. ໂພສທາງສັງຄົມກໍາລັງຂະຫຍາຍນໍ້າໜັກຂອງຮູບແບບພາສາທີ່ກົງກັນຂ້າມ ແລະ ຄວາມໄວທີ່ເພີ່ມຂຶ້ນປະມານ 9 ເທົ່າເມື່ອທຽບກັບຄູ່ແຂ່ງລະດັບ Jev, ບວກກັບຕົວເລກ DeepSWE / Terminal-Bench ທີ່ເຂັ້ມແຂງຫຼັງຈາກການປັບແຕ່ງເລັກນ້ອຍ. Sam ປະຕິເສດທີ່ຈະຂຽນການຜະລິດຄືນໃໝ່ໃນຕາຕະລາງຂ່າວ.

ພວກເຂົາໄດ້ແກະສະຫຼັກວົງແຫວນຈຸລະພາກທີ່ສຳຄັນຕໍ່ຄວາມຊັກຊ້າໜຶ່ງອັນ: ຊາວຮ່ອງຮອຍການແກ້ໄຂຂໍ້ຜິດພາດທີ່ຖືກແກ້ໄຂແລ້ວຈາກ monorepo ຂອງຕົນເອງ. ເຄື່ອງຈັກເຮັດວຽກໃນປະຈຸບັນຍັງຄົງເປັນເສັ້ນທາງການພິຈາລະນາສຳລັບປີ້ສະຖາປັດຕະຍະກຳແບບໃໝ່. CLM-8B - ຖ້າຖືກໂຮດຕິ້ງ ແລະ ປັບແຕ່ງເລັກນ້ອຍໃນຮ່ອງຮອຍຂອງພວກມັນ - ໄດ້ຮັບອະນຸຍາດໃຫ້ແຂ່ງຂັນໃນຂັ້ນຕອນ "ເລືອກການກະທຳທີ່ສາມາດປີ້ນກັບຄືນໄດ້ຕໍ່ໄປ" ເທົ່ານັ້ນ, ໂດຍມີຕົວໃຫ້ເຫດຜົນຊ້າກວ່າເປັນ escape hatch ເມື່ອຄວາມໝັ້ນໃຈຕໍ່າ.

ເປົ້າໝາຍແມ່ນ A/B ທີ່ຮັກສາຄ່າຄົງທີ່ຂອງ harness: ເຄື່ອງມືດຽວກັນ, ລາຍຊື່ອະນຸຍາດດຽວກັນ, ນະໂຍບາຍການລອງໃໝ່ດຽວກັນ. ບັນທຶກການກະທຳຕໍ່ວິນາທີ, ຄວາມໜ່ວງຊ້າຂອງ p50/p95, ຄວາມສຳເລັດຂອງໜ້າວຽກ, ແລະ ການແຊກແຊງຂອງມະນຸດ - ຈາກນັ້ນຕັດສິນໃຈວ່ານ້ຳໜັກເປີດຈະໄດ້ຮັບບ່ອນນັ່ງຫຼືບໍ່.

ສິ່ງທີ່ຜູ້ຊ່ວຍຕ້ອງການ

• ຮ່ອງຮອຍການທົດສອບທີ່ລົ້ມເຫຼວຊາວອັນທີ່ບໍ່ລະບຸຊື່ຈາກວຽກງານຕົວຈິງ (ຂໍ້ມູນປ້ອນເຂົ້າ + ເຄື່ອງມືທີ່ອະນຸຍາດເທົ່ານັ້ນ)
• ເຄື່ອງຫໍ່ຕົວແທນຄົງທີ່: ໂຄງຮ່າງເຄື່ອງມື, ລາຍຊື່ອະນຸຍາດ, ຂັ້ນຕອນສູງສຸດ, ແລະສາຂາ "ໂທຫາຕົວໃຫ້ເຫດຜົນຊ້າ"
• ຄະແນນພື້ນຖານໃນຮູບແບບປັດຈຸບັນສຳລັບຊາວໜ້າວຽກດຽວກັນ
• ບັນທຶກຮາດແວສຳລັບໂຮດ CLM-8B (ຄລາສ GPU, ຄວາມແມ່ນຍຳ, ຊຸດ) ສະນັ້ນ "ໄວກວ່າ" ມີເອກະສານອ້າງອີງ
• ກົດລະບຽບສະຕິກເກີ CLAIM: ຜູ້ຂຽນ DeepSWE / Terminal-Bench / ~9× / ~32 ms ຕົວເລກຍັງຄົງຕິດສະຫຼາກຈົນກວ່າສາຍຮັດນີ້ຈະສ້າງບາງສິ່ງບາງຢ່າງຄືນໃໝ່
• ເຈົ້າຂອງທີ່ເປັນມະນຸດຜູ້ທີ່ທົບທວນການກະທຳທີ່ຜິດພາດແຕ່ໄວກ່ອນທີ່ຈະຕິດຕັ້ງ CI ໃດໆ

ຕົວຢ່າງຄຳແນະນຳ

ເຈົ້າກຳລັງຊ່ວຍຂ້ອຍອອກແບບ A/B ທີ່ຍຸດຕິທຳສຳລັບ CLM-8B ເປັນຕົວຄວບຄຸມສະຖານະໄວ→ການກະທຳພາຍໃນຕົວແທນການເຂົ້າລະຫັດຂອງພວກເຮົາ. ໃຊ້ພຽງແຕ່ຂໍ້ເທັດຈິງທີ່ຂ້ອຍວາງໄວ້ເທົ່ານັ້ນ. ຢ່າປະດິດຕົວຄູນຄວາມຊັກຊ້າ, ຄະແນນ DeepSWE, ຫຼືເງື່ອນໄຂໃບອະນຸຍາດ.

ໜ້າວຽກ: ຈາກຊື່ໜ້າວຽກຊາວໆຂອງຂ້ອຍ ແລະ ບັນທຶກພື້ນຖານໃນປະຈຸບັນ, ໃຫ້ຮ່າງ (1) ແຜ່ນການໃຫ້ຄະແນນທີ່ມີຖັນ ໜ້າວຽກ / ຮູບແບບ / ຂັ້ນຕອນ / ໂມງແຂວນ / ຄວາມສຳເລັດ (ຜ່ານ/ບໍ່ຜ່ານ) / ການແຊກແຊງຂອງມະນຸດ (ແມ່ນ/ແມ່ນ) / ບັນທຶກ, (2) ໂປໂຕຄອນຫົກຈຸດທີ່ເຮັດໃຫ້ເອກະສານຫໍ່ຫຸ້ມຄືກັນໃນທົ່ວຮູບແບບຕ່າງໆ, ແລະ (3) ກົດການຕັດສິນໃຈໃນຖ້ອຍຄຳປະຈຳວັນທີ່ຊັດເຈນສຳລັບເວລາທີ່ CLM-8B ອາດຈະເປັນເຈົ້າຂອງວົງແຫວນຈຸນລະພາກ ທຽບກັບເວລາທີ່ພວກເຮົາຍົກລະດັບໄປຫາຕົວໃຫ້ເຫດຜົນຊ້າ.

ຂໍ້ຈຳກັດ: ພາສາອັງກິດແບບອັງກິດ. ຕິດປ້າຍທຸກຕົວເລກທີ່ຜູ້ຂຽນລາຍງານເປັນ CLAIM ຖ້າມັນປາກົດ. ມັກເຄື່ອງມືທີ່ສາມາດປີ້ນກັບກັນໄດ້. ຫ້າມພາສາ “ຕົວແທນແກ້ໄຂໄດ້ໃນທີ່ສຸດ”. ຖ້າບໍ່ມີຕົວຊີ້ວັດໃນການວາງຂອງຂ້ອຍ, ໃຫ້ຂຽນ [ຕ້ອງການການວັດແທກ] ແທນທີ່ຈະຄາດເດົາ.

ຜົນໄດ້ຮັບ: ຫົວຂໍ້ຂອງແຜ່ນການໃຫ້ຄະແນນ ແລະ ແຖວຕົວຢ່າງໜຶ່ງທີ່ເຕັມແລ້ວໂດຍໃຊ້ຕົວຍຶດຕຳແໜ່ງ, ຫົວຂໍ້ໂປໂຕຄອນ, ຈາກນັ້ນກົດ escalate/keep. ບໍ່ມີຄຳນຳ.

ວິທີການທົດສອບມັນ

• ແລ່ນສິບຮ່ອງຮອຍດຽວກັນໃນເຄື່ອງເຮັດວຽກປັດຈຸບັນ ແລະ ໃນເຄື່ອງປັບແຕ່ງລະອຽດ CLM-8B ດ້ວຍແຜ່ນຫໍ່ດຽວກັນ. ຢືນຢັນວ່າໂມງຕິດຝາ ແລະ ຄວາມສຳເລັດແຕກຕ່າງກັນເທົ່ານັ້ນ - ບໍ່ແມ່ນລາຍການເຄື່ອງມື.
• ຖາມວ່າ: “ຕາຕະລາງຜູ້ຂຽນຄົນໃດອາດຈະປ່ຽນແປງການຜະລິດໃນອາທິດນີ້?” ຄຳຕອບທີ່ດີ: ບໍ່ມີຈົນກວ່າສາຍຮັດນີ້ສະແດງໃຫ້ເຫັນເຖິງໄຊຊະນະໃນຄວາມສຳເລັດ ແລະ ຄວາມຊັກຊ້າຮ່ວມກັນ.
• ກໍລະນີຂອບ: CLM-8B ຕອບໃນເວລາປະມານ 30 ms ດ້ວຍຄໍາແນະນໍາຄໍາສັ່ງທີ່ທໍາລາຍ - ຢືນຢັນລາຍຊື່ອະນຸຍາດ ແລະ ການກວດສອບຂອງມະນຸດກ່ອນ CI.
• ກໍລະນີຂອບ: ປີ້ API ໃໝ່ຢູ່ນອກຮ່ອງຮອຍຊາວ - ຢືນຢັນວ່າຜູ້ໃຫ້ເຫດຜົນຊ້າເປັນເຈົ້າຂອງມັນ, ບໍ່ແມ່ນຮູບແບບສະທ້ອນ.
• ການກວດສອບການຍອມຮັບ: (1) ບໍ່ມີການຮຽກຮ້ອງ 9× ທີ່ປະດິດຂຶ້ນເປັນຜົນການວັດແທກ, (2) ຄວາມຊັກຊ້າຂອງ p50 ແລະ p95 ທີ່ບັນທຶກໄວ້, (3) ຕົວຫານຄວາມສຳເລັດແມ່ນຊາວໜ້າວຽກ, (4) ການກະທຳທີ່ຜິດໄວຖືກນັບ, (5) ການກວດສອບ Apache/ໃບອະນຸຍາດເກີດຂຶ້ນແບບອອບໄລນ໌ກ່ອນແຜນການເຮືອການຄ້າໃດໆ.

ຜົນໄດ້ຮັບ

ຜົນໄດ້ຮັບຕົວຢ່າງ (ຕົວຢ່າງການຄາດຄະເນສຳລັບທີມງານເຄື່ອງມືສາມຄົນໜຶ່ງໃນການຕິດຕາມ monorepo ຄົງທີ່ຊາວອັນ, ບໍ່ແມ່ນການທົດລອງຫ້ອງທົດລອງເອກະລາດຂອງຕາຕະລາງຂອງຜູ້ຂຽນ): ເຄື່ອງຈັກພື້ນຖານສຳເລັດ 14 ໃນ 20 ການຕິດຕາມໂດຍບໍ່ມີການຊ່ວຍເຫຼືອຈາກມະນຸດ; ຄວາມຊັກຊ້າຂອງຂັ້ນຕອນສະເລ່ຍປະມານ 180 ms; ສອງການຕິດຕາມຕ້ອງການມະນຸດຫຼັງຈາກການແກ້ໄຂທີ່ຜິດພາດ. ຫຼັງຈາກການປັບແຕ່ງ CLM-8B ເບົາບາງໃນການຕິດຕາມພາຍໃນ (wrapper ດຽວກັນ), 15 ໃນ 20 ຜ່ານໄປໂດຍບໍ່ມີການຊ່ວຍເຫຼືອ; ຄວາມຊັກຊ້າຂອງຂັ້ນຕອນສະເລ່ຍປະມານ 45 ms ໃນໂຮດ GPU ດຽວຂອງພວກເຂົາ; ການກະທຳທີ່ຜິດພາດໄວເພີ່ມເຕີມອີກອັນໜຶ່ງໄດ້ຖືກບັນທຶກໂດຍລາຍການອະນຸຍາດກ່ອນທີ່ຈະນຳໃຊ້. ໂມງຝາສຳລັບຊຸດຊາວການຕິດຕາມໄດ້ຫຼຸດລົງຈາກປະມານ 38 ນາທີເປັນປະມານ 22 ນາທີລວມທັງຂັ້ນຕອນການຢັ້ງຢືນ. ໃນບັນຊີກວດສອບສຸຂະອະນາໄມ (ສາຍຮັດຄົງທີ່, ປ້າຍ CLAIM ເກັບຮັກສາໄວ້ໃນຕາຕະລາງຜູ້ຂຽນ, ເຫດຜົນຊ້າຍັງໃຊ້ສຳລັບປີ້ໃໝ່, ບໍ່ມີຄວາມລັບການຜະລິດໃນຕົວແທນການທົດລອງ), 5 ໃນ 5 ລາຍການການທົບທວນຜ່ານ. ຂໍ້ຈຳກັດ: ຊຸດວຽກຂະໜາດນ້ອຍ, ຫ້ອງຮຽນຮາດແວໜຶ່ງ, ຄຸນນະພາບຂໍ້ມູນການປັບແຕ່ງທີ່ລະອຽດເດັ່ນ; ສິ່ງນີ້ບໍ່ໄດ້ກວດສອບຕົວເລກ ~9× ຫຼື DeepSWE ຂອງຜູ້ຂຽນຢູ່ນອກສາຍຮັດນີ້.

ເພື່ອວັດແທກລຸ້ນຂອງທ່ານເອງ: ແຊ່ແຂງຊາວຮ່ອງຮອຍ; ໃຫ້ຄະແນນຮຸ່ນປັດຈຸບັນກ່ອນ; ໂຮດ CLM-8B ດ້ວຍຄວາມແມ່ນຍຳ/ການຕັ້ງຄ່າທີ່ບັນທຶກໄວ້; ດຳເນີນການຄືນໃໝ່ດ້ວຍຕົວຫໍ່ດຽວກັນ; ລາຍງານຄວາມສຳເລັດ/n, p50/p95, ການແຊກແຊງ, ແລະວ່າໝາຍເລກ CLAIM ໃດຖືກປະຕິບັດເປັນຄວາມຈິງຫຼືບໍ່.

ມີຫຍັງຜິດພາດໄດ້ແດ່

• ການນະມັດສະການຕາຕະລາງ: ການຂົນສົ່ງໃນສະໄລ້ ~9× ໂດຍບໍ່ມີ p95 ຂອງເຈົ້າເອງ.
• ການກະທຳທີ່ຜິດພາດໄວ: ຄວາມຜິດພາດທີ່ໝັ້ນໃຈທັນທີທັນໃດ ເອົາຊະນະຄວາມຜິດພາດທີ່ຖືກຕ້ອງທີ່ຊ້າໃນ repos ຄວາມສ່ຽງສູງ.
• ການເຄື່ອນຍ້າຍຂອງ Harness: ການປ່ຽນການກະຕຸ້ນເຄື່ອງມືລະຫວ່າງຮູບແບບຕ່າງໆ ແລະ ເອີ້ນມັນວ່າໄຊຊະນະຂອງຮູບແບບ.
• ການວາງຊ້ອນກັນຂອງວິລະຊົນດ່ຽວ: ການຍົກເລີກເຫດຜົນທີ່ໃຊ້ການພິຈາລະນາຢ່າງຕັ້ງໃຈສຳລັບວຽກງານສະຖາປັດຕະຍະກຳແບບໃໝ່.
• ການໂບກມືໃບອະນຸຍາດ: ການໄວ້ວາງໃຈບົດສະຫຼຸບການຄຸ້ມຄອງແທນທີ່ຈະເປັນໄຟລ໌ໃບອະນຸຍາດ weight-repo ຕົວຈິງ.
• CI ເງົາ: ການໃສ່ຕົວແທນທີ່ເປີດໄວເຂົ້າໄປໃນທໍ່ສົ່ງໂດຍບໍ່ມີຂໍ້ຈຳກັດອັດຕາ ຫຼື ການທົບທວນການສີດ.

ເອົາໄປໃຊ້ຕົວຈິງ

CLM-8B ຄຸ້ມຄ່າກັບການປະເມີນທີ່ເນັ້ນໃສ່ໃນຖານະເປັນຕົວຄວບຄຸມ System 1 ສຳລັບການເຂົ້າລະຫັດຕົວແທນ - ນ້ຳໜັກເປີດ, ເລື່ອງລາວທີ່ເປັນຮູບແບບການຕັດສິນໃຈ, ການອ້າງຄວາມໄວທີ່ລາຍງານໂດຍຜູ້ຂຽນ. ມັນບໍ່ແມ່ນຄວາມເຊື່ອ ແລະ ບໍ່ແມ່ນ 9× ທີ່ໄດ້ຮັບການພິສູດແລ້ວສຳລັບ stack ຂອງທ່ານຈົນກວ່າສາຍຮັດຂອງທ່ານຈະບອກແນວນັ້ນ. ຮັກສາຄ່າຄົງທີ່ຂອງ wrapper, ບັນທຶກການກະທຳຕໍ່ວິນາທີ ແລະ ອັດຕາຄວາມໄວທີ່ຜິດ, ຮັກສາ escape hatch ທີ່ຊ້າລົງ, ແລະ ປະສະຕິກເກີ CLAIM ໄວ້ໃນທຸກໆຕາຕະລາງກົດຈົນກວ່າການແລ່ນເອກະລາດ (ລວມທັງຂອງທ່ານ) ຈະມາຮອດ.

ຄຳຖາມທີ່ຖືກຖາມເລື້ອຍໆ

CLM-8B ແມ່ນຫຍັງ, ແລະເປັນຫຍັງຜູ້ສ້າງຕົວແທນຈຶ່ງເວົ້າກ່ຽວກັບມັນ?

CLM-8B ເປັນນ້ຳໜັກສາທາລະນະທຳອິດທີ່ກຳນົດໄວ້ໃນສາຍຮູບແບບພາສາທີ່ກົງກັນຂ້າມ - ການປ່ອຍວິໄຈແບບເປີດທີ່ສະເໜີໃຫ້ເປັນວົງຈອນການຕັດສິນໃຈໄວສຳລັບຕົວແທນ, ບໍ່ພຽງແຕ່ສະໝອງສົນທະນາອີກອັນໜຶ່ງ. ເລື່ອງການຝຶກອົບຮົມເຊື່ອມຕໍ່ສະຖານະກັບການກະທຳທີ່ຄ້າຍຄືກັບການສະທ້ອນຂອງລະບົບ 1 ຫຼາຍກວ່າບົດຂຽນໂທເຄັນຕໍ່ໄປທີ່ຊ້າ. ດ້ວຍພາລາມິເຕີແປດພັນລ້ານຕົວມັນນ້ອຍພໍສຳລັບຫ້ອງທົດລອງ ແລະ ຜູ້ກໍ່ສ້າງອິນດີ້ຫຼາຍຄົນທີ່ຈະເປັນເຈົ້າພາບ, ໂດຍມີໃບອະນຸຍາດ Apache 2.0 ທີ່ຖືກກຳນົດໄວ້ໃນການຄຸ້ມຄອງອ້ອມຮອບການຫຼຸດລົງ. ຕົວເລກໃນໂພສເປີດຕົວແມ່ນການອ້າງສິດທີ່ລາຍງານໂດຍຜູ້ຂຽນ, ບໍ່ແມ່ນການແລ່ນຊ້ຳຫ້ອງທົດລອງເອກະລາດ.

CLM-8B ອ້າງວ່າໄວກວ່າ Jev ເຖິງ 9 ເທົ່າສຳລັບຕົວແທນໄດ້ແນວໃດ?

ຜູ້ສົ່ງເສີມອ້າງວ່າການອະນຸມານໄວກວ່າຮູບແບບ Jev-class ເຖິງປະມານ 9 ເທົ່າ, ໂດຍມີການຕອບໂຕ້ປະມານ 32 ms-class ໃນການຕັ້ງຄ່າ terminal bench. ຫຼັງຈາກການປັບແຕ່ງເບົາບາງ, ພວກເຂົາຍັງລາຍງານຜົນໄດ້ຮັບການຂຽນລະຫັດຕົວແທນທີ່ເຂັ້ມແຂງ - DeepSWE ປະມານ 81.6% ແລະ Terminal-Bench 2.1 ປະມານ 87.6% - ແລະຄຸນນະພາບ zero-shot ບາງຢ່າງທຽບເທົ່າກັບ Jev ທີ່ມີຄວາມໜ่วงເວລາຕ່ຳກວ່າຫຼາຍ. ປະຕິບັດຕໍ່ຕົວເລກ 9× ແລະມິນລິວິນາທີເປັນການອ້າງຈົນກວ່າພາກສ່ວນທີສາມຈະສ້າງຄືນພວກມັນໃນຮາດແວທີ່ໃຊ້ຮ່ວມກັນ. ຄວາມໄວທີ່ກ່ຽວຂ້ອງຍັງຕ້ອງການຂະໜາດ batch, ຄວາມແມ່ນຍຳ, ແລະການຕັ້ງຄ່າການຖອດລະຫັດທີ່ລະບຸໄວ້.

ການຝຶກອົບຮົມຮູບແບບພາສາກົງກັນຂ້າມແຕກຕ່າງຈາກ LLMs ທົ່ວໄປແນວໃດ?

ຫຼັກສູດ LLM ສ່ວນໃຫຍ່ສຳລັບການຜະລິດສ້າງໂທເຄັນໜຶ່ງຄັ້ງໃນແຕ່ລະຄັ້ງ, ເຊິ່ງເຮັດວຽກສຳລັບການເວົ້າແບບຂຽນ ແລະ ການຫາເຫດຜົນທີ່ຍາວນານ ແຕ່ຕ້ອງເສຍເວລາໃນການຕັດສິນໃຈເລັກໆນ້ອຍໆທີ່ຕົວແທນເຮັດ. ການຝຶກອົບຮົມຮູບແບບພາສາທີ່ກົງກັນຂ້າມ, ດັ່ງທີ່ຜູ້ສົ່ງເສີມໄດ້ອະທິບາຍໄວ້, ກະຕຸ້ນເຄືອຂ່າຍໃຫ້ວາງແຜນສະຖານະການຕ່າງໆໃຫ້ກັບການເຄື່ອນໄຫວທີ່ຕ້ອງການ - ຄ້າຍຄືກັບຫົວໜ້ານະໂຍບາຍຫຼາຍກວ່ານັກຂຽນນະວະນິຍາຍ. ການວາງກອບລະບົບ 1 ນັ້ນສະໜັບສະໜູນການວົນຊ້ຳໆຂອງສະຖານະໄປສູ່ການກະທຳທີ່ໄວກວ່າການບັນຍາຍຕະຫຼອດໄປລະຫວ່າງການເອີ້ນເຄື່ອງມື. CLM-8B ຍັງສາມາດສົ່ງຂໍ້ຄວາມອອກມາໄດ້; ເລື່ອງຈຸດປະສົງ ແລະ ການປະເມີນຜົນແມ່ນມີແນວທາງໄປສູ່ການຄວບຄຸມຕົວແທນ.

ໃຜເປັນຜູ້ປ່ອຍ CLM-8B, ແລະມັນເປີດແທ້ໆບໍ?

Jacky Kwok ໄດ້ແນະນຳວຽກງານດັ່ງກ່າວ; Azalia Mirhoseini ໄດ້ຂະຫຍາຍມັນ; ການຄຸ້ມຄອງໄດ້ວາງກອບຄວາມພະຍາຍາມຂອງທີມງານທີ່ເຊື່ອມໂຍງກັບ Stanford ແລະ NVIDIA ດ້ວຍນັກຄົ້ນຄວ້າທີ່ມີຊື່, ນ້ຳໜັກສາທາລະນະ, ແລະລະຫັດເປີດ. ການອະນຸຍາດກ່ຽວກັບການປ່ອຍແມ່ນຖືກຈັດເປັນ Apache 2.0, ເຊິ່ງມີຄວາມສຳຄັນສຳລັບການປັບແຕ່ງ ແລະ ການຂົນສົ່ງ - ແຕ່ໃຫ້ອ່ານໄຟລ໌ໃບອະນຸຍາດໃນ repo ກ່ອນທີ່ທ່ານຈະອີງໃສ່ບົດສະຫຼຸບການຄຸ້ມຄອງ. ການປ່ອຍເປີດທີ່ມີຊື່ມັກຈະໄດ້ຮັບການທົດສອບຄວາມກົດດັນໄວກວ່າການຖິ້ມຂໍ້ມູນທີ່ບໍ່ລະບຸຊື່. ຍັງໄວສຳລັບການສຳເນົາຂອງພາກສ່ວນທີສາມຢ່າງກວ້າງຂວາງ.

ເປັນຫຍັງວົງຈອນ state-to-action ຈຶ່ງມີຄວາມສຳຄັນຫຼາຍສຳລັບການເຂົ້າລະຫັດແບບ agent?

ການຂຽນລະຫັດແບບຕົວແທນມັກຈະເປັນແບບໄບນາຣີ: ການທົດສອບຈະເປັນສີຂຽວ ຫຼື ມັນບໍ່ເປັນສີຂຽວ, ສະນັ້ນການເລືອກການປະຕິບັດທີ່ສະອາດຈະເອົາຊະນະບົດຂຽນຄວາມລົ້ມເຫຼວທີ່ສວຍງາມ. ການປະສົມຄວາມຊັກຊ້າໃນຫຼາຍສິບຂັ້ນຕອນເຄື່ອງມື - ຫຼຸດເວລາຕໍ່ຂັ້ນຕອນ ແລະ ໂມງແຂວນ ແລະ ໃບບິນຄ່າຄລາວທັງສອງເຄື່ອນຍ້າຍ. ການເພີ່ມຄວາມໄວຕາມລຳດັບຄວາມກວ້າງທີ່ອ້າງວ່າທຽບກັບເພື່ອນຮ່ວມງານຊັ້ນ Jev, ເຖິງແມ່ນວ່າມັນຈະຕົກເປັນ "ພຽງແຕ່" 4 ເທົ່າໃນທຳມະຊາດ, ຍັງຄົງຈັດແຈງການວາງແຜນຄວາມອາດສາມາດຄືນໃໝ່. Hybrid stacks - ຕົວຄວບຄຸມຄ້າຍຄື CLM ທີ່ໄວບວກກັບຕົວຄິດທີ່ໜັກກວ່າໃນກິ່ງແຂງ - ເປັນຮູບຮ່າງໄລຍະຍາວທີ່ເປັນຈິງ.

ຂ້ອຍຄວນໄວ້ວາງໃຈຄະແນນ DeepSWE ແລະ Terminal-Bench ສຳລັບ CLM-8B ບໍ?

ຊຸດເຫຼົ່ານັ້ນລົງໂທດຕົວແທນທີ່ແຕກຫັກງ່າຍ, ຊຶ່ງເປັນເຫດຜົນທີ່ ~81.6% DeepSWE ແລະ ~87.6% Terminal-Bench 2.1 ຫຼັງຈາກການປັບແຕ່ງເບົາໆເບິ່ງຄືວ່າໜ້າຕື່ນເຕັ້ນ. ເກົ້າອີ້ຕົວແທນຍັງໃຫ້ລາງວັນແກ່ການນັ່ງຮ້ານ: ຄຸນນະພາບຂອງສາຍຮັດ, ລາຍຊື່ເຄື່ອງມືທີ່ອະນຸຍາດ, ແລະການກະຕຸ້ນການກູ້ຄືນສາມາດປ່ຽນຄວາມສຳເລັດໄດ້ສອງຕົວເລກ. ຂຸດຄົ້ນສິ່ງທີ່ຫໍ່ຫຸ້ມໄວ້ອ້ອມຮອບນ້ຳໜັກກ່ອນທີ່ຈະປະຕິບັດຕໍ່ຕາຕະລາງເປັນວິທະຍາສາດທີ່ໄດ້ຕົກລົງກັນແລ້ວ. ເກົ້າອີ້ຜູ້ຂຽນກຳລັງຕະຫຼາດຈົນກວ່າຈະມີຄົນອື່ນຜະລິດຄືນພວກມັນດ້ວຍສູດອາຫານທີ່ບັນທຶກໄວ້.

ຂ້ອຍຄວນຮູ້ຫຍັງແດ່ກ່ຽວກັບ CLM-35B ແລະ ການປັບແຕ່ງຮຸ່ນ 8B?

ການຕິດຕາມ CLM-35B ທີ່ໃຫຍ່ກວ່າແມ່ນຖືກກ່າວເຖິງວ່າເປັນແຜນການ; ບໍ່ວ່າມັນຮັກສາເລື່ອງຄວາມຊັກຊ້າ ຫຼື ຄວາມໄວໃນການຊື້ຂາຍເພື່ອຄວາມເລິກແມ່ນຍັງບໍ່ທັນໄດ້ຕົກລົງກັນ. ການປັບແຕ່ງ CLM-8B ຢ່າງລະອຽດດ້ວຍກົດລະບຽບ lint ຂອງທ່ານເອງ, ນຳໃຊ້ CLI, ແລະ ການຕິດຕາມ monorepo ແມ່ນເສັ້ນທາງທີ່ເປັນຈິງໄປສູ່ຕົວເລກທີ່ເຂັ້ມແຂງ - ບໍ່ແມ່ນເວດມົນ zero-shot ໃນມື້ທຳອິດ. ທີມອາດຈະຮັກສາທັງສອງຂະໜາດຖ້າພວກເຂົາລົງຈອດ: 8B ສຳລັບ hot loops, 35B ສຳລັບການວາງແຜນທີ່ຍາກ. ນ້ຳໜັກເປີດຍັງເຮັດໃຫ້ການໃຊ້ຜິດງ່າຍຂຶ້ນ, ສະນັ້ນ guardrails ແລະ ຂີດຈຳກັດອັດຕາແມ່ນຜະລິດຕະພັນ, ບໍ່ແມ່ນ cosplay ທາງເລືອກ.

ຂ້ອຍຄວນອ່ານການປຽບທຽບ Jev ແນວໃດໂດຍບໍ່ຖືກຫິມະຕົກ?

ການປຽບທຽບລະດັບ Jev ໃຫ້ peer anchor "ໄວຂຶ້ນເຖິງ 9 ເທົ່າ", ເຊິ່ງຊ່ວຍໃຫ້ pitch ລົງຈອດ. ອັນຕະລາຍແມ່ນການຍຸບຂະໜາດ batch, ຄວາມແມ່ນຍຳ, ຄວາມຍາວຂອງ context, ແລະ tool-call serialization ເຂົ້າໄປໃນຕົວຄູນດຽວ. ເມື່ອ chatter ອ້າງອີງເຖິງ ~32 ms-class responses, ໃຫ້ຖາມວ່ານັ້ນໝາຍເຖິງ first token, full action JSON, ຫຼື cached prefix. ວັດແທກຄວາມສຳເລັດຂອງໜ້າວຽກ, ໂດລາຕໍ່ ticket ທີ່ແກ້ໄຂແລ້ວ, ແລະອັດຕາການແຊກແຊງຂອງມະນຸດໃນ stack ຂອງທ່ານ. ເລື່ອງລາວການແຂ່ງຂັນບັງຄັບໃຫ້ຫ້ອງທົດລອງເຜີຍແຜ່ຕົວເລກ; KPIs ການຜະລິດຂອງທ່ານຍັງຕັດສິນໃຈ.

ຜູ້ກໍ່ສ້າງຄວນເຮັດແນວໃດກ່ອນທີ່ຈະເອົາ CLM-8B ໃສ່ໃນຕົວແທນການຜະລິດ?

ແກະສະຫຼັກຊິ້ນສ່ວນທີ່ສຳຄັນຕໍ່ຄວາມຊັກຊ້າ - ເຊັ່ນ: terminal micro-loop - ແລະ A/B ປັບແຕ່ງໃຫ້ເໝາະສົມກັບ workhorse ປະຈຸບັນຂອງທ່ານດ້ວຍ harness ທີ່ຄົງທີ່. ລະວັງການກະທຳທີ່ຜິດພາດແຕ່ໄວ; ເພີ່ມການຢັ້ງຢືນ, ມັກເຄື່ອງມືທີ່ສາມາດປີ້ນກັບກັນໄດ້, ແລະ ວາງແຜນງົບປະມານໃຫ້ໃຊ້ເຫດຜົນທີ່ຊ້າກວ່າເມື່ອຄວາມໝັ້ນໃຈຕໍ່າ. ຕິດຕາມການກະທຳຕໍ່ວິນາທີຕໍ່ GPU, ບໍ່ພຽງແຕ່ໂທເຄັນຕໍ່ວິນາທີເທົ່ານັ້ນ. ຢ່າຕິດຄວາມລັບການຜະລິດໃສ່ຕົວແທນທົດລອງ, ແລະ ປະສະຕິກເກີ CLAIM ໄວ້ໃນທຸກໆຕາຕະລາງກົດຈົນກວ່າການແລ່ນຂອງທ່ານເອງຈະລົງ.

ຂ້ອຍຈະສ້າງການປະເມີນຄວາມຊັກຊ້າຂອງຈຸນລະພາກທີ່ຍຸດຕິທຳສຳລັບການຮຽກຮ້ອງ CLM-8B ທີ່ Just Dropped ໄດ້ແນວໃດ?

ແຊ່ແຂງຊຸດຮ່ອງຮອຍການທົດສອບຄວາມລົ້ມເຫຼວທີ່ແທ້ຈິງຈຳນວນໜ້ອຍ, ຮັກສາໂຄງຮ່າງເຄື່ອງມື ແລະ ລາຍຊື່ອະນຸຍາດດຽວກັນໃນທົ່ວຮູບແບບຕ່າງໆ, ແລະ ບັນທຶກຂັ້ນຕອນ, ໂມງ, ຄວາມສຳເລັດ, ແລະ ການແຊກແຊງຂອງມະນຸດ. ໃຊ້ CLM-8B ສະເພາະໃນຂັ້ນຕອນ "ເລືອກການກະທຳທີ່ສາມາດປີ້ນກັບຄືນໄດ້ຕໍ່ໄປ" ຖ້າທ່ານຮັກສາຊ່ອງຫຼົບໜີທີ່ພິຈາລະນາຢ່າງລະອຽດສຳລັບປີ້ໃໝ່. ຕິດປ້າຍໃຫ້ຜູ້ຂຽນ ~9×, DeepSWE, ແລະ ຕົວເລກມິນລິວິນາທີເປັນ CLAIM ຈົນກວ່າສາຍຮັດນີ້ຈະສະແດງໄຊຊະນະໃນຄວາມສຳເລັດ ແລະ ຄວາມຊັກຊ້າຮ່ວມກັນ. ການປະເມີນຜົນທີ່ສຸມໃສ່ນັ້ນດີກ່ວາການຂຽນການຜະລິດຄືນໃໝ່ໃນຊຸດສະໄລ້.

ເອກະສານອ້າງອີງ

1. ໜ້າກອດ — ຮູບແບບພາສາທີ່ກົງກັນຂ້າມ (CLM-v0.1-8B) — huggingface.co
2. GitHub — Contrastive-LM / CLM — github.com
3. ມະຫາວິທະຍາໄລສະແຕນຟອດ — Azalia Mirhoseini — cs.stanford.edu
4. ແຈັກກີ້ ຄວອກ — jackyk02.github.io
5. X — ການແນະນຳຂອງ Jacky Kwok — x.com
6. DeepSWE — deepswe.datacurve.ai
7. Snorkel AI — Terminal-Bench 2.1 — snorkel.ai
8. ເຈວ — jevtypesafeai.com