A ydych chi erioed wedi edrych ar y cod a gynhyrchir gan eich LLM hoff?
Ac yn anad dim ei berffaid, rhwng geiriogrwydd y cod a gynhyrchir, ei gost gynhyrchu a chyflymder gweithredu'r sgript?
Profais, trwy OpenCode Go (10 USD/mis), sawl LLM ar broMPT syml: "Gwnewch sgript PHP sy'n defnyddio ffeil XML 100,000-cofnod mor gyflym â phosibl."
Yn y diwedd, profais 6 LLM (ar hyn o bryd rwy'n defnyddio DeepSeek v4.1 Flash yn drwm, ac rwy'n ei chael yn rhyfeddol ar gyfer codio).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon a Claude Haiku 5.5.
A'r canlyniadau ar y cais hwn yw'r canlynol:
Y cod mwyaf cryno a gynhyrchir gan GPT-6 Luna, mewn 29 eiliad, am gost o 0.00156 USD! Dyma fy syndod mawr o'r prawf: mae OpenAI 10 gwaith yn rhatach gyda Luna na DeepSeek…
Y sgript gyflymaf a gynhyrchir gan DeepSeek v4.1 Flash, sy'n cyrraedd 528,000 cofnod/eiliad ar brosesu ffeiliau.
Mae wir yn cymryd dim ond 189 ms i dosrannu'r 100,000 o gofnodion XML!
Mae'n dewis defnyddio XMLReader mewn ffrydio… ac mae'r cyflymaf.
Mae Claude Haiku 5.5 hefyd yn rhad yn y meincnod hwn, yn cynhyrchu'r cod yn gyflym iawn (17 eiliad), yn erbyn 115 eiliad (bron 7 gwaith yn fwy) i DeepSeek, ond mae'n cynhyrchu cod sydd ymhlith y rhai arafaf i'w gweithredu.
O ran cymhareb perfformiad / cyflymder / cost, mae DeepSeek ar y blaen ar yr un hon, os rhoddir blaenoriaeth i gyflymder gweithredu'r cod a gynhyrchir.
Mae Grok yn ddrud iawn (20 gwaith yn fwy na DeepSeek), ond mae'n dod yn ail o ran perfformiad.
Mae Luna 10 gwaith yn rhatach na DeepSeek, i ddod yn bedwerydd o ran perfformiad, gyda chynhyrchu hynod o gyflym (29 eiliad).
Yr hyn sy'n ddiddorol yn yr ymarfer bach hwn yw nad ydym yn syml yn mesur gallu LLM i gynhyrchu cod gweithredol, ond hefyd ei allu i wneud y dewisiadau technegol cywir, i osgoi geiriogrwydd diangen ac i gynhyrchu rhaglen wirioneddol berfformiadol.
Ac, yn amlwg, nid y model drutaf yw'r un sy'n cynhyrchu'r cod gorau o reidrwydd.
Mae hyn hefyd yn darlunio problem arall: pa fodelau ar gyfer pa dasgau…
Mae trefnu (da) yn mynd i ddod yn fater cynyddol bwysig.
Ffynonellau LinkedIn
- Proffil: Pierre Jean Duvivier dit Sage (LinkedIn)
Ymddangosodd y post A ydych chi erioed wedi edrych ar y cod a gynhyrchir gan eich LLM hoff? gyntaf ar les plumes qui mordent.
Cwestiynau Cyffredin
Cwestiynau Cyffredin Edrych ar y Cod a Gynhyrchir gan eich LLM Hoff
1 Beth mae edrych ar y cod a gynhyrchir gan LLM yn ei olygu
Mae'n golygu darllen rhedeg ac adolygu'r cod y mae cynorthwyydd AI yn ei roi i chi yn lle ei gopïo a'i ludo'n ddall
2 Pam ddylwn i drafferthu darllen cod a gynhyrchir gan AI
Oherwydd gall LLMs fod yn hyderus ac yn anghywir Mae darllen y cod yn eich helpu i ddal bygiau materion diogelwch a gwallau rhesymeg cyn iddynt gyrraedd eich prosiect
3 A oes angen i mi fod yn arbenigwr i adolygu cod AI
Na Hyd yn oed mae darllen sylfaenol yn helpu gallwch sylwi ar broblemau amlwg fel cyfrineiriau caled diffyg trin gwallau neu god nad yw'n cyfateb i'r hyn y gwnaethoch ofyn amdano
4 Pa fathau o gamgymeriadau mae LLMs yn aml yn eu gwneud mewn cod
Mae materion nodweddiadol yn cynnwys ffwythiannau neu lyfrgelloedd a freuddwydiwyd APIs hen ffasiwn gwallau oddi-ar-un colli achosion ymylol a diofyn anniogel
5 A all cod a gynhyrchir gan AI gynnwys bregusrwydd diogelwch
Gall Ydy Mae modelau weithiau'n cynhyrchu cod â risgiau chwistrellu SQL dilysu mewnbwn gwan neu gyfrinachau agored Bob amser adolygwch cyn anfon
6 Pam mae'r cod weithiau'n cyfeirio at ffwythiannau neu becynnau nad ydynt yn bodoli
Mae LLMs yn rhagweld testun sy'n edrych yn gredadwy felly gallant ddyfeisio APIs Gelwir hyn yn freuddwydio bob amser gwiriwch fod mewnforion a ffwythiannau yn bodoli mewn gwirionedd
7 A yw cod a gynhyrchir gan AI fel arfer yn gywir
Mae'n aml yn agos ond fel arfer nid yw agos yn ddigon da ar gyfer cynhyrchu Triniwch ef fel drafft cyntaf nid ateb terfynol
8 Beth yw'r ffordd gyflymaf i wirio cod AI
Rhedwch ef ar achos prawf bach darllenwch ef linell wrth linell a gwiriwch fod pob mewnforiad a galwad ffwythiant yn real Yna profwch achosion ymylol
9 A ddylwn i brofi cod a gynhyrchir gan AI yn wahanol i fy nghod fy hun
Ddim wir ond profwch ef yn drylwyr yn enwedig achosion ymylol a llwybrau gwall gan na fydd y model wedi ystyried hwy o bosibl
10 A allaf ymddiried mewn cod AI os yw'n edrych yn lân ac wedi'i fformatio'n dda
Na Nid yw fformatio glân yn dweud dim am gywirdeb Mae rhai o'r cod AI mwyaf argyhoeddiadol yn edrych yn gyfrwys wedi torri
11 Beth yw manteision adolygu cod AI yn lle ei wrthod yn llwyr
Rydych yn cael cyflymder cynhyrchu AI ynghyd â diogelwch barn ddynol ac rydych yn aml yn dysgu patrymau neu ddulliau newydd ar hyd y ffordd
12 Sut gwn i a ddefnyddiodd yr AI lyfrgell neu API hen ffasiwn
Gwiriwch y
