جداسازی باینری و دستگاه های بردار پشتیبانی از آموزش*

ما ایده های اساسی از جدایی باینری را توسط یکپرپلن خطی معرفی می کنیم ، که تکنیکی است که در مفهوم دستگاه بردار پشتیبانی (SVM) مورد بهره برداری قرار می گیرد. این یک ابزار تصمیم گیری برای تشخیص الگوی و مشکلات مرتبط است. ما یک مشکل استاندارد اساسی (SP) را توصیف می کنیم و نشان می دهیم که چگونه از این در بیشتر تحقیقات موجود برای تهیه یک الگوریتم مبتنی بر دوگانه برای راه حل آن استفاده می شود. این الگوریتم از جنبه های خاصی کمبود دارد و ما یک الگوریتم جدید مبتنی بر SQP مبتنی بر Primal را تهیه می کنیم ، که دارای ویژگی های جالب است. بیشتر مشکلات SVM عملی توسط یکپرپلن خطی به اندازه کافی اداره نمی شود. ما تکنیک SVM غیرخطی را توصیف می کنیم ، که باعث می شود یک سطح جداکننده غیرخطی محاسبه شود ، و ما یک الگوریتم اولیه جدید را بر اساس استفاده از عوامل کم حجم کمتری پیشنهاد می کنیم.

با این وجود ، ممکن است جدایی دقیق به دلیل وجود داده های نامشخص یا گمراهی مطلوب نباشد. برخورد با این وضعیت چالش اصلی در توسعه الگوریتم های مناسب است. الگوریتم های دوگانه موجود از ایده مجازات L 1 استفاده می کنند ، که دارای شایستگی است. ما پیشنهاد می کنیم که چگونه می توان مجازات ها را در یک الگوریتم مبتنی بر ابتدایی قرار داد. جنبه دیگر مشکلات SVM عملی اغلب اندازه عظیم مجموعه داده ها است که هم برای توسعه بسته های نرم افزاری و هم برای کنترل عدم تهویه ، چالش های شدیدی را ایجاد می کند. ما برخی از این موضوعات را با آزمایش های عددی در مورد طیف وسیعی از مشکلات نشان می دهیم.

گزینه های دسترسی

با استفاده از یکی از گزینه های دسترسی در زیر ، به نسخه کامل این محتوا دسترسی پیدا کنید.(گزینه های ورود به سیستم دسترسی به نهادی یا شخصی را بررسی می کنند. در صورت دسترسی به محتوا ممکن است نیاز به خرید داشته باشد.)

منابع

منابع

Agarwal ، S. and Niyogi ، P. (2009) ، "مرزهای عمومی سازی برای رتبه بندی الگوریتم ها از طریق ثبات الگوریتمی" ، J. Mach. فرا گرفتن. res10 ، 441 - 474. Google Scholar

Beett ، K. P. and Parrado-Heández ، E. (2006) ، "تعامل بهینه سازی و تحقیقات یادگیری ماشین" ، J. Mach. فرا گرفتن. res7 ، 1265 - 1281. Google Scholar

Bordes ، A. ، Ertekin ، S. ، Weston ، J. and Bottou ، L. (2005) ، "طبقه بندی سریع هسته هسته با یادگیری آنلاین و فعال" ، J. Mach. فرا گرفتن. res6 ، 1579 - 1619. Google Scholar

Boser ، B. E. ، Guyon ، I. and Vapnik ، V. N. (1992) ، یک الگوریتم آموزش برای طبقه بندی کننده های بهینه حاشیه. در Proc. پنجمین کارگاه سالانه ACM در مورد تئوری یادگیری محاسباتی (Haussler ، D. ، Ed.) ، ACM Press ، Pittsburgh ، صص 144 - 152. Google Scholar

Bottou ، L. and Lin ، C.-J.(2007) ، حلال های دستگاه بردار پشتیبانی. در دستگاه های هسته در مقیاس بزرگ (Bottou ، L. ، Chapelle ، O. ، Decoste ، D. and Weston ، J. ، eds) ، The MIT Press ، صص 301 - 320. Google Scholar

Burges ، C. J. and Schölkopf ، B. (1997) ، بهبود دقت و سرعت دستگاه های بردار پشتیبانی. در پیشرفت در سیستم های پردازش اطلاعات عصبی ، جلد. 9 ، The MIT Press ، صص 375 - 381. Google Scholar

Burges ، C. J. C. (1998) ، "آموزش مربوط به دستگاه های بردار پشتیبانی برای تشخیص الگوی" ، داده های حداقل. دانشDiscovery 2 ، 121 - 167 . CrossrefGoogle Scholar

Capoetto ، A. and Rosasco ، L. (2004) ، دستگاه های بردار پشتیبانی غیر استاندارد و شبکه های منظم. گزارش فنی DISI-TR-04-03 ، دانشگاه Genoa ، ایتالیا. Google Scholar

Catanzaro ، B. ، Sundaram ، N. and Keutzer ، K. (2008) ، آموزش سریع و طبقه بندی دستگاه بردار پشتیبانی سریع در پردازنده های گرافیکی. در Proc. 25 مین کنفرانس بین المللی یادگیری ماشین ، هلسینکی ، فنلاند ، صص 104 - 111. Google Scholar

چانگ ، C.-C. و لین ، C.-J.(2001) ، LIBSVM: کتابخانه ای برای دستگاه های بردار پشتیبانی. www. csie. ntu. edu. tw/~CJLIN/LIBSVMGoogle Scholar

چانگ ، C.-C.، Hsu ، C.-W. و لین ، C.-J.(2000) ، "تجزیه و تحلیل روش های تجزیه برای دستگاه های بردار پشتیبانی" ، IEEE Trans. شبکه های عصبی 11 ، 1003 - 1008 . crossrefgoogle ScholarPubmed

Chang ، E. ، Zhu ، K. ، Wang ، H. ، Bai ، H. ، Li ، J. ، Qiu ، Z. and Cui ، H. (2008) ، موازی سازی دستگاه های بردار پشتیبانی در رایانه های توزیع شده. در پیشرفت در سیستم های پردازش اطلاعات عصبی ، جلد. 20 ، The MIT Press ، صص 257 - 264. Google Scholar

Chapelle ، O. (2007) ، "آموزش یک دستگاه بردار پشتیبانی در Primal" ، رایانه عصبی. 19 ، 1155 - 1178 . CrossrefGoogle ScholarPubmed

چن ، P.-H.، فن ، R.-E. و لین ، C.-J.(2006) ، "مطالعه ای در مورد روشهای تجزیه از نوع SMO برای دستگاه های بردار پشتیبانی" ، IEEE Trans. شبکه های عصبی 17 ، 893 - 908 . CrossrefGoogle ScholarPubMed

Collobert ، R. and Bengio ، S. (2001) ، ‘SVMTORCH: دستگاه های بردار پشتیبانی برای مشکلات رگرسیون در مقیاس بزرگ ، J. Mach. فرا گرفتن. res1 ، 143 - 160. Google Scholar

Cristianini ، N. and Shawe-Taylor ، J. (2000) ، مقدمه ای برای پشتیبانی از ماشین های بردار و سایر روش های یادگیری مبتنی بر هسته ، انتشارات دانشگاه کمبریج . CrossrefGoogle Scholar

Cucker ، F. and Smale ، S. (2001) ، "در مورد مبانی ریاضی یادگیری" ، گاو نر. عامرریاضی. SOC. 39 ، 1 - 49 . CrossRefGoogle Scholar

Cucker ، F. and Smale ، S. (2002) ، "بهترین انتخاب برای پارامتر تنظیم در تئوری یادگیری: در مورد مسئله تعصب-واریانس" ، یافت شد. رایانه. ریاضی. 2 ، 413 - 428 . CrossRefGoogle Scholar

Cucker ، F. and Zhou ، D. X. (2007) ، تئوری یادگیری: دیدگاه تئوری تقریب ، انتشارات دانشگاه کمبریج . CrossrefGoogle Scholar

De Vito ، E. ، Rosasco ، L. ، Capoetto ، A. ، De Giovaini ، U. and Odone ، F. (2005) ، "یادگیری از مثالها به عنوان یک مشکل معکوس" ، J. Mach. فرا گرفتن. res6 ، 883 - 904. Google Scholar

De Vito ، E. ، Rosasco ، L. ، Capoetto ، A. ، Piana ، M. and Verri ، A. (2004) ، "برخی از خواص روش های هسته منظم" ، J. Mach. فرا گرفتن. res5 ، 1363 - 1390. Google Scholar

دونگ ، J.-X.، Krzyzak ، A. and Suen ، C. Y. (2003) ، یک بهینه سازی موازی سریع برای آموزش دستگاه وکتور پشتیبانی. در Proc. سومین کنفرانس بین المللی یادگیری ماشین و داده کاوی (Peer ، P. and Rosenfeld ، A. ، eds) ، جلد. 2734 یادداشت سخنرانی در هوش مصنوعی ، اسپرینگر ، صص 96 - 105. Google Scholar

دونگ ، J.-X.، Krzyzak ، A. and Suen ، C. Y. (2005) ، "الگوریتم آموزش سریع SVM با تجزیه در مجموعه داده های بسیار بزرگ" ، IEEE Trans. الگوی مقعد. ماچاطلاعات 27 ، 603 - 618 . crossrefgoogle ScholarPubmed

Drineas ، P. and Mahoney ، M. W. (2005) ، ‘در روش Nyström برای تقریب یک ماتریس گرم برای یادگیری مبتنی بر هسته" ، J. Mach. فرا گرفتن. res6 ، 2153 - 2175. Google Scholar

Durdanovic ، I. ، Cosatto ، E. and Graf ، H.-P.(2007) ، اجرای SVM موازی در مقیاس بزرگ. در دستگاه های هسته در مقیاس بزرگ (Bottou ، L. ، Chapelle ، O. ، Decoste ، D. and Weston ، J. ، eds) ، The MIT Press ، صص 105 - 138. Google Scholar

Evgeniou ، T. ، Pontil ، M. and Poggio ، T. (2000) ، "شبکه های منظم سازی و دستگاه های وکتور پشتیبانی" ، Adv. رایانه. ریاضی. 13 ، 1 - 50 . CrossRefGoogle Scholar

Fan ، R.-E.، چانگ ، K.-W.، Hsieh ، C.-J.، وانگ ، X.-R. و لین ، C.-J.(2008) ، "lib-linear: کتابخانه ای برای طبقه بندی خطی بزرگ" ، J. Mach. فرا گرفتن. res9 ، 1871 - 1874. Google Scholar

Ferris ، M. C. and Munson ، T. S. (2002) ، "روش های نقطه داخلی برای دستگاه های بردار پشتیبانی گسترده" ، سیام جی. 13 ، 783 - 804 . CrossrefGoogle Scholar

Fine ، S. and Scheinberg ، K. (2001) ، "آموزش کارآمد SVM با استفاده از بازنمایی های هسته ای پایین" ، J. Mach. فرا گرفتن. res2 ، 243 - 264. Google Scholar

Fine ، S. and Scheinberg ، K. (2002) ، Incas: یک روش مجموعه فعال افزایشی برای SVM. گزارش فنی ، آزمایشگاه های تحقیقاتی IBM ، Haifa ، Israel. Google Scholar

Fletcher ، R. (1987) ، روش های عملی بهینه سازی ، edn 2 ، Wiley ، Chichester . Google Scholar

Franc ، V. and Soenburg ، S. (2008 A) ، Libocas: کتابخانه اجرای SOLVER OCAS برای آموزش طبقه بندی کننده SVM خطی از داده های در مقیاس بزرگ. cmp. felk. cvut. cz/~XFRANCV/OCAS/HTMLGOOGLE SCHING

Franc ، V. and Soenburg ، S. (2008 b) ، الگوریتم هواپیمای برش بهینه شده برای دستگاه های بردار پشتیبانی. در Proc. بیست و پنجمین کنفرانس بین المللی یادگیری ماشین ، هلسینکی ، فنلاند ، جلد. 307 ، ACM Press ، نیویورک ، صص 320 - 327. Google Scholar

Gertz ، E. M. and Griffin ، J. D. (2005) ، طبقه بندی کننده ماشین بردار پشتیبانی برای مجموعه داده های بزرگ. گزارش فنی ، بخش ریاضیات و علوم کامپیوتر ، آزمایشگاه ملی آرگون ، USA. Google Scholar

Goldfarb ، D. and Scheinberg ، K. (2004) ، ‘یک روش فاکتورسازی cholesky محصول برای دستیابی به ستون های متراکم در روش های نقطه داخلی برای برنامه نویسی خطی ، ریاضی. برنامهسر. A 99 ، 1 - 34 . CrossRefGoogle Scholar

Graf ، H. P. ، Cosatto ، E. ، Bottou ، L. ، Dourdanovic ، I. and Vapnik ، V. N. (2005) ، دستگاه های بردار پشتیبانی موازی: Cascade SVM. در پیشرفت در سیستم های پردازش اطلاعات عصبی (Saul ، L. ، Weiss ، Y. and Bottou ، L. ، eds) ، جلد. 17 ، The MIT Press ، صص 521 - 528. Google Scholar

Groenen ، P. J. F. ، Nalbantov ، G. and Bioch ، J. C. (2007) ، دستگاه های بردار پشتیبانی غیرخطی از طریق عمده سازی تکراری و I-splines. در پیشرفت در تجزیه و تحلیل داده ها ، مطالعات در طبقه بندی ، تجزیه و تحلیل داده ها و سازمان دانش ، Springer ، صص 149 - 161 . CrossrefGoogle Scholar

Groenen ، P. J. F. ، Nalbantov ، G. and Bioch ، J. C. (2008) ، ‘SVM-MAJ: یک رویکرد عمده سازی به دستگاه های بردار پشتیبانی خطی با خطاهای مختلف لولا" ، Adv. تجزیه و تحلیل داده ها و طبقه بندی 2 ، 17 - 43 . CrossrefGoogle Scholar

Hastie ، T. ، Tibshirani ، R. and Friedman ، J. (2001) ، عناصر یادگیری آماری: داده کاوی ، استنباط و پیش بینی ، Springer . CrossrefGoogle Scholar

هربیچ ، R. (2002) ، طبقه بندی کننده های هسته یادگیری. نظریه و الگوریتم ها ، MIT Press . Google Scholar

Hush ، D. and Scovel ، C. (2003) ، "الگوریتم های تجزیه زمان چند جمله ای برای دستگاه های بردار پشتیبانی" ، یادگیری ماشین 51 ، 51-71 . CrossRefGoogle Scholar

Hush ، D. ، Kelly ، P. ، Scovel ، C. and Steinwart ، I. (2006) ، "الگوریتم های QP با دقت تضمین شده و زمان اجرا برای ماشین های بردار پشتیبانی ، J. Mach. فرا گرفتن. res7 ، 733 - 769. Google Scholar

Joachims ، T. (1999) ، ساخت SVM در مقیاس بزرگ را عملی می کند. در پیشرفت در روش های هسته: پشتیبانی از یادگیری بردار (Schölkopf ، B. ، Burges ، C. J. C. and Smola ، A. ، eds) ، The MIT Press ، صص 169 - 184. Google Scholar

Joachims ، T. (2006) ، آموزش SVM های خطی در زمان خطی. در Proc. دوازدهمین کنفرانس بین المللی ACM SIGKDD در مورد کشف دانش و داده کاوی ، فیلادلفیا ، ACM Press ، نیویورک ، صص 217 - 226 . CrossRefGoogle Scholar

Keerthi ، S. S. and DeCoste ، D. M. (2005) ، "یک روش تغییر یافته محدود نیوتن برای راه حل سریع SVM های خطی در مقیاس بزرگ ، J. Mach. فرا گرفتن. res6 ، 341 - 361. Google Scholar

Keerthi ، S. S. and Gilbert ، E. G. (2002) ، "همگرایی یک الگوریتم SMO تعمیم یافته برای طراحی طبقه بندی SVM" ، یادگیری ماشین 46 ، 351 - 360 . CrossRefGoogle Scholar

Keerthi ، S. S. ، Chapelle ، O. and Decoste ، D. M. (2006) ، "ماشین های بردار پشتیبانی از ساختمان با پیچیدگی طبقه بندی کننده کاهش یافته" ، J. Mach. فرا گرفتن. res7 ، 1493 - 1515. Google Scholar

Keerthi ، S. S. ، Shevade ، S. K. ، Bhattacharyya ، C. and Murthy ، K. R. K.(2001) ، "پیشرفت در الگوریتم SMO Platt ‘S برای طراحی طبقه بندی کننده SVM" ، رایانه عصبی. 13 ، 637 - 649 . CrossrefGoogle Scholar

Kulis ، B. ، Sustik ، M. and Dhillon ، I. (2006) ، یادگیری ماتریس هسته ای با درجه پایین. در Proc. بیست و سومین کنفرانس بین المللی یادگیری ماشین: ICML ، صص 505 - 512 . CrossRefGoogle Scholar

Lecun ، Y. and Cortes ، C. (1998) ، پایگاه داده MNIST از رقم دست نویس. www. research. att. com/~محقق Ya/OCR/Mnistgoogle

Lecun ، Y. ، Bottou ، L. ، Bengio ، Y. and Haffner ، P. (1998) ، "یادگیری مبتنی بر شیب اعمال شده برای تشخیص اسناد" ، 86 ، 2278-2324 . CrossrefGoogle Scholar

لی ، Y.-J. و Mangasarian ، O. L. (2001 الف) ، RSVM: دستگاه های بردار پشتیبانی کاهش یافته. در Proc. اولین کنفرانس بین المللی SIAM در مورد داده کاوی ، شیکاگو ، 5-7 آوریل 2001 ، سیام ، فیلادلفیا ، صص 1 - 16. Google Scholar

لی ، Y.-J. و Mangasarian ، O. L. (2001 b) ، "SSVM: یک دستگاه بردار پشتیبانی صاف برای طبقه بندی" ، Comput. بهینهکاربرد20 ، 5 - 22 . CrossRefGoogle Scholar

لین ، C.-J.(2001 الف) ، همگرایی خطی یک روش تجزیه برای دستگاه های بردار پشتیبانی. گزارش فنی ، گروه علوم کامپیوتر و مهندسی اطلاعات ، دانشگاه ملی تایوان ، تایپه ، تایوان. Google Scholar

لین ، C.-J.(2001 ب) ، "در مورد همگرایی روش تجزیه برای دستگاه های بردار پشتیبانی" ، IEEE Trans. شبکه های عصبی 12 ، 1288 - 1298. Google ScholarPubmed

لین ، C.-J.(2002) ، "همگرایی بدون علامت الگوریتم SMO بدون هیچ گونه فرضیه" ، IEEE Trans. شبکه های عصبی 13 ، 248 - 250. Google ScholarPubmed

Mangasarian ، O. L. (2000) ، دستگاه های بردار پشتیبانی عمومی. در پیشرفت در طبقه بندی های بزرگ حاشیه ، MIT Press ، صص 135 - 146. Google Scholar

Mangasarian ، O. L. (2002) ، "یک روش محدود نیوتن برای طبقه بندی" ، بهینه. نرم افزار Methods 17 ، 913 - 939 . CrossRefGoogle Scholar

Mangasarian ، O. L. (2006) ، "ماشین های بردار پشتیبانی 1-Norm دقیق از طریق به حداقل رساندن محدب محدب بدون محدودیت" ، J. Mach. فرا گرفتن. res7 ، 1517 - 1530. Google Scholar

Mangasarian ، O. L. and Musicant ، D. R. (2001) ، "ماشین های بردار پشتیبانی لاگرانژی" ، J. Mach. فرا گرفتن. res1 ، 161 - 177. Google Scholar

Osuna ، E. ، Freund ، R. and Girosi ، F. (1997) ، دستگاه های بردار پشتیبانی آموزش: برنامه ای برای تشخیص چهره. در Proc. کنفرانس IEEE در مورد چشم انداز رایانه و تشخیص الگوی: CVPR97 ، انجمن رایانه IEEE ، نیویورک ، صص 130 - 136 . CrossRefGoogle Scholar

Platt ، J. C. (1998) ، آموزش سریع دستگاه های بردار پشتیبانی با استفاده از حداقل بهینه سازی متوالی. در پیشرفت در روش های هسته: پشتیبانی از یادگیری بردار (Schölkopf ، B. ، Burges ، C. and Smola ، A. ، eds) ، The MIT Press ، صص 185 - 210. Google Scholar

Platt ، J. C. (1999) ، با استفاده از QP تحلیلی و پراکندگی برای سرعت بخشیدن به آموزش ماشینهای بردار پشتیبانی. در پیشرفت در سیستم های پردازش اطلاعات عصبی (Keas ، M. et al. ، eds) ، جلد. 11 ، The MIT Press ، صص 557 - 563. Google Scholar

Prato ، M. ، Zai ، L. and Zanghirati ، G. (2007) "در مورد الگوریتم های اخیر یادگیری ماشین برای تفسیر فعالیت مغز" ، مجله انجمن الکترومغناطیسی کاربردی کاربردی مجله 22 ، 1939 - 1946. Google Scholar

Scheinberg ، K. (2006) ، "اجرای کارآمد یک روش مجموعه فعال برای SVMS" ، J. Mach. فرا گرفتن. res7 ، 2237 - 2257. Google Scholar