ملکرد بهینه چراغ کنترلی موجب بهبود جریان ترافیک و جلوگیری از ازدحام در تقاطعها میشود،کنترل چراغ ترافیکی مسئله پیچیدهای میباشد از این رو الگوریتم های هوشمند متنوعی بر اساس منطق فازی، الگوری‌های تکاملی، یادگیری تقویتی و راه‌حلهای مبتنی بر شبکههای عصبی پیشنهاد گشته است. در ادامه روشهای مذکور با جزییات بیشتر بررسی می‌گردد.
-1 یادگیری تقویتی در یادگیری تقویتی عامل با تعامل با محیط سعی در انتخاب سیاست بهینه در حالت فعلی برای انتقال به حالت ثانویه و نهایتا رسیدن به یک هدف مشخص را دارد. در حیطه مهندسی ترافیک کنترلکننده مترادف با عامل و محیط همان پیرامون کنترل کننده، جاده ها و ترافیک خودروها میباشد. در واقع کنترلکننده بر اساس سیاست تعیین‌شده تصمیم می‌گیرد و عمل می‌نماید که در این جا عمل مورد نظر تغییر وضعیت چراغهای راهنمایی است. این روش بر اساس یادگیری مبتنی بر سعی و خطا استوار است و عامل با گذشت زمان سیاست بهینه را اتخاذ می‌نماید. به این ترتیب که عامل و محیط در گامهای زمانیt=0,1,2,.. با هم در تعامل هستند در هرگام عامل از وضعیت فعلی ، S فظای حالت ممکن محیط(در بحث ما وضعیت ترافیک مدنظر است) عمل را انجام میدهد، نیز مجموعه اعمال قابل انجام در وضعیت میباشد. سپس عامل به موقعیت انتقال می یابد و پاداش را دریافت می‌نماید. عامل با توجه به اطلاعات هر حالت(s) مانند انتقال وضعیت‌های ممکن، پاداش و اعمال قابل انجام سیاست خود را در هر گام بهینه می نماید. به عنوان مثال نشان می دهد که عامل در موقعیتs به احتمال p عمل a را انجام می دهد]22[. شکل 2 13 دیاگرام تعامل محیط و عامل در ]20[ و ]23[ سیستم‌های چندعامله برای مدیریت چهارراه پیشنهاد شده‌است. در]20[هریک از کنترل کننده های مستقر در چهارراه به عنوان یک عامل در نظر گرفته شده و زمانبندی چراغ‌ها در قالب چند-چهارراهی صورت می‌پذیرد. ]23[ نیز خودروها و چهارراه را در قالب عامل معرفی می کند که با بهره‌گیری از تجهیزات ارتباطی اقدام به ارسال اطلاعات مفید به سایر عامل‌ها می‌نمایند، حوزه زمانبندی در این تحقیق به صورت تک-چهارارهی میباشد. در ]24[ و ]25[ راه کارهایی بر اساس Q-learning ارائه شده‌است. در این مقالات فضای حالات ترکیب طول‌های مختلف صف های منتهی به چهارراه‌ها در چهار جهت در نظر گرفته شده است. همچنین اعمالی که عامل انجام میدهد متناظر با توسعه یک فاز و یا تغییر آن است. پاداش نیز با در نظر داشتن کاهش میانگین زمان انتظار خودروها به عامل اهدا می گردد. 2-7-3-2 کنترل فازی منطق فازی یک ابزار قدرتمند برای حل مسائل غیرقطعی و غیرخطی میباشد که سعی در شبیه سازی منطق انسانی دارد. همان طور که می‌دانیم یک پلیس راهنمایی و رانندگی بر اساس دانش کیفی و فازی اقدام به استدلال و تصمیمگیری می‌نماید]26[.ﻳﻚ ﻛﻨﺘﺮﻝ ﻛﻨﻨﺪﻩ ﻓﺎﺯﻱ ﺍﺯ ﭼﻬﺎﺭ ﺑﺨﺶ ﺍﺻﻠﻲ ﺗﺸﻜﻴﻞ ﺷﺪﻩ ﺍﺳﺖ. ﻓﺎﺯﻱ ﻛﻨﻨﺪﻩ، ﭘﺎﻳﮕـﺎﻩ ﻗﻮﺍﻋـﺪ، موتر استنتاج و ﻏﻴﺮ ﻓﺎﺯﻱ ﻛﻨﻨﺪﻩ. دیاگرم کلی یک کنترلکننده فازی در شکل (4) نمایش داده شده‌است. شکل 2 14 دیاگرام کنترل کننده فازی ﺍﻭﻟﻴﻦ ﺑﻠﻮﻙ ﺩﺍﺧﻞ ﻛﻨﺘﺮﻝ ﻛﻨﻨﺪﻩ، ﻓﺎﺯﻱ ﻛﻨﻨﺪﻩ ﻣﻲﺑﺎﺷﺪ، ﻛﻪ ﺩﺭ ﺁﻥ ﺩﺭﺟﻪ ﺗﻌﻠﻖ ﻣﻘـﺎﺩﻳﺮ ﻭﺭﻭﺩﻱ ﺑـﻪ ﺗـﺎﺑﻊﺗﻌﻠﻘﻬﺎﯼ ﻣﺨﺘﻠﻒ ﻣﺤﺎﺳﺒﻪ ﻣﻲﺷﻮﺩ. به عنوان مثال در شکل() درجه عضویت متغیرX که مقداری مابین 0 و 1 است را ملاحظه می‌نمایید.قسمت دوم پایگاه قوانین است،ﻫﺮ ﻛﻨﺘﺮﻝ ﻛﻨﻨﺪﻩ ﻓﺎﺯﻱ ﺍﺯ ﺗﻌﺪﺍﺩﻱ " ﺍﮔﺮـ ﺁﻧﮕﺎﻩ" ﺑﻪ ﻋﻨﻮﺍﻥ ﭘﺎﻳﮕﺎﻩ ﻗﻮﺍﻋﺪ ﺍﺳﺘﻔﺎﺩﻩ ﻣﻲﻛﻨﺪ. به عنوان مثال قوانین می تواند به فرمت زیر باشد : If X=small then Y=good; ﺑﻪ ﺩﻟﻴﻞ ﺍﻳﻨﻜﻪ ﻫﺮ ﭘﺎﻳﮕﺎﻩ ﻗﻮﺍﻋﺪ ﻓﺎﺯﻱ ﺩﺭ ﻋﻤﻞ ﺷﺎﻣﻞ ﺑﻴﺶ ﺍﺯ ﻳﻚ ﻗﺎﻋﺪﻩ ﻣﻲﺷﻮﺩ، ﺳﺌﻮﺍﻝ ﺍﺳﺎﺳﻲ ﺍﻳـﻦﺍﺳﺖ ﻛﻪ ﭼﮕﻮﻧـﻪ ﻣـﻲﺗـﻮﺍﻥ ﺍﺯ ﺭﻭﻱ ﻳـﻚ ﻣﺠﻤﻮﻋـﻪ ﺍﺯ ﻗﻮﺍﻋـﺪ ﻧﺘﻴﺠـﻪﮔﻴـﺮﻱ ﻛـﺮﺩ. در واقع انتخاب و تعیین نتیجه از مجموعه قوانین برقرار حاصل از ورودی ها به عهده موتور استنتاج است. ﺩﻭ ﺭﻭﺵ ﺑـﺮﺍﻱﻧﺘﻴﺠﻪﮔﻴﺮﻱ ﻭﺟﻮﺩ ﺩﺍﺭﺩ،ﺍﺳﺘﻨﺘﺎﺝ ﻣﺒﺘﻨﻲ ﺑﺮ ﺗﺮﮐﻴﺐ ﻗﻮﺍﻋﺪ ﻭ ﺍﺳﺘﻨﺘﺎﺝ ﻣﺒﺘﻨﯽ ﺑﺮﻗﻮﺍﻋﺪ ﺟﺪﺍﮔﺎﻧﻪ برای مطالعه بیشتر به[55] مراجعه کنید. نهایتا ﻣﺠﻤﻮﻋﻪ ﻓﺎﺯﻱ ﻧﺘﻴﺠﻪ ﺍﺳﺘﻨﺘﺎﺝ ﺑﺎﻳﺪ ﺗﺒﺪﻳﻞ ﺑﻪ ﻳﻚ ﻋﺪﺩ ﻏﻴﺮ ﻓﺎﺯﻱ ﺷﻮﺩ ﺗﺎ ﺑﺘﻮﺍﻥ ﺧﺮﻭﺟﻲ ﻣﺘﻨﺎﺳﺐ ﺑﺎ ﺁﻥ ﺭﺍ ﺑﻪ ﻋﻨﻮﺍﻥ ﺳﻴﮕﻨﺎﻝ ﻛﻨﺘﺮﻝ ﺑﻪ ﻓﺮﺁﻳﻨﺪ ﺍﻋﻤﺎﻝ ﻛﺮﺩ. ﺍﻳﻦ ﻋﻤﻞ ﺭﺍ ﻏﻴﺮﻓﺎﺯﻱ ﺳﺎﺯﻱ ﻣﻲ ﻧﺎﻣﻨﺪ. فرایند تصمیمگیری و استدلال در چنین سیستمی به این‌ترتیب است، کنترلکننده برای هر خط چهارراه تعداد خودروهای ورودی را با مفهایم فازی مانند کم، متوسط، زیاد و... ثبت میکند سپس با استفاده از این اطلاعات کیفی تصمیم به تغییر فاز و یا توسعه چراغ سبز می‌گیرد. لی و همکاران]27[ طی یک تحقیق سیستمی مبتنی بر منطق فازی جهت کنترل جریان ترافیک مجموعه‌ای از چهارراه ها ارائه نموده‌اند، در این تحقیق کنترل‌کنندهها با اطلاعات دریافتی از تقاطع‌های بالا و پایین دست چراغهای راهنمایی را برای ایجاد موج سبز زمانبندی می‌نمایند. در]28[کنترلکننده فازی دو مرحله‌ای پیشنهاد گشته است که با توجه به اطلاعات دریافتی ازloop detector های تعبیه شده در راه‌های منتهی به تقاطع حجم و طول صف‌ها را به صورت بلادرنگ تخمین می‌زند و به صورت فازی تصمیمگیری میکند . کارهای ]29[،]30[، 32[و ]31[ کنترل‌کننده‌هایی برای زمانبندی تک-چهارراهی بر اساس منطق فازی ارائه کرده‌اند که با بهره‌گیری از حس‌گرهای نصب‌شده در هر مسیر منتهی به چهارراه وضعیت ترافیک را پیشبینی می‌نماید. از قابلیت‌های ویژه]29[و]32[ علاوه بر کنترل بهینه ترافیک در وضعیت عادی در حالات ویژه و استثنایی همچون رخ دادن تصادفات جاده‌ای و تغییر ناگهانی الگوی ترافیک عملکرد مناسبی دارند. ]33[ نیز بر اساس منطق فازی الگوریتمی برای زمانبندی شبکه ای از چهارراه‌ها(چند-چهارراهی) پیشنهاد نموده است، قوانین فازی مورد استفاده قرار گرفته در این اثر حول پارامترهای مانند طول سیکل ها و اختلاف فاز چهارراه‌ها میباشد. 2-7-3-3 شبکه های عصبی مصنوعی شبکه های عصبی مصنوعی(ANN)در بسیاری از شاخه‌های علمی برای حل مسایل پیچیده و غیرخطی کاربرد دارند. ANNها شامل شبکه‌ای از نرون‌ها هستند که غالبا به عنوان یک سیستم تطبیقی در جریان فاز آموزش با بهره گرفتن از اطلاعات دریافتی، پارامترهای تصمیمگیری را تنظیم می‌نمایند و نهایتا یک الگو دسته بندی و تصمیمگیری یا در برخی موارد راه‌حلی برای مسئله‌های پیچیده می‌یابند. نخستین کار برد شبکه های عصبی در کنترل سیستم ها توسط ویدرو در سال 1963 ارائه شده است. یک شبکة عصبی ساده خطی آموزش می بینید آنگونه که یک پاندول معکوس را کنترل نماید (پایدار سازد ).در خلال 1970 تا 1980 شبکه های عصبی به نام cmac توسط آلبوس (albus) برای کنترل بلادرنگ بازو های ربات معرفی و مورد استفاده قرار گرفت. در خلال 1980 تا 1990 ، بسیاری دیگر از شبکه های عصبی استاتیکی و دینامیکی و معماری ic آنها پیشنهاد و پیاده سازی شدند. شبکه های عصبی mlp با کاربرد های بسیار وسیع در مسائل فنی و مهندسی ارائه شدند. شکل 2 15دیاگرام کنترل کننده آموزنده بر اساس ANN ANN ها دارای معایبی نیز می باشند؛ دستورات مشخصی برای طراحی شبکه جهت یک کاربرد اختیاری وجود ندارد،دقت نتایج بستگی زیادی به اندازه مجموعه آموزش دارد، آموزش شبکه ممکن است مشکل یا حتی غیرممکن باشد،پیشبینی عملکرد آینده شبکه (عمومیت یافتن) آن به سادگی امکان‌پذیر نیست. در مقالات ]34],[35[ کنترلکننده‌های با قابلیت خود-اموزشی بر اساس ANN برای زمانبندی چراغ‌راهنما ارائه شده است، این سیستم‌ها از دو قسمت شبکه عصبی و واحد ارزیابی عملکرد متشکل شده‌اند. قسمت شبکه عصبی متناوبا در حال یادگیری میباشد و قسمت ارزیابی دایما عملکرد را بررسی می‌نماید زمانی که آموزش‌ها کامل شد ANN مسولیت سیگنالدهی چراغ را بر عهده می‌گیرد. برخی تحقیقات مانند]36[و]37[ از ترکیب شبکه نرون‌ها و کنترل فازی سیستم‌های متفاوتی را برای زمانبندی چراغ ترافیکی پیشنهاد نموده‌اند. در این تحقیقات بر اساس متدهای نرون-فازی برای پیشبینی طول صف و وضعیت ترافیک در سیکل بعدی روش‌هایی ارئه شده است. با توجه به نتایج بدست آمده طی این تحقیقات شبکهی نرون‌های فازی عملکرد بهتری از تکنیک‌های مجزای فازی یا ANN دارد. 2-7-3-4 الگوریتم‌های تکاملی ارائه زمانبندی بهینه یکی از مسائل مهم در حوزه کنترل ترافیک میباشد. باتوجه به غیرخطی بودن این مسئله و پیچیدگی زمانی بالا برای مسائل بزرگ بدست‌آوردن بهینگی سراسری به عنوان یک چالش مطرح می‌گردد. از اینرو الگوریتم‌های تکاملی راهکاری برای مقابله با این چالش میباشد. در]38[ مسئله بهینه‌سازی مدل شده برای زمانبندی چراغ‌کنترلی با بهره‌گیری از الگوریتم ژنتیک حل شده‌است، در مسئله مذکور هدف یافتن بهینه‌ترین زمانبندی برای 4 تقاطع با اختصاص 9 متغییر تصمیمگیری میباشد. در این مدل 9 متغییر با 24 بیت کد شده است، نتایج بدست آمده حاکی از موفقیت الگوریتم پیشنهادی برای رسیدن به بهینگی سراسری است. دربرخی تحقیقات مانند]39[ یک روش کنترلی بر اساس الگوریتم ژنتیک بهبودیافته برای منطقه شهری ارائه شده است. این الگوریتم به صورت دوره‌ای در فاصله های 5 تا 30 دقیقه‌ای زمانبندی بهینه را تعیین می‌نماید و تا حد ممکن بهینه‌ترین طول سیکل و اختلاف فاز را برای چهارراه‌های مجاور مشخص میکند. چن کان]40[ مدلی را برای یافتن بهینه ترین زمانبندی ترافیک ارائه نموده است که تابع هدف آن را کمینه سازی زمان انتظار تمام خودروهای وارد شده به چهارراه در نظر گرفته‌است، همچنین جهت تخمین زمان انتظار هر خودرو از مدل میانگین تاخیر خودرو وبستر بهره جسته‌است]17[. در مدل پیشنهادی طول فازها به عنوان متغییر تصمیمگیری و همچنین کمینه و بیشینه طول چراغ سبز به عنوان محدودیتهای اصلی مسئله درنظر گرفته شده است. ]41[و]42[ برای حل مشکل گیرافتادن در بهینگی محلی راهکارهایی بر اساس بهینه سازی ازدحام ذرات(PSO) ارائه شده‌است. ماهیت این الگوریتم‌ها بر جستجوی اجتماعی و جمعی میباشد که از روی رفتار و حرکت جمعی پرندگان مدل شده‌است. شبیه سازی‌ها نشان داده که این دسته از روش‌ها سرعت همگرایی بالای دارند. نهایتا ]43[ از الگوریتم مورچگان بهبودیافته برای چیره‌گشتن بر این مسئله بهره گرفته‌است، به این ترتیب که فضای مسئله را که قاعدا بزرگ میباشد جهت کاهش پیچیدگی محاسبات به چند زیرناحیه تقسیم نموده است. بررسی نتایج حاکی از بهبود و کاهش یافتن سربار محاسباتی این روش میباشد، باتوجه به کاربرد موردنظر ما که مبنی بر دریافت اطلاعات بلادرنگ ترافیکی و اتخاذ تصمیم در سریع‌ترین زمان ممکن است مزیت قابل قبولی به شمار می‌رود.