پاییز و زمستان
برگشت به فهرست مقالات |
برگشت به فهرست نسخه ها
1- گروه علوم و مهندسی آبخیزداری، دانشکده منابع طبیعی، دانشگاه ارومیه، ارومیه، ایران
2- گروه مهندسی برق، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی سهند، تبریز، ایران
3- گروه مهندسی عمران، دانشکده مهندسی محیط زیست و عمران، دانشگاه پلیتکنیک میلان، میلان، ایتالیا
2- گروه مهندسی برق، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی سهند، تبریز، ایران
3- گروه مهندسی عمران، دانشکده مهندسی محیط زیست و عمران، دانشگاه پلیتکنیک میلان، میلان، ایتالیا
چکیده: (972 مشاهده)
چکیده مبسوط
مقدمه و هدف: اندازهگیریهای جریان رودخانه و دادههای آن در مدیریت منابع آب، کنترل سیل، حفاظت و احیای رودخانه، بازسازی جریان اهمیت بسزایی دارند. اکثر طرحهای کنترل سیل و دبی طراحی در پروژههای مدیریت و احیای رودخانه توسط تحلیلهای هیدرولوژیکی و هیدرولیکی مبتنی بر دبی مشاهداتی حوزه تخمین زده میشوند. پایه مطالعات هیدرولوژیکی به دادههای آماری مشاهداتی وابسته است و این دادهها در اغلب موارد دارای خطاهای متعدد هستند. داده پرت دادهای است که از نرم طبیعی فاصله گرفته است و باعث بروز خطا در محاسبات میشود. روشهای تشخیص دادههای پرت شامل روشهای نظارت شده، نیمه نظارت شده و نظارت نشده هستند و برخی روشهای مبتنی بر توزیع، مبتنی بر خوشهبندی و مبتنی بر چگالی را شامل میشوند. به دلیل خطای محاسباتی، مقادیر صحیح خاص، گزارش اشتباه و یا خطای نمونهبرداری و همچنین به دلیل خطاهای انسانی و ابزاری ممکن است مواردی مانند ثبت نشدن آمار، ثبت آمار غلط، خرابی یا ازبین رفتن دستگاههای اندازهگیری یا تشخیص دادههای پرت و حذف آنها با عنوان دادههای گمشده پیش آید. بنابراین، تخمین و برآورد این دادهها برای استفاده در مدلها ضروری است و به منظور کاهش بروز خطا باید پیش از به کارگیری آنها پیش پردازش صورت گیرد. عملیات پیش پردازش، سری داده را برای محاسبات از جمله کلاسهبندی، پیشبینی و تخمین آماده میکند و شامل حذف داده های گمشده، حذف دادههای پرت، بازسازی مقادیر گمشده، و نرمالسازی دادهها است.
مواد و روشها: در این تحقیق، به منظور تشخیص دادههای پرت و بازسازی دادههای گمشده و ناقص سری زمانی دادههای هیدرولوژی، دادههای دبی ماهانه شش ایستگاه هیدرومتری و دادههای اقلیمی 16 ایستگاه بارانسنجی در حوزه زرینهرود در نرمافزار R برنامهنویسی و مورد بررسی قرار گرفتند. حوزه آبخیز زرینهرود بزرگترین حوضه آبخیز دریاچه ارومیه است. به منظور آزمون نرمال بودن دادهها از آزمون شاپیرو-ویلک و کولموگروف-اسمیرنف استفاده گردید که مطابق نتایج به دست آمده دادههای مورد استفاده دارای توزیع نرمال نبودند و پس از نرمالسازی دادهها محاسبات دادههای پرت به روشهای نمودار جعبهای، z-score، هیستوگرام، مربع کای، میانگین و انحراف معیار و روش میانه انجام شد و داده هایی که از بالاترین مقدار مشخص شده بیشتر بودند حذف گردیدند. بهمنظور نسبتدهی و جایگذاری مقادیر گمشده از الگوریتمهای KNN، رگرسیون لاسو و رگرسیون خطی بیزین استفاده گردید. روش رگرسیون لاسو یک روش منظمسازی است که هدف آن کاهش پیچیدگی مدل و جلوگیری از بیش برازشی است. رگرسیون خطی بیزین نوعی تحلیل آماری است که ترکیبی از روشهای رگرسیون خطی و بیزین را استفاده میکند. الگوریتم KNN یکی از روشهای مبتنی بر نمونه است که با مدلهای ناپارامتری و طبقهبندی یادگیری نظارت شده ارتباط دارد. برای ارزیابی دقت الگوریتمهای نسبتدهی دادههای گمشده از روش Cross Validation استفاده گردید و در ادامه، جهت محاسبه دقت روشهای تخمین از دو معیار RMSE و R2 استفاده شد.
یافتهها: نتایج آماری حاصل نشان میدهند که مقادیر p-value در هر شش ایستگاه مورد مطالعه کمتر از 0/05 بودند. بهمنظور ارزیابی صحت و دقت روش KNN از اعتبارسنجی متقابل استفاده گردید. مقادیر RMSE کمتر و نزدیک به صفر و R2 بالاتر از 0/7 در تمامی ایستگاهها نشان دادند که روش KNN یک روش مطمئن و دقیق در نسبتدهی و جایگذاری مقادیر گمشده بود و در مقایسه با روش رگرسیون لاسو و رگرسیون خطی بیزین نتایج بسیار دقیقتر و مطمئنتری را ارائه داد و موجب اختلال در روند سری داده نشد. مقادیر پرت ایستگاههای جانآقا و دره پنبهدان در ادامه و در نرمالسازی حذف گردیدند. چولگی و وجود داده پرت در روش هیستوگرام به ویژه ایستگاههای جانآقا، ساریقمیش و پل آدینان بابینظمی همراه بودند و توزیع ناهمگن و غیر نرمال داشتند که پس از نرمالسازی، دادههای پرت مشخص و حذف شدند. میزان p-value در هر دو آزمون شاپیرو-ویلک و کولموگروف-اسمیرنف مقادیری بسیار کمتر از 0/05 را نشان داد و گواه این مطلب است که دادهها در محدوده نرمال قرار دارند و نرمالسازی دادهها و حذف مقادیر پرت با دقت بالایی انجام شده است و درنتیجه محاسبه مقادیر پرت و شناسایی آنها معنیدار است. آزمون روزنر برای هر سری داده مقدار حد بالا را در دو تست متوالی ارائه داده است و همان مقدار و مقادیر بالاتر از آن را به عنوان داده پرت در نظر میگیرد. نتایج مطابقت تابع چگالی احتمال مقادیر مشاهدهای و نسبتدهی شده به روش KNN نشان از تطابق قابل قبول دو تابع چگالی احتمال داشتند و این روش در نسبتدهی مقادیر حداکثر، متوسط و حداقل نسبت به دو روش دیگر در ایستگاه های مورد مطالعه موفق عمل کرد.
نتیجهگیری: با توجه به نتایج به دست آمده از نمودار جعبهای، دادههایی که خارج از ساقه قرار گیرند را به عنوان داده پرت معرفی میکند و بر همین اساس در نمودارهای جعبهای تعداد دادههای پرت در مقایسه با سایر روشها به مقدار زیادی تشخیص داده میشود که به نظر میرسد روش مناسبی برای تشخیص داده پرت در دادههای هیدرولوژیکی نباشد. روش KNN در تعیین دادههای گمشده با استفاده از دادههای مشاهداتی متناظر، در بین دو روش دیگر بسیار موثر عمل نمود. در این مطالعه، سری دادهها نرمالسازی و سپس مقادیر دادههای پرت در آنها محاسبه گردید و برای تعیین مقادیر محاسبه نشده و گمشده از روش KNN استفاده شد. در دادههای دارای روند تغییرات کمتر، KNN بسیار دقیق عمل مینماید و یکی از دقیقترین و مطمئنترین روشهای نسبتدهی و جایگذاری دادههای گمشده است. به منظور اعتباریابی روش KNN، رگرسیون لاسو و رگرسیون بیزین از روش اعتبارسنجی متقابل یا Cross Validation استفاده شد. با توجه به نتایج به دست آمده، الگوریتم KNN ضریب تبیین بالاتر از 0/7 و مقادیر RMSE نزدیک به صفر را نشان داد. روش KNN کارایی مطلوبی را در تخمین مقادیر گمشده در جریانهای پیوسته و ناپیوسته نسبت به دو روش دیگر ارائه میدهد. این اثربخشی به توانایی KNN در دستیابی به مقدار بهینه نزدیک ترین همسایه برمیگردد که آنرا برای پیشبینی دقیق در شرایطی که جریان به حداقل رسیده باشد هم مناسب میسازد. دقت KNN بهدلیل سادگی محاسبات و نیز اثر بالای آن در محاسبه و نسبتدهی دادههای گمشده و گمشده است که در عین حال ساختار سری داده را نیز حفظ می کند.
مقدمه و هدف: اندازهگیریهای جریان رودخانه و دادههای آن در مدیریت منابع آب، کنترل سیل، حفاظت و احیای رودخانه، بازسازی جریان اهمیت بسزایی دارند. اکثر طرحهای کنترل سیل و دبی طراحی در پروژههای مدیریت و احیای رودخانه توسط تحلیلهای هیدرولوژیکی و هیدرولیکی مبتنی بر دبی مشاهداتی حوزه تخمین زده میشوند. پایه مطالعات هیدرولوژیکی به دادههای آماری مشاهداتی وابسته است و این دادهها در اغلب موارد دارای خطاهای متعدد هستند. داده پرت دادهای است که از نرم طبیعی فاصله گرفته است و باعث بروز خطا در محاسبات میشود. روشهای تشخیص دادههای پرت شامل روشهای نظارت شده، نیمه نظارت شده و نظارت نشده هستند و برخی روشهای مبتنی بر توزیع، مبتنی بر خوشهبندی و مبتنی بر چگالی را شامل میشوند. به دلیل خطای محاسباتی، مقادیر صحیح خاص، گزارش اشتباه و یا خطای نمونهبرداری و همچنین به دلیل خطاهای انسانی و ابزاری ممکن است مواردی مانند ثبت نشدن آمار، ثبت آمار غلط، خرابی یا ازبین رفتن دستگاههای اندازهگیری یا تشخیص دادههای پرت و حذف آنها با عنوان دادههای گمشده پیش آید. بنابراین، تخمین و برآورد این دادهها برای استفاده در مدلها ضروری است و به منظور کاهش بروز خطا باید پیش از به کارگیری آنها پیش پردازش صورت گیرد. عملیات پیش پردازش، سری داده را برای محاسبات از جمله کلاسهبندی، پیشبینی و تخمین آماده میکند و شامل حذف داده های گمشده، حذف دادههای پرت، بازسازی مقادیر گمشده، و نرمالسازی دادهها است.
مواد و روشها: در این تحقیق، به منظور تشخیص دادههای پرت و بازسازی دادههای گمشده و ناقص سری زمانی دادههای هیدرولوژی، دادههای دبی ماهانه شش ایستگاه هیدرومتری و دادههای اقلیمی 16 ایستگاه بارانسنجی در حوزه زرینهرود در نرمافزار R برنامهنویسی و مورد بررسی قرار گرفتند. حوزه آبخیز زرینهرود بزرگترین حوضه آبخیز دریاچه ارومیه است. به منظور آزمون نرمال بودن دادهها از آزمون شاپیرو-ویلک و کولموگروف-اسمیرنف استفاده گردید که مطابق نتایج به دست آمده دادههای مورد استفاده دارای توزیع نرمال نبودند و پس از نرمالسازی دادهها محاسبات دادههای پرت به روشهای نمودار جعبهای، z-score، هیستوگرام، مربع کای، میانگین و انحراف معیار و روش میانه انجام شد و داده هایی که از بالاترین مقدار مشخص شده بیشتر بودند حذف گردیدند. بهمنظور نسبتدهی و جایگذاری مقادیر گمشده از الگوریتمهای KNN، رگرسیون لاسو و رگرسیون خطی بیزین استفاده گردید. روش رگرسیون لاسو یک روش منظمسازی است که هدف آن کاهش پیچیدگی مدل و جلوگیری از بیش برازشی است. رگرسیون خطی بیزین نوعی تحلیل آماری است که ترکیبی از روشهای رگرسیون خطی و بیزین را استفاده میکند. الگوریتم KNN یکی از روشهای مبتنی بر نمونه است که با مدلهای ناپارامتری و طبقهبندی یادگیری نظارت شده ارتباط دارد. برای ارزیابی دقت الگوریتمهای نسبتدهی دادههای گمشده از روش Cross Validation استفاده گردید و در ادامه، جهت محاسبه دقت روشهای تخمین از دو معیار RMSE و R2 استفاده شد.
یافتهها: نتایج آماری حاصل نشان میدهند که مقادیر p-value در هر شش ایستگاه مورد مطالعه کمتر از 0/05 بودند. بهمنظور ارزیابی صحت و دقت روش KNN از اعتبارسنجی متقابل استفاده گردید. مقادیر RMSE کمتر و نزدیک به صفر و R2 بالاتر از 0/7 در تمامی ایستگاهها نشان دادند که روش KNN یک روش مطمئن و دقیق در نسبتدهی و جایگذاری مقادیر گمشده بود و در مقایسه با روش رگرسیون لاسو و رگرسیون خطی بیزین نتایج بسیار دقیقتر و مطمئنتری را ارائه داد و موجب اختلال در روند سری داده نشد. مقادیر پرت ایستگاههای جانآقا و دره پنبهدان در ادامه و در نرمالسازی حذف گردیدند. چولگی و وجود داده پرت در روش هیستوگرام به ویژه ایستگاههای جانآقا، ساریقمیش و پل آدینان بابینظمی همراه بودند و توزیع ناهمگن و غیر نرمال داشتند که پس از نرمالسازی، دادههای پرت مشخص و حذف شدند. میزان p-value در هر دو آزمون شاپیرو-ویلک و کولموگروف-اسمیرنف مقادیری بسیار کمتر از 0/05 را نشان داد و گواه این مطلب است که دادهها در محدوده نرمال قرار دارند و نرمالسازی دادهها و حذف مقادیر پرت با دقت بالایی انجام شده است و درنتیجه محاسبه مقادیر پرت و شناسایی آنها معنیدار است. آزمون روزنر برای هر سری داده مقدار حد بالا را در دو تست متوالی ارائه داده است و همان مقدار و مقادیر بالاتر از آن را به عنوان داده پرت در نظر میگیرد. نتایج مطابقت تابع چگالی احتمال مقادیر مشاهدهای و نسبتدهی شده به روش KNN نشان از تطابق قابل قبول دو تابع چگالی احتمال داشتند و این روش در نسبتدهی مقادیر حداکثر، متوسط و حداقل نسبت به دو روش دیگر در ایستگاه های مورد مطالعه موفق عمل کرد.
نتیجهگیری: با توجه به نتایج به دست آمده از نمودار جعبهای، دادههایی که خارج از ساقه قرار گیرند را به عنوان داده پرت معرفی میکند و بر همین اساس در نمودارهای جعبهای تعداد دادههای پرت در مقایسه با سایر روشها به مقدار زیادی تشخیص داده میشود که به نظر میرسد روش مناسبی برای تشخیص داده پرت در دادههای هیدرولوژیکی نباشد. روش KNN در تعیین دادههای گمشده با استفاده از دادههای مشاهداتی متناظر، در بین دو روش دیگر بسیار موثر عمل نمود. در این مطالعه، سری دادهها نرمالسازی و سپس مقادیر دادههای پرت در آنها محاسبه گردید و برای تعیین مقادیر محاسبه نشده و گمشده از روش KNN استفاده شد. در دادههای دارای روند تغییرات کمتر، KNN بسیار دقیق عمل مینماید و یکی از دقیقترین و مطمئنترین روشهای نسبتدهی و جایگذاری دادههای گمشده است. به منظور اعتباریابی روش KNN، رگرسیون لاسو و رگرسیون بیزین از روش اعتبارسنجی متقابل یا Cross Validation استفاده شد. با توجه به نتایج به دست آمده، الگوریتم KNN ضریب تبیین بالاتر از 0/7 و مقادیر RMSE نزدیک به صفر را نشان داد. روش KNN کارایی مطلوبی را در تخمین مقادیر گمشده در جریانهای پیوسته و ناپیوسته نسبت به دو روش دیگر ارائه میدهد. این اثربخشی به توانایی KNN در دستیابی به مقدار بهینه نزدیک ترین همسایه برمیگردد که آنرا برای پیشبینی دقیق در شرایطی که جریان به حداقل رسیده باشد هم مناسب میسازد. دقت KNN بهدلیل سادگی محاسبات و نیز اثر بالای آن در محاسبه و نسبتدهی دادههای گمشده و گمشده است که در عین حال ساختار سری داده را نیز حفظ می کند.
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
