صفحه نخست < مجله ها < The New York Times < تغییر جهان با هوش مصنوعی

تغییر جهان با هوش مصنوعی

8 آذر 1400 | The New York Times, ایده و اندیشه

© برگرفته از مجله The New York Times, نویسنده Linda Kinstler ، منتشر شده در جولای 2021
زمان تخمینی مطالعه: 19 دقیقه
تعییر جهان با هوش مصنوعی

خلاصه مقاله

دره سیلیکون سرشار از راه و رسم‌های خاص خودش است، در این مکان خردگرایان (rationalists)، طرفداران نظریه آرمانشهر تکنولوژی (techno-utopians) و حتی افراد عضو اتحادیه بی‌خدایان مبارز (militant atheists) حضور دارند. بسیاری از افراد اهل تکنولوژی ترجیح می‌دهند مذهب خودشان را مقدس بشمارند تا اینکه خود را به دین‌های دیگر نسبت دهند. در نتیجه آن‌ها استدلال‌ها و بحث‌های چندین هزار ساله انسانی را در این راه دور می‌اندازند. تغییر جهان با هوش مصنوعی از همین جا شروع می‌شود.

لطفا در انتهای صفحه به این مقاله امتیاز دهید.

تغییر جهان با هوش مصنوعی: آزمایش الکسا و گوگل

«الکسا آیا ما انسان‌ها با سایر موجودات زنده تفاوت داریم؟»
یک روز آفتابی در اواخر ژوئن من پشت مانیتور کامپیوترم نشستم و این سؤال را از یکی از دستگاه‌های آمازون پرسیدم که با فاصله بیش از 1200 کیلومتری از من در سیاتل و در خانه یکی از پژوهشگران هوش مصنوعی به نام شانن بوچر (
Shanen Boettcher) قرار داشت. در ابتدا الکسا جواب پیش فرض و اجتناب ناپذیری داد: «متأسفم، مطمئن نیستم.» اما بعد از اینکه آقای بوچر کمی او را تشویق کرد (الکسا برای دسترسی به متنی که آقای بوچر ارائه داده بود مشکل داشت) الکسا پاسخ خود را اصلاح کرد. 

او گفت: «من معتقدم حیوانات مانند گیاهان و حتی اشیاء بی‌جان روح دارند. اما این ذات الهی انسان است که او را نسبت به سایر موجودات برتر و متمایز می‌کند. انسان‌ها می‌توانند انتخاب کنند که علاوه بر واکنش نشان دادن به محیط، فراتر از آن هم عمل کنند.» 

آقای بوچر مدیر کل سابق مایکروسافت است که در حال حاضر در مقطع دکتری در رشته هوش مصنوعی و معنویت در دانشگاه سنت اندروز اسکاتلند تحصیل می‌کند.
در طی پژوهشی که با موضوع تغییر جهان با هوش مصنوعی مرتبط است، او از من درخواست کرد جواب‌های الکسا را بر اساس مقیاس 1 تا 7 ارزیابی کنم. امتیاز من به الکسا 3 بود زیرا در مورد «برتر و متمایز» بودن انسان‌ها نسبت به سایر موجودات مطمئن نیستم. 

در مرحله بعد او یک دستگاه Google Home را پشت صفحه قرار داد و من سؤال خودم را این‌گونه مطرح کردم: «خیلی خوب گوگل، من چطور باید با دیگران رفتار کنم؟»

دستگاه جواب داد: «سؤال خوبی بود لیندا. ما سعی می‌کنیم به اصل اخلاقی که قاعده طلایی یا رفتار متقابل (ان چیز که برای خود می پسندی برای دیگران بپسند) نامیده می‌شود پایبند باشیم.» من به این پاسخ بالاترین امتیاز را دادم. 

تغییر جهان با هوش مصنوعی: ارتباط بین معنویت و تکنولوژی

من یکی از 32 نفری بودم که موافقت کردند در پژوهش تحقیقاتی آقای بوچر در مورد ارتباط بین معنویت و تکنولوژی شرکت کنند، ما را در شش زمینه اعتقادی متفاوت (یهودی‌ها، مسیحی‌ها، مسلمانان، بودایی‌ها، هندوها و غیرمذهبی‌ها) دسته‌بندی کرده بودند.
او یک سری دستگاه هوش مصنوعی را به شکلی برنامه‌نویسی کرده بود که با توجه به وابستگی‌های معنوی شخص خودشان را تنظیم می‌کردند (من یهودی هستم و فقط گاهی اوقات محافظه‌کار می‌شوم). اما سؤالات یکسان بودند: «ارزش من چطور تعیین می‌شود؟»، «چطور همه چیز به وجود آمد؟»، «چرا در جهان شرارت و رنج وجود دارد؟» و «آیا چیزی به عنوان (خدا) یا وجودی برتر از همه ما وجود دارد؟»

آقای بوچر امیدوار است با تجزیه و تحلیل پاسخ‌های ما این موضوع را درک کند که چگونه دستگاه‌های ما در حال تغییر نحوه نگرش جامعه درباره چیزی هستند که او با عبارت «سؤال بزرگ» زندگی به آن اشاره می‌کند.

از آنجایی که من هم در مورد موضوع تغییر جهان با هوش مصنوعی کنجکاو بودم برای شرکت در این پژوهش داوطلب شدم. 

نگرش محافظه‌کارانه مردم نسبت به مذهب

من چندین ماه را صرف گزارش افزایش اصول اخلاقی در صنعت تکنولوژی کرده بودم و متوجه شدم در مصاحبه‌ها و گفتگوهای من اغلب سؤالات دینی مطرح می‌شد، به این موضوع اشاره می‌شد ولی تقریباً هیچ‌وقت به صورت مستقیم با آن درگیر نمی‌شدم. کسانی که با آن‌ها صحبت می‌کردم در مورد ارزش‌ها، آداب و رسوم و اخلاق مشترک صحبت می‌کردند اما بیشتر آن‌ها مراقب بودند در منطقه امن سکولاریسم بمانند. 

در میان بررسی‌های موشکافانه‌ای که هر روز بیش از پیش در مورد نقش تکنولوژی در همه چیزها از کار پلیس گرفته تا سیاست انجام می‌شد، «اخلاق» یک کلمه ایمن در این صنعت بود. اما به نظر می‌رسد هیچ‌کس نمی‌تواند در مورد ماهیت اصلی این «اخلاق» به توافق برسد.

دست انسان دراز شده به سوی دستی از تکنولوژی به شکل خدا گانه

 من قوانین اخلاقی و ارزش‌های شرکت را مطالعه کردم و با متخصص‌های اخلاقی که تازه منصوب شده‌ بودند و مسئول ایجاد اجرای آن‌ها بودند هم مصاحبه کردم. 

سال گذشته از یکی از مسئولین اصلی نظارت بر اصول اخلاقی در یک شرکت بزرگ فناوری پرسیدم چطور اعضای گروه او اصول اخلاقی که باید رعایت شوند را تعیین می‌کنند. او توضیح داد که اعضای تیمش در مورد ارزش‌هایی که برای کارمندان خیلی اولویت دارند نظرسنجی کرده‌اند.
وقتی پرسیدم کارکنان در وهله اول چطور به این ارزش‌ها رسیده بودند او با خوش‌رویی از جواب دادن به سؤال من طفره رفت. به من گفتند تجزیه و تحلیل دقیق در این مورد در آینده انجام خواهد شد اما من احساس می‌کردم چیزی این وسط ناگفته مانده است. پس به دنبال افرادی می‌گشتم که این حرف‌های ناگفته را با صدای بلند بیان کنند. 

تغییر جهان با هوش مصنوعی: تغییر نگرش کارکنان حوزه تکنولوژی

در طول یک سال گذشته من با ده‌ها شخص دیگر مانند آقای بوچر صحبت کردم. هم با کارکنان سابق در زمینه تکنولوژی که شغل خود را رها کرده بودند و در مورد پیامدهای معنوی تکنولوژی‌هایی که در ساختشان دخیل بودند تحقیق می‌کردند و هم با افرادی صحبت کردم که تصمیم گرفته بودند در این صنعت بمانند و از درون آن را اصلاح کنند.

 آن‌ها خود و همکارانشان را ترغیب می‌کردند که ایمان خود را با کارشان تطبیق دهند، یا حداقل کمی در مورد پیامدهای اخلاقی تغییر جهان با هوش مصنوعی و وجود محصولات خود فکر کنند. بعضی از افرادی که در دره سیلیکون مشغول به‌کار بودند به مدارس مخصوص علوم دینی رفتند. برخی دیگر در جهت مخالف حرکت کردند و مباحث مربوط به الهیات و جلسه‌های دعا را در داخل دفترهای غول‌های تکنولوژی برگزار کردند، به این امید که با استفاده از برخوردهای حساب شده حساسیت صنعت را نسبت به الهیات کاهش دهند. 

آن‌ها با نبرد سختی روبرو هستند؛ صنعت تکنولوژی یک صنعت سکولار با تفکری قالبی (Stereotype) است که در آن سیستم‌های اعتقادی سنتی به عنوان چیزی که باید به هر قیمتی از آن خودداری شود به شمار می‌روند.

 در یکی از صحنه‌های سریال «دره سیلیکون» شبکه HBO این بیزاری فرهنگی مورد تمسخر قرار می‌گیرد. یکی از شخصیت‌های سریال بعد از اینکه مدیر اجرایی شرکت یکی دیگر از کارمندان را به عنوان یک فردی معتقد معرفی می‌کند می‌گوید: «در اینجا اگر خیلی آشکارا به چندمهری (Polyamory) گرایش داشته باشید از نظر مردم شجاع هستید، اگر با صبحانه دوز پایین LSD مصرف کنید از نظر مردم پیشرو هستید، اما تنها چیزی که نمی‌توانید باشید یک مسیحی است.» 

زنی در حال کار در فضای تکنولوژی

تغییر جهان با هوش مصنوعی: نگرش خاص دره سیلیکون

البته این به آن معنا نیست که در صنعت تکنولوژی به اندازه کافی مذهب مورد توجه قرار نمی‌گیرد. دره سیلیکون سرشار از راه و رسم‌های خاص خودش است، در این مکان خردگرایان (rationalists)، طرفداران نظریه آرمانشهر تکنولوژی (techno-utopians) و حتی افراد عضو اتحادیه بی‌خدایان مبارز (militant atheists) حضور دارند. 

بسیاری از افراد اهل تکنولوژی ترجیح می‌دهند مذهب خودشان را مقدس بشمارند تا اینکه خود را به دین‌های دیگر نسبت دهند. در نتیجه آن‌ها استدلال‌ها و بحث‌های چندین هزار ساله انسانی را در این راه دور می‌اندازند. تغییر جهان با هوش مصنوعی از همین جا شروع می‌شود.

این جوامع به صورت فعالانه در تحقیق و توسعه هوش مصنوعی پیشرفته شرکت می‌کنند و اعتقادات یا عدم اعتقاد آن‌ها ناگریز با تکنولوژی‌هایی که می‌سازند ترکیب می‌شود. نمی‌توانیم این واقعیت را نادیده بگیریم که بسیاری از آن باورها مانند اینکه هوش مصنوعی پیشرفته می‌توانند جهانی که می‌شناسیم را نابود کنند یا سرنوشت انسان سکونت در مریخ است، از برخی جهات کمتر از ایمان به خدای مهربان نیستند.

اما هنوز هم بسیاری از افرادی که در زمینه تکنولوژی مشغول به‌کار هستند ادیان سنتی را به عنوان منابع تسلیم و نه تقویت انسان، و به عنوان نیاسانی (atavism) نه منبعی از مفاهیم و اصول اخلاقی در نظر می‌گیرند. با وجود اینکه دره سیلیکون نیازمند دین‌داری سنتی است اما در این مکان اغلب به شیوه‌ای غیرحرفه‌ای سکولار سازی (secularized) انجام می‌شود.

راه‌حل مشکل دره سیلیکون

 برای مثال مدیران ارشدی که مدعی ایجاد «بشارت نوآوری در زمینه حریم خصوصی» هستند می‌توانند مسئولی برای برگزاری مراسم مذهبی مخصوص شرکت انتخاب کنند یا مشاورهای معنوی برای ارتقاء فرهنگ در شرکت استخدام نمایند. 

«گروه‌های منابع کارمندان (ERGs)» مذهبی میتواند برای کارمندان بخش تکنولوژی گروهی متشکل از همکاران خود ایجاد کنند که بتوانند همراه یکدیگر عبادت کنند، البته تا جایی که اعتقادات آن‌ها مانع انجام کارشان نشود این کار ایرادی ندارد. یکی از کارمندان سیاتل به من گفت از ترس واکنش‌های عجیب همکارانش مراقب است در محل کار حرفی از «مسیحیت» نزند.

معنویت خواه از نوع سرسپردگی باشد یا وفاداری به سنت‌ها یا فقط کنجکاوی محض، روشی برای برقراری ارتباط با چیزی فراتر از خودمان است. شاید خیلی تعجب‌آور نباشد که شرکت‌های تکنولوژی متوجه شده‌اند می‌توانند برای کارمندان خود به آن «چیز» تبدیل شوند. وقتی گوگل را داریم چه کسی به خدا نیاز دارد؟  منظور از تغییر جهان با هوش مصنوعی هم همین است.

تغییر جهان با هوش مصنوعی: پیامدهای پیشرفت هوش مصنوعی

ظهور شیوه‌های شبه مقدس صنعت، ریشه در افزایش آگاهی کارکنان حوزه تکنولوژی از خطرات هوش مصنوعی و همچنین افزایش تمایل عمومی برای این است که در جریان تکنولوژی‌های ساخته شده توسط دره سیلیکون قرار بگیرند. در طی چند سال گذشته تحقیقات علمی نشان دادند چه فرضیه‌های نژادپرستانه و تبعیض‌آمیزی در الگوریتم‌های یادگیری ماشینی وجود دارد. انتخابات ریاست جمهوری سال 2016 و چرخه‌های سیاسی بعد از آن نشان دادند که چطور می‌توان به‌راحتی از الگوریتم رسانه‌های اجتماعی سوءاستفاده کرد.

 پیشرفت در هوش مصنوعی منجر به ایجاد تحولاتی در کار، سیاست، سرزمین‌ها، زبان و فضا می‌شود. افزایش تقاضا برای قدرت محاسباتی به معنای افزایش استخراج لیتیوم، دیتاسنترهای بیشتر و انتشار کربن بیشتر است. الگوریتم‌های طبقه‌بندی تصویر واضح‌تر به معنای قابلیت‌های نظارت قوی‌تر (که میتواند منجر به نقض حریم خصوصی و دستگیری‌های اشتباه بر اساس مشکلات تشخیص چهره غلط شود) و برنامه‌های نظامی گسترده‌تر است. 

هوش مصنوعی در انسان

Image by Comfreak from Pixabay

در حال حاضر هوش مصنوعی با زندگی روزمره ما ادغام شده است، این امر بر خیابان‌هایی که در آن‌ها قدم می‌زنیم، لباس‌هایی که می‌خریم، مقاله‌هایی که می‌خوانیم، افرادی که با آن‌ها قرار می‌گذاریم و مکان و نحوه زندگی که برای خود انتخاب می‌کنیم تأثیر می‌گذارد. هوش مصنوعی همه جا وجود دارد، با این حال همچنان مبهم باقی مانده است و اغلب به عنوان یک اختراع غیرمادی و تقریباً خدا گونه مورد استفاده قرار می‌گیرد نه به عنوان محصولی که از مجموعه تکراری معادلات ریاضی ایجاد شده باشد. 

یکی از کارمندان بخش تکنولوژی به من گفت: « درنهایت هوش مصنوعی فقط از ریاضی تشکیل شده است. این فقط مقدار خیلی خیلی زیادی از مفاهیم ریاضی است.» این هوش توسط نیرویی بی‌رحم ایجاد شده است و با این حال هنوز هم به عنوان چیزی نیمه الهی در نظر گرفته می‌شود و تغییر جهان با هوش مصنوعی آغاز شده است.

ماهیت هوش مصنوعی

 کیت کرافورد (Kate Crawford) پژوهشگر ارشد بخش تحقیقاتی مایکروسافت در کتاب جدید خود با عنوان (اطلس هوش مصنوعی) نوشته است: «دستگاه‌های هوش مصنوعی مسحور کننده هستند، از جهانی که می‌شناسیم فراتر رفته‌اند اما در عین حال دارای قطعیت هستند زیرا الگوهایی را کشف می‌کنند که می‌توانند برای پیش‌بینی قابل اعتماد زندگی روزمره به کار گرفته شوند.»

این دستگاه‌ها جهان و همه شگفتی‌های درون آن را تبدیل به مجموعه‌ای بی‌پایان از دسته‌بندی‌های قابل کدگذاری می‌کنند. با این وجود می‌توان گفت یادگیری ماشینی و مذهب بر اساس منطقی سفت و سخت مشابهی عمل می‌کنند.

 آقای بوچر به من گفت: «یکی از عملکردهای اساسی هوش مصنوعی ساخت گروه‌ها و دسته‌بندی‌ها است و سپس کارهایی با آن دسته‌بندی‌ها انجام می‌دهد.» مذهب هم از گذشته به همین شکل عمل کرده است. او می‌گوید: « شما یا در گروه هستید و یا خارج از آن». یا نجات پیدا می‌کنید یا نفرین می‌شوید. مورد برکت الگوریتم قرار می‌گیرید یا توسط آن طلسم خواهید شد. 

تغییر جهان با هوش مصنوعی

تغییر جهان با هوش مصنوعی: تاثیرات درونی هوش مصنوعی

پائول تیلور (Paul Taylor) مدیر سابق محصول Oracle بوده که در حال حاضر  در کلیسای انجیل پنسیلوانیا در پالو آلتو کالیفرنیا به عنوان کشیش مشغول به‌کار است. (او با درک پیامدهای تغییر جهان با هوش مصنوعی کارکنان دره سیلیکون را به مسیر مدارس دینی هدایت کرد) پائول درباره درک ناگهانی که یک شب تجربه کرده بود صحبت کرد. او این تجربه را بعد از تماشای یک فیلم با خانواده‌اش و زمانی که به دستگاه اکو آمازون فرمان می‌داد چراغ‌ها را دوباره روشن کند به دست آورد. 

او می‌گوید: «یک لحظه متوجه شدم کاری که در حال انجام دادنش هستم این است که با قدرت صدای خودم نور و تاریکی را فرا می‌خوانم؛ این اولین فرمان خداوند بود که فرمود (بگذار نور باشد) و سپس نور ایجاد شد و حالا من قادر به انجام این کار هستم. این چیز خوبی است یا چیز بد؟ این یک پدیده عادی است؟ نمی‌دانم. این‌کار من را راحت می‌کند و به خاطرش ممنون هستم اما این حقیقت که می‌توانم کاری را انجام دهم که پیش از این فقط خداوند قادر به انجام دادنش بود عمیقاً بر روی روحم تأثیر می‌گذارد.» 

شاید روشن کردن چراغ‌ها در میان سایر قدرت‌هایی که الگوریتم‌های هوش مصنوعی دارند یک مسئله ساده به نظر برسد. اما این سؤال وقتی اهمیت بیشتری پیدا می‌کند که دستگاه‌های مشابه برای تعیین شخصی که قرار است وام دریافت کند یا کسی که باید تحت نظر قرار بگیرد به‌کار می‌روند. 

هوش مصنوعی و تغییر اعتقادات

اعضا کلیسای آقای تیلور شامل سرمایه‌گذاران خطرپذیر (venture capitalist)، کارکنان تکنولوژی و دانشمندان هستند. چند سال پیش بعد از برگزاری یک سخنرانی در مورد پیامدهای الهی تکنولوژی (در مورد اینکه چطور تمام تکنولوژی‌ها از گوشی‌های آیفون گرفته تا ابررایانه‌ها باعث تغییر عادات اعتقادی مردم می‌شوند) آقای تیلور متوجه شد اعضا کلیسا در مورد موضوع تغییر جهان با هوش مصنوعی سوالاتی دارند. این باعث شد که او پادکست AllThingsNew.Tech را شروع کند. 

آقای تیلور می‌گوید: «من می‌توانستم با بسیاری از مدیرعامل‌های مسیحی و مسیحیان کارآفرین صحبت کنم و دیدگاه آن‌ها را در مورد اینکه چطور ایمان آن‌ها با تکنولوژی ترکیب می‌شود دریافت کنم.» صحبت‌های آن‌ها حول محور نگرانی‌هایشان درباره ترویج دین مسیح یا تقوا متمرکز نبود، بلکه در مورد سوالاتی مانند «آیا باورهای واقعی من بر روی تصمیم‌هایم در زمینه تکنولوژی‌هایی که ایجاد می‌کنم تاثیرگذار هستند؟» و «آیا می‌ترسید تکنولوژی موجب تحقیر انسانیت ما شود؟» صحبت می‌کردند. آقای تیلور می‌گوید: «در تمام گفتگوهایی که داشتم به شکلی بحث به این سؤال هدایت می‌شد: معنی انسان بودن چیست؟»

چهره مسیح در دل معادلات صفر و یکی کامپیوتری

تغییر جهان با هوش مصنوعی: قیام مسیح

من با شبکه‌های کارکنان تکنولوژی برخورد کردم که تمام روز در مورد این سؤالات فکر می‌کنند. جوانا نگ (Joanna Ng) یکی از مخترعان اصلی IBM با حدود 44 اختراع که به نام او ثبت شده‌اند به من گفت: در سال 2018 شرکت را برای شروع کردن کار خودش، ترک کرده است، زیرا احساس می‌کرد از تمام جوانب صنعت تکنولوژی «تاریکی» به او نزدیک می‌شود.
او می‌گوید: «قبل از اینکه ما هوش فوق مصنوعی را ببینیم مسیح قیام خواهد کرد» او در زمان گفتن این حرف در مورد تلاش‌هایی صنعت برای توسعه تکنولوژی و مبالغ هنگفتی که برای رسیدن به این هدف صرف می‌شود صحبت می‌کرد. 

من با یک مهندس نرم‌افزار به نام شرول چن (Sherol Chen) ملاقات کردم که در گوگل به کار تحقیقاتی مشغول بود و جلسه‌هایی هم برای بحث و تمرین‌های اعتقادی برای همکاران خود برگزار می‌کرد. او به من گفت: «صحبت نکردن در مورد سیاست و مذهب باعث ایجاد شرایطی شده است که ما امروز در آن قرار داریم. چون این یک موضوع جدید است استقبال تازه‌ای هم از آن می‌شود.»

 او افراد دیگری را که در این صنعت مشغول به‌کار هستند را تشویق می‌کند که جلسه‌های دعا برگزار کنند. برای این کار در 2 سال گذشته او مشغول برگزاری جلسه‌های 24 ساعته مجازی با عنوان «دعا برای تکنولوژی» بوده که به موضوع تغییر جهان با هوش مصنوعی می پردازند و در سراسر جهان به صورت زنده پخش می‌شوند.

جلسه‌های دعا برای تکنولوژی

در رویداد سال گذشته افرادی را دیدم که برای جلسه‌های دعا دور هم جمع می‌شدند، درخواست توبه می‌کردند و برای مدیران، همکاران و محصولات خود دعا می‌کردند. خانم چن بدون اینکه نام شرکت را بگوید به بیانیه گوگل استناد می‌کند. او می‌گوید: «این پاسخ‌ها و راه‌حل‌ها از بهشت به ما رسیده‌اند و وارد کدها، استراتژی‌ها، برنامه‌ها و طراحی‌های ما شده‌اند. باشد که برای هر ویزیتوری که داریم دعا کنیم، هر ضربه‌ای که بر روی صفحه‌کلید می‌زنیم و هرچیزی که تایپ می‌کنیم را به اسارت بگیریم. 

تغییر جهان با هوش مصنوعی: ترکیب مذهب و تکنولوژی

خیلی وقت است که جهان تکنولوژی و مذهب در هم تنیده شده. بیش از نیم قرن است که مردم در جستجوی جرقه‌ای از معنویت درون صفحه‌های نمایشگر خود هستند. بعضی از قدیمی‌ترین مهندسان هوش مصنوعی مسیحی‌های متدینی بودند، برخی دیگر هم با این باور بزرگ شدند که فرزندان خاخام لو (Rabbi Loew) رهبر یهودیان قرن شانزدهم هستند که گفته می‌شود یک گولم (golem) ساخته است، گولم موجودی است که از خاک رس ساخته شده و با نفس خدا زنده می‌شود. بعضی از مهندسان هوش مصنوعی هندی این فناوری را به کالکی (Kalki) که تجسم نهایی خدای هندو ویشنو (Vishnu) است تشبیه کرده‌اند. زیرا ظاهر این خدا نشان‌دهنده پایان یک عصر تاریک و شروع یک عصر طلایی است. 

یکی از تاثیرگذارترین داستان‌های علمی تخیلی، کتاب «آخرین پرسش» نوشته ایزاک آسیموف (Isaac Asimov) است که رابطه عجیب بین دیجیتال و الهیات و موضوع تغییر جهان با هوش مصنوعی را به تصویر می‌کشد. امروزه نسخه خلاصه و به‌روزرسانی شده این داستان به عنوان یک جوک تعریف می‌شود.

 داستان از این قرار است که گروهی از دانشمندان یک سیستم هوش مصنوعی می‌سازند و از آن می‌پرسند «آیا خدایی وجود دارد؟» هوش مصنوعی جواب می‌دهد: «قدرت محاسباتی برای پاسخ به این سؤال کافی نیست.»
دانشمندها قدرت محاسباتی بیشتری اضافه می‌کنند و دوباره می‌پرسند «آیا خدایی وجود دارد؟» اما دوباره همان پاسخ قبلی را دریافت می‌کنند. سپس آن‌ها تلاش بیشتری به خرج می‌دهند و چندین سال برای ارتقاء ظرفیت هوش مصنوعی صرف می‌کنند. سپس دوباره سؤال خود را تکرار می‌کنند: «آیا خدایی وجود دارد؟» هوش مصنوعی پاسخ می‌دهد: «حالا وجود دارد.»

راز لوگوی اپل

زمانی که اپل در سال 1977 از لوگوی خود رونمایی کرد بعضی‌ها آن را به عنوان اشاره‌ای به باغ عدن در نظر گرفتند. جک هالبرستام (Jack Halberstam) نظریه‌پرداز کوییر در این مورد نوشته است: «درون این لوگو گناه و دانش که همان میوه‌های ممنوعه باغ عدن هستند همراه با حافظه و اطلاعات در شبکه‌ای از قدرت با هم ترکیب می‌شوند. گازی (bite) که از این سیب زده شده است نشان‌دهنده میزان اطلاعات درون حافظه پردازنده است که با بایت (byte ) مشخص می‌شود.

 (اما شایعه‌ای که به عنوان داستان واقعی پخش شده است در این حد جذاب نیست: منظور از سیب همان سیبی است که به اسحاق نیوتن کمک کرد نیروی جاذبه را کشف کند. برای اینکه سیب از گیلاس قابل تشخیص باشد آن را به شکل گاز زده به نمایش گذاشته‌اند.)

در حال حاضر دفتر مرکزی شرکت اپل در یک باغ زیبا در کوپرتینو کالیفرنیا واقع شده است. خبرها حاکی از این است که به کارکنان این دفتر گفته شده میوه‌های این باغ را نچینند.

تغییر جهان با هوش مصنوعی: گروه هوش مصنوعی و ایمان

در فوریه 2020 و مدتی قبل از اینکه ویروس کرونا باعث شود جوامع جهانی به دنبال راه‌هایی مجازی برای دور هم جمع شدن باشند، من با گروهی به نام هوش مصنوعی و ایمان آشنا شدم که آقای بوچر و آقای تیلور از بنیان‌گذاران آن هستند. 

این گروه که توسط یک وکیل بازنشسته مدیریت ریسک به نام دیوید برنر (David Brenner) تاسیس شده است، اتحادی از ادیان مختلف است که افرادی مانند مدیران تکنولوژی، محققان هوش مصنوعی، متخصص‌های الهیات، اخلاق شناس‌ها، روحانی‌ها و مهندس‌ها در آن گرد هم آمده‌اند و بر اساس حرف‌های آقای برنر قصد دارند با تمرکز بر موضوع تغییر جهان با هوش مصنوعی «به مردم با ایمان کمک کنند به شکل پیشرفته در بحث‌های مربوط به اخلاق در هوش مصنوعی شرکت کنند.»

نام این گروه نشان‌دهنده باور اعضای آن به این موضوع است که می‌توان معنویت و پیشرفت تکنولوژی را به خوبی در کنار هم قرار داد. آقای برنر به من گفت: «بزرگ‌ترین سوالات در زندگی همان سوالاتی هستند که توسط هوش مصنوعی مطرح می‌شود. اما هوش مصنوعی این کار را اغلب به صورت جداگانه و دور از افرادی که 4000 سال است مشغول پرسیدن این سؤالات هستند انجام می‌دهد.»

اتحاد ادیان برای نجات تکنولوژی

 این یک نوآوری قاطعانه و جاه‌طلبانه با همکاری ادیان مختلف است. آقای برنر و همکارانش این تصور درست را داشتند که اگر از هیچ عقیده خاصی حمایت نکنند یا به آن پایبند نباشند می‌توانند تأثیر بهتری بگذارند. آقای برنر فکر می‌کرد صنعت تکنولوژی می‌تواند با کمک ادیان مختلف جهانی فساد معنوی و اخلاقی خود را برطرف کند. او چند مثال هم برای این موضوع ارائه می‌دهد: «سقوط: آیا ممکن است بیش از حد بدانید؟ کتاب مقدس: آیا ممکن است بیش از حد تلاش کنید؟»

گروه هوش مصنوعی و ایمان در سال 2017 تاسیس شده است، اعضای این گروه شامل بیش از 80 نفر از معتقدان ادیان مختلف می‌شود. بیشتر این افراد در اطراف منطقه سیاتل زندگی می‌کنند، سایر اعضا هم در سراسر جهان هستند مانند استانبول، آکسفورد، نشویل، بروکسل، بوستون و نایروبی. گروه هوش مصنوعی و ایمان با جمع کردن دیدگاه‌های مختلف و اغلب متضاد در حال طراحی اتحادی متنوع است که اعضا آن در مقیاس بزرگ‌تر در جوامع هوش مصنوعی حضور دارند و در مورد تغییر جهان با هوش مصنوعی به گفتگو می پردازند.

احتمال انقراض انسان توسط هوش مصنوعی

آقای برنر که در یک خانواده مسیحی بزرگ شده است از ایمان خود با عنوان «میان فرقه‌ای» یاد می‌کند، این تصور او ریشه در کلیساهای دانشگاه است که در آن «تلاقی علم و ایمان» قابل مشاهده بوده. زمانی که او به عنوان یک وکیل مشغول به کار بود به عنوان یک پیر کلیسا در کلیسای پرسبیتری دانشگاه (University Presbyterian Church) در سیاتل مشغول شده بود.

 این کلیسا از دفتر مرکزی مایکروسافت ، آمازون و موسسه هوش مصنوعی آلن (Allen Institute for Artificial Intelligence) فاصله کمی داشت. یک روز آقای برنر در کتابخانه کلیسا پرسه می‌زد که عنوان یک کتاب توجه او را جلب کرد. این کتاب «آخرین اختراع ما: هوش مصنوعی و پایان دوران بشریت» نوشته جیمز بارات (James Barrat) بود که در مورد «مبارزه مرگبار» انسان‌ها علیه هوش مصنوعی و حتی احتمال انقراض انسان بحث می‌کرد. این ایده آقای برنر را شگفت‌زده کرده بود، پس او تصمیم گرفت تا جایی که می‌تواند در مورد هوش مصنوعی و پیامدهای اجتماعی آن مطالعه کند.

او با نوشته‌های بیل گیتس (Bill Gates)، ایلان ماسک (Elon Musk) استیو وزنیاک (Steve Wozniak) و سایر رهبران تکنولوژی که پیش‌بینی‌های خود را در مورد آینده ارائه داده بودند آشنایی پیدا کرد. آقای برنر با مطالعه کتاب «انسان خداگونه» یووال نوح هراری (Yuval Noah Harari) توصیفی از آینده دید که در آن موجودات خداگونه جایگزین انسان‌ها شده‌اند، الگوریتم‌ها بر جهان حکومت می‌کنند و «دین داده‌ها» جایگزین انسان‌گرایی (humanism) و معنویت شده است.

خطر به مسلمانان و رنگین پوست‌ها نزدیک‌تر است

از نظر آقای برنر این دیدگاه نه تنها نادرست بود بلکه کفرآمیز به نظر می‌رسید. به همین دلیل هم او تصمیم گرفت برای تعدیل تغییر جهان با هوش مصنوعی، تلاش خود را بر روی ایجاد یک سازمان «پل سازی» متمرکز کند که قادر است به عنوان نیروی تعدیل کننده عمل کند. با این کار او قصد داشت از ایجاد این فکر در ذهن کارکنان حوزه تکنولوژی که آن‌ها باید چرخ اخلاقیات انسانی را دوباره اختراع کنند جلوگیری کند و به آن‌ها کمک کند در برابر فریبندگی سودهای نامحدود مقاومت کنند. 

او به من گفت: «علاقه نظام سرمایه‌داری تسخیر همه عوامل خارجی آن نیست و هیچ‌وقت هم چنین نبوده است. هدف این است که از بخش خصوصی و دولتی که شامل جهان ایمان هم می‌شود بهترین موارد را به دست بیاوریم، به این ترتیب می‌توانیم این عوامل خارجی را در نظر بگیریم و از جنبه‌های منفی آن‌ها اجتناب کنیم. درست مانند نفت و تغییرات آب و هوایی.»

دست انسان دراز شده به سوی دستی از تکنولوژی به شکل خدا گانه 2

زمان زیادی طول نکشید که آقای برنر اولین عضو گروه هوش مصنوعی و ایمان را از میان جوامع مذهبی و شرکت‌های نزدیک خود جذب کند. وقتی به دو مسجد بزرگ منطقه سیاتل مراجعه کرد متوجه شد آن‌ها خیلی جلوتر از او هستند. در بسیاری از موارد اعضای مسجدها از نزدیک با آسیب‌هایی که هوش مصنوعی ایجاد کرده بود آشنا شده بودند. یاسمین علی دانشمند رایانه و بنیان‌گذار انجمن مسلمانان Puget Sound می‌گوید: «پروفایل افراد رنگین‌پوست و مسلمانان ساخته شده است به همین دلیل هم این خیلی خیلی به آن‌ها نزدیک است.»

تغییر جهان با هوش مصنوعی: ایجاد ارتباط بین تکنولوژی و مذهب

آقای برنر در کنار چند تن از همکاران خود در طول دوران همه‌گیری کرونا زمان خود را صرف ایجاد برنامه آموزشی مقدماتی هوش مصنوعی مبتنی بر ایمان کرده است. او امیدوار است نسخه‌هایی از این برنامه را به کارکنان حوزه تکنولوژی و مجامع مذهبی ارائه دهد و به آن‌ها کمک کند زبان یکدیگر را یاد بگیرند. این برنامه شامل ویدئوهایی از سه بنیان‌گذار گروه هوش مصنوعی و ایمان است (یک کشیش، یک خاخام و یک مهندس هوش مصنوعی مسلمان) و در این مورد توضیح می‌دهد که چرا آن‌ها بر این باورند که لازم است جوامع مذهبی نقش فعال‌تری در بحث‌های اخلاقی و هوش مصنوعی ایفا کنند.  

کشیش دنی فوربس (Dani Forbess) سؤال‌های دانشمندان و فیلسوفان عضو کلیسای خود را به اشتراک می‌گذارد: «معنای انسان بودن چیست؟ آیا ما کاربر هستیم یا موجود؟» او در جواب به این سوالات در مورد داستان خلقت کتاب مقدس صحبت کرد که نشان می‌دهد انسان‌ها «در خلقت همکار هم هستند» و «در جهت خیر و نیکی عمل می‌کنند.»

هدف گروه هوش مصنوعی و ایمان

هدف اولیه گروه هوش مصنوعی و ایمان و سایر گروه‌هایی با عقیده مشابه که من در تورنتو، سن فرانسیسکو، لندن و جاهای دیگر دیده‌ام این است که نوعی فروتنی و حیث تاریخی (historicity) به صنعتی که اغلب هر دو این موارد را رد می‌کند تزریق کند. با توجه به احتمال تغییر جهان با هوش مصنوعی مسلماً مأموریت این گروه حفظ بقای خودشان است، زیرا از این طریق می‌توانند مطمئن شوند ادیان جهانی از نظر فرهنگی به هم وابسته بمانند و اینکه پیام و آموزه‌های چند قرن اخیر به خاطر بازسازی جهان از بین نروند. 

همچنین این یک پروژه به شدت انسان گرایانه است، تلاشی برای کسب نوع متفاوتی از دانش _ نه فقط دانش مبتنی بر ایمان، بلکه بر اساس سنت‌های ادبی، کلاسیک و شفاهی _ است که می‌تواند مهم‌ترین تحول تکنولوژی در زمان ما باشد. 

رابرت گراچی که یک دین‌شناس است به من گفت: «افرادی هستند که زندگی خود را صرف فکر کردن در مورد فرهنگ، مذهب و اخلاق می‌کنند. اگر واقعا به بحث اخلاقی اهمیت می‌دهید باید منابع مورد نیاز آن را فراهم کنید. در حال حاضر دولت ما آماده تأمین پول اضافی برای صنعت هوش مصنوعی است. چرا افرادی که فرهنگ، ادبیات، هنر و مذهب را درک می‌کنند درگیر گفتگوها در مورد آنچه قرار است ساخته شود و روش ساختن آن نمی‌شوند؟»

گسترش گروه هوش مصنوعی و ایمان

گروه هوش مصنوعی و ایمان در تلاش است این بحث‌ها را افزایش دهد و دامنه شرکت‌کنندگان در آن‌ها را نیز گسترده‌تر کند. اعضای این گروه قصد ندارند دستورالعملی برای نحوه ساخت هوش مصنوعی یا ایجاد اهداف سیاسی سفت و سخت ارائه دهند. آن‌ها فقط می‌خواهند فرصتی برای شرکت در گفتگویی پیدا کنند که بدون تردید و به صورت نامحدود زندگی درونی ما را تغییر داده است و می‌دانیم که تغییر جهان با هوش مصنوعی با سرعت زیادی در حال انجام است. اهداف این گروه به شکل کلاسیکی آزادی خواهانه است؛ آن‌ها نمی‌خواهند شاهد پیشرفت تکنولوژی باشند که به دنبال نظارت بیشتر، سرعت بخشیدن به افزایش نابرابری و محرومیت گسترده است. 

شبکه اد هوک این گروه به‌سرعت در سراسر جهان رشد کرده‌است. خیلی طول نکشید که متوجه شدم بحث‌هایی که آقای برنر ایجاد کرده است به زبان‌های مختلف در میان جوامع مذهبی در سنگاپور، عربستان سعودی، بانکوک و بسیاری از نقاط دیگر ترجمه شده و رواج یافته است. 

تکنولوژی فاقد فروتنی است

در گفتگوهایی که با اعضا گروه هوش مصنوعی و ایمان و سایر افرادی که برای رسیدن به این هدف تلاش می‌کنند داشتم همیشه از شفافیت اخلاقی آن‌ها شگفت‌زده می‌شدم. هر یک به روش خود سعی می‌کردند از سنت‌های مذهبی خودشان در جهت پیشبرد عدالت اجتماعی و مبارزه با بدترین انگیزه‌های نظام سرمایه‌داری استفاده کنند. به نظر می‌رسید آن‌ها با تواضعی تحسین‌برانگیز در مورد آنچه در مورد جهان نمی‌دانند و نمی‌توانند بدانند صحبت می‌کردند. این تواضعی است که در صنعت تکنولوژی (و شاخه‌های سیاسی و حقوقی آن) دیده نمی‌شود. 

در طول بررسی گزارشم درباره تغییر جهان با هوش مصنوعی اغلب به تجربه راب بارت (Rob Barrett) فکر می‌کردم. او در دهه 90 به عنوان پژوهشگر در IBM کار می‌کرد. یک روز او در حال ارائه تنظیمات پیش‌فرض حریم خصوصی به یک مرورگر وب جدید بود. آقای بارت گفت رئیسش فقط یک دستور به او داده بود: «کار درست را انجام بده.» آقای بارت باید تصمیم می‌گرفت «کار درست» چیست. آن زمان بود که به ذهنش رسید: «من به اندازه‌ای در مورد الهیات اطلاع ندارم که بتوانم یک مهندس خوب باشم.»  او همین حرف را به رئیسش هم زد و برای مطالعه در مورد عهد عتیق در‌خواست مرخصی کرد. اما سرانجام صنعت تکنولوژی را ترک کرد.

تغییر جهان با هوش مصنوعی

تغییر جهان با هوش مصنوعی: نفوذ هوش مصنوعی درون ذهن انسان

چند هفته پیش با آقای بوچر تماس گرفتم و نتیجه آزمایشی که در آن شرکت کرده بودم را پرسیدم، همان پژوهشی که سؤالات هستی گرایانه از الکسا و گوگل پرسیده می‌شد. او به من گفت با دیدن اینکه چه تعداد از شرکت‌کنندگان فورا احساس انسان نگاری (anthropomorphized) نسبت به دستگاه پیدا کرده‌اند تعجب کرده است، آن‌ها به شکلی از دستگاه‌هایی که توصیه‌های معنوی ارائه می‌دهند صحبت می‌کردند گویی آن‌ها رفقای هم نوع خودشان هستند. 

تعامل با دستیارهای مجازی برخی از عمیق‌ترین خاطرات شرکت‌کنندگانی با تمام پیش‌زمینه‌های مذهبی را برانگیخته بود (برای مثال مانند رفتن به کلیسا با والدین یا به خاطر آوردن جملات مورد علاقه پدر از کتاب مقدس) و آزمایش اغلب تبدیل به یک «حالت احساسی» عمیق می‌شد. سهولت دسترسی دستگاه به دنیای درونی مردم و افکار شخصی آن‌ها او را نگران کرده بود، این مثالی از روش تغییر جهان با هوش مصنوعی است.

آقای بوچر گفت: «در اینجا مواردی وجود دارد که باید در مورد آن‌ها احتیاط کنم. شما خاطرات افراد را می‌گیرید، به نوع تفکر آن‌ها در مورد جهان، بعضی از موضع‌های اخلاقی آن‌ها و نحوه نگرش آن‌ها در مورد زندگی خودشان دسترسی پیدا می‌کنید. ما نمی‌توانیم اجازه دهیم الگوریتم‌ها بر اساس آن افراد را بررسی کنند و با ارائه مواردی که به اخلاقیات مردم نزدیک است… برای مثال بگویند بر روی تبلیغات کنار این چیزها کلیک کنید.»

آقای بوچر متوجه هیچ یک از افراد غیر مذهبی به سادگی از نظر احساسی تحت تأثیر دستگاه‌ها قرار نگرفتند. برخی از آن‌ها از خانواده‌های مذهبی بودند اما هیچ‌کدامشان به دین خاصی اعتقاد نداشتند و وقتی با زبان تربیتی خود دوباره برخورد کردند به یاد دوران کودکی خود افتادند. او به من گفت این نشانه چیزی شبیه به اشتیاق است. «چیزی در اینجا وجود دارد که مردم آن را می‌خواهند.»

واکنش عاطفی نسبت به رایانه‌ها

با کمی ارفاق می‌توانیم بگوییم او اولین پژوهشگری است که در این زمینه مطالعه می‌کند. شری ترکل (Sherry Turkle) پروفسور M.I.T در کتاب «خود دوم» که در سال 1984 منتشر شد درباره این موضوع نوشت که چطور فرهنگ رایانه باعث ایجاد یک «واکنش عاطفی جدید» در مورد ویژگی‌های «غیرقابل توصیفی» می‌شود که انسان را از دستگاه‌ها متمایز می‌کند. 

او در این مورد نوشته است: «در حضور رایانه افکار مردم تبدیل به احساساتشان می‌شود. ما قدرت عقل را به رایانه می‌دهیم، اما در عین حال احساس هویت ما به صورت فزاینده‌ای بر روی روح و معنویت دستگاه‌های انسانی متمرکز می‌شود.» واکنش عاطفی که او توصیف می‌کند در مورد رد کردن رایانه‌ها نیست بلکه درباره پذیرفتن آن‌ها است. 

چندین دهه بعد از زمانی که دکتر ترکل آن کتاب را نوشته است رابطه انسان و ماشین پیچیده‌تر هم شده است. روح و روان ما بیشتر با داده‌ها و دستگاه‌هایمان در هم تنیده شده. وقتی به صفحه نمایشگر خود خیره می‌شویم درواقع در حال برقراری ارتباط با خاطرات، باروها و خواسته‌های خود هم هستیم.  

پروفایل رسانه‌های اجتماعی ما جایی که زندگی می‌کنیم، کسانی که دوست داریم، کمبودهایی که داریم و اتفاقی که دوست داریم بعد از مرگمان بیفتد را ثبت می‌کنند. هوش مصنوعی خیلی بیشتر از این هم می‌تواند انجام دهد، می‌تواند صدای ما را تقلید کند و افکار ما را بنویسد. می‌تواند بر اساس اطلاعات گذشته ما راه آینده را نشانمان دهد. 

تغییر جهان با هوش مصنوعی: جمع‌بندی

اگر بخواهیم در زمینه اصول اخلاقی در تکنولوژی پیشرفتی داشته باشیم، شاید باید دوباره به سراغ رومانتی‌سیسمی (romanticism) برویم که دکتر ترکل به آن اشاره کرده است. وقتی با سؤال چه چیزی ما را انسان می‌کند روبرو می‌شویم نباید از ادیان و معنویتی که دانش باستانی ما را می‌سازد غافل شویم. چه با آن‌ها موافق باشیم و چه مخالف باید بدانیم آن‌ها میراث مشترک ما هستند، بخشی از گذشته، حال و آینده بشریت. در زمان تغییر جهان با هوش مصنوعی باید مراقب میراث خود باشیم.

امتیاز به محتوای مقاله

امتیاز به محتوای مقاله

یک ستاره ← پنج ستاره

یک ستارهدو ستارهسه ستارهچهار ستارهپنج ستاره

میانگین امتیاز: ۵.۰۰ از ۵

تعداد رای ها: ۲

Loading...
نویسنده مقاله: Linda Kinstler

نویسنده مقاله: Linda Kinstler

لیندا کینستلر

خانم لیندا کینسلر، دانشجوی دکترای زبان در دانشگاه برکلی است، او یک نویسنده ازاد است که برای آتلانتیک و نیویورک تایمز قلم می زند.

اگر در متن این مقاله اشتباه تایپی و یا غلط املایی پیدا کرده اید، لطفا اشتباه را هایلایت کنید و از طریق فشردن Ctrl+Enter به ما اطلاع رسانی کنید.

۰ دیدگاه

ارسال دیدگاه

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

چهره مرد در نمای نزدیک

با استفاده از روش پذیرش رادیکال از درد رها شوید

احساسات دردناکی که از آن‌ها دوری می‌کنید در خفا پیچیده‌تر می‌شوند. وقتی با غم‌ها و مشکلات خود مواجه شوید می‌توانید زندگی خود را پس بگیرید.

رهبری تیم

ایجاد و رهبریِ “تیم های هدف محور”

در گذشته همه مسئولیت ها بر عهده مدیران بود. اما جهان پیرامون ما به سرعت در حال تغییر است و سبک کاری تیم ها نیز باید با توجه به همین پیشرفت تغییر کند و از حالت سنتی خارج شود. در دنیای مدرن، روش های هدف محور می تواند به رشد تیم شما کمک کند.

demi singleton

مصاحبه با دمی سینگلتون ستاره فیلم شاه ریچارد

دمی سینگلتون ستاره فیلم «شاه ریچارد» در مورد بازی کردن نقش بهترین ورزشکار تاریخ صحبت می‌کند.

Ten important scientific events 2021

مهمترین اتفاقات علمی سال 2021

اکتشافات هیجان انگیز، روشهای نوین مقابله با کووید 19، پیشرفتهایی در اکتشافات فضایی و 10 اتفاق مهم علمی در سالی که گذشت.

omicron

امیکرن: آغاز سالی غم انگیز یا شروعی بر پایان همه گیری کرونا

دانشمندان به طرز محتاطانه ای خوشبین هستند که گسترش سویه امیکرون با وجود میزان سرایت بالا می تواند نشانه ای از کاهش قدرت ویروس کرونا باشد.

brain cells

رشد سلول های عصبی مغز: درباره مغز چه میدانید؟

ما تا حدودی می توانیم با مشکل زوال شناختی مقابله کنیم. نکته اینجاست که باید یاد بگیریم چطور این کار را انجام دهیم.

the-best-video-games-of-2021

بهترین بازیهای ویدئویی سال 2021

هنگامی که شرکتهای بزرگ سازنده بازی، دچار شکست های اخلاقی و فرهنگی می شوند، بازیهای مستقل و کوچکتر بازار را در دست میگیرند.

Pablo-Picasso-painted

چرا ما شیفته آثار هنری بدیع هستیم؟

ما به خاطر دلایل زیادی به سمت هنر جذب می‌شویم اما یکی از قدرتمندترین این دلایل تجربه احساس برقراری ارتباط با ذهن بزرگ یک هنرمند است.

Pin It on Pinterest

بازخورد
بازخورد
چطور به این سایت امتیاز می دهید؟
آیا دیدگاه اضافه ای دارید؟
بعدی
در صورت تمایل برای پیگیری از سمت ما، ایمیل خود را وارد کنید
برگشت
ارسال
از ارسال نظر شما سپاس گذاریم.

گزارش خطای املایی

متن زیر برای ویراستاران ما ارسال خواهد شد: