پردازش زبان طبیعی

آنچه در این صفحه می خوانید:

• آشنایی با پردازش زبان طبیعی
• کاربرد پردازش زبان طبیعی
• پردازش زبان طبیعی در پایتون

آشنایی با پردازش زبان طبیعی

پردازش زبان طبیعی (NLP) زیر مجموعه ای از زبان شناسی، علوم کامپیوتر، مهندسی اطلاعات و هوش مصنوعی است که به تعامل بین علم داده و زبان های انسانی (طبیعی)، به ویژه نحوه برنامه ریزی رایانه ها برای پردازش و تحلیل مقادیر زیادی از داده های زبان طبیعی مربوط می شود. چالش ها در پردازش زبان طبیعی اغلب شامل شناخت گفتار، درک زبان طبیعی و تولید زبان طبیعی است. پردازش زبان طبیعی (NLP) زیر مجموعه ای از هوش مصنوعی (AI) است که هدف آن بهبود ارتباط بین انسان و کامپیوتر است. مردم به زبان هایی که توسط قوانین مستعد خطا تعریف شده اند. آنها اشتباه می کنند و از عبارات غیر منطقی استفاده می کنند، اما هنوز همدیگر را خیلی خوب درک می کنند. از طرف دیگر رایانه ها به ساختار کاملی احتیاج دارند. از آنجا که معدودی از ما می توانند از دودویی خام استفاده کنیم و ماشین هنوز هم با مفهوم طعم سرسختانه برخورد می کنند، قطعاً شکافی وجود دارد.

موفقیت در تجارت به تجزیه و تحلیل داده ها بستگی دارد، زیرا این امر جهت پیشرفت را فراهم می کند. اما برخلاف صفحات گسترده و جداول، زبان طبیعی منبع غیرساختاری است. داده های متنی و کلامی که مردم هر روز تولید می کنند از قدرت پردازش انسانی فراتر می رود. بنابراین، راه حل این است که به طور خودکار اطلاعات مرتبط را استخراج کنید. پردازش زبان طبیعی به ماشین ها اجازه می دهد تا معنای پیچیده را در جملات ما بفهمند. این کار در پس زمینه خدمات بسیاری از چت بات از طریق دستیاران مجازی تا ردیابی روند رسانه های اجتماعی انجام می شود. نحوه پردازش زبان طبیعی به دو روش اصلی است که در پردازش زبان طبیعی مورد استفاده قرار می گیرند که عبارت است از:

• ترتیب کلمات در یک جمله برای ایجاد گرامری( NLP از syntax برای ارزیابی معنی از زبانی مبتنی بر قواعد دستوری استفاده می کند.)
• تکنیک های نحوی استفاده شده شامل تجزیه (تجزیه گرامری برای یک جمله)
• تقسیم بندی کلمه (که یک متن بزرگ را به واحدها تقسیم می کند.)
• شکستن جمله (که مرزهای جمله را در متون بزرگ قرار می دهد.)
• تقسیم بندی مورفولوژیکی (که کلمات را به گروه ها تقسیم می کند.)
• ساقه (که کلمات را با تورم در آنها به اشکال ریشه ای تقسیم می کند.)

NLP معنایی شامل استفاده و معنی پشت کلمات است. برای درک معنی و ساختار جملات از الگوریتم ها استفاده می کند. تکنیک هایی که NLP با معنی شناسی به کار می برد عبارتند از:

• عدم تفسیر کلمه (که معنای کلمه را براساس متن به دست می آورد)
• به رسمیت شناختن موجودیت (که مشخص کننده کلماتی است که می توانند در گروهها طبقه بندی شوند)
• تولید زبان طبیعی (که از یک پایگاه داده برای تعیین استفاده می کند) استفاده می کند.

رویکردهای فعلی NLP مبتنی بر یادگیری عمیق است، نوعی هوش مصنوعی که در داده ها از الگوهای موجود برای بهبود درک برنامه استفاده و استفاده می کند. مدلهای یادگیری عمیق برای آموزش و شناسایی همبستگی های مرتبط به مقادیر زیادی از داده های برچسب نیاز دارند و جمع آوری این نوع مجموعه داده های بزرگ یکی از اصلی ترین موانع NLP در حال حاضر است. رویکردهای اولیه به NLP شامل رویکرد مبتنی بر قوانین است، که در آن الگوریتم های یادگیری ماشین ساده تر گفته شده است که چه کلماتی و عباراتی را برای جستجو در متن جستجو می کنند و هنگامی که این عبارات ظاهر می شوند پاسخ های خاص داده می شوند. اما یادگیری عمیق یک رویکرد انعطاف پذیر و شهودی است که در آن الگوریتم ها یاد می گیرند قصد سخنرانان را از بسیاری از نمونه ها مشخص کنند، تقریباً مانند این که کودک چگونه زبان انسانی را یاد بگیرد.

سه ابزاری که معمولاً برای NLP استفاده می شود شامل NLTK ،Gensim و Intel NLP Architect است. NTLK، ابزار زبان طبیعی، یک ماژول پایتون اوپن سورس با مجموعه داده ها و آموزش است. Gensim یک کتابخانه پایتون برای مدل سازی موضوع و نمایه سازی اسناد است. Intel NLP Architect همچنین یکی دیگر از کتابخانه های پایتون برای یادگیری ژرفای توپولوژی ها و تکنیک ها است.

کاربرد پردازش زبان طبیعی

کاربرد پردازش زبان طبیعی شامل تجزیه و تحلیل، درک و در نهایت تولید پاسخ برای ایجاد ارتباط با سیستم ها با استفاده از انسان و در عوض از زبان های رایانه ای برای متن می باشد. NLP اغلب از معنایی (مردم، مکانها، اشیا) مفاهیم (کلمات و عباراتی که بیانگر یک ایده خاص است)، موضوعات (گروه هایی از مفاهیم همزمان) یا احساسات (مثبت، منفی، بی طرف) برای تجزیه جملات برای اشخاص استفاده می کند. امروز NLP در ابزار تحلیلی متن و رسانه های اجتماعی برای تجزیه و تحلیل موضوعات و نظرات استفاده می شود. یک مورد محبوب برای NLP در حال حاضر تجزیه و تحلیل توییت ها یا مرور سایت ها برای بازخورد محصولات است. به عنوان مثال، یک بخش بازاریابی برای یک شرکت الکترونیکی ممکن است یک کمپین برای شارژر های قابل حمل جدید با قیمت مناسب براساس فروش را راه اندازی کند. با این حال، در واقعیت ممکن است مشتری محصول را دوست نداشته باشد و ممکن است از آن استفاده کند. اگر شرکت بتواند آن توییت ها و نظرات را با استفاده از فناوری های NLP تجزیه و تحلیل و بررسی کند، قادر به درک آنچه مردم در مورد آن صحبت می کنند، احساسات آنها (مثبت، منفی، بی طرف) است. اگرچه تجزیه و تحلیل متن برای بازاریابی بسیار مهم است، اما استفاده دیگر از طبیعی پردازش زبان برای تولید زبان برای فعال کردن ارتباط با سیستم ها با استفاده از زبان بشر این در برنامه های تعاملی مانند چت بات ها یا موارد دیگر یافت می شود. برنامه های کاربردی مشتری، مانند مسیریابی مشتری به یک عامل خاص بر اساس وضعیت و آنچه گفته شد.

با NLP می توان کارهای خاصی مانند گفتار خودکار و نوشتن متن خودکار را در زمان کمتری انجام داد. به دلیل وجود داده های بزرگ متن در اطراف ما، چرا ما از رایانه ها تمایل و توانایی بی رویه برای اجرای چندین الگوریتم برای انجام کارها در هیچ زمان استفاده نمی کنیم. این کارها شامل برنامه های دیگر NLP مانند خلاصه خودکار (برای تولید خلاصه متن داده شده) و ترجمه ماشینی (ترجمه یک زبان به زبان دیگر) می باشد. ترجمه ماشین یک برنامه عظیم برای NLP است که به ما امکان می دهد موانع برقراری ارتباط با افراد از سراسر جهان را بر طرف کنیم و همچنین کتابچه های راهنمای فنی و کاتالوگ هایی که به زبان خارجی نوشته شده است را درک کنیم. Google Translate هر روز توسط 500 میلیون نفر برای درک بیش از 100 زبان جهان استفاده می شود. فناوری پردازش زبان طبیعی حتی برای نگهداری هواپیماها نیز مورد استفاده قرار می گیرد. این مکانیک نه تنها می تواند به مکانیک اطلاعات در کتابچه های راهنمای هواپیماهای عظیم کمک کند بلکه می تواند در توصیف مشکلات گزارش شده بصورت کلامی یا دست نوشته شده از خلبانان و انسانهای دیگر نیز معنی پیدا کند. اگرچه این مسئله پیچیده است، حتی کارهایی انجام می شود که به کمک پردازش زبان طبیعی در زمینه کار پیش بینی پلیس برای مشخص کردن انگیزه در جرایم وجود داشته باشند.

از آنجا که رهبران صنعت همچنان به آزمایش و توسعه پیشرفتهای در زمینه پردازش زبان طبیعی مانند تقسیم الکسا آمازون با استفاده از یک شبکه عصبی برای انتقال یادگیری می پردازند، می توان انتظار داشت که NLP در آینده نزدیک حتی بهتر و تأثیرگذارتر برای تجارت باشد.

پردازش زبان طبیعی نیروی محرکه برنامه های متداول زیر است:

• برنامه های ترجمه زبان مانند Google Translate
• پردازنده های Word مانند Microsoft Word و Grammarly که از NLP استفاده می کنند تا دقت گرامری متن ها را بررسی کنند.
• برنامه های پاسخ دهی صدای تعاملی (IVR) که در مراکز تماس برای پاسخ به درخواست های کاربران خاص استفاده می شوند.
• برنامه های دستیار شخصی مانند OK Google ،Siri ،Cortana و Alexa.

پردازش زبان طبیعی در پایتون

مجموعه ابزار زبان طبیعی (NLTK) محبوب ترین کتابخانه برای پردازش زبان طبیعی (NLP) است که در پایتون نوشته شده است و جامعه بزرگی در پشت آن وجود دارد. NLTK همچنین یادگیری بسیار آسان است، در واقع ساده ترین کتابخانه پردازش زبان طبیعی (NLP) است که شما استفاده خواهید کرد. اگر از Windows یا Linux یا Mac استفاده می کنید، می توانید NLTK را با استفاده از pip نصب کنید:

$ pip install nltk

برای بررسی اینکه NLTK به درستی نصب شده است می توانید ترمینال پایتون را باز کرده و موارد زیر را تایپ کنید:

Import nltk

اگر همه چیز خوب پیش برود، این بدان معنی است که کتابخانه NLTK را با موفقیت نصب کرده اید.

پس از نصب NLTK، باید بسته های NLTK را با اجرای کد زیر نصب کنید:

import nltk
nltk.download()

با استفاده از دانلودر NLTK می تواند انتخاب کند که چه بسته هایی را باید نصب کند. شما می توانید تمام بسته ها را نصب کنید زیرا اندازه های کوچک دارند، بنابراین مشکلی وجود ندارد.