آموزش 149,000 واژه به یک ماشین، به 22 زبان

یک واژه، و همهٔ شکل‌هایی که به خود می‌گیرد

WordChess روی تخته‌ای 25×25 با فرهنگ لغتی انگلیسی شامل 148,941 واژه بازی می‌شود ⁶؛ مدخل‌ها به‌طور میانگین 8.6 حرف دارند و بلندترینشان به 27 حرف می‌رسد. این بخش آسان کار است. فهرست واژه‌های مجاز چیزی جز مجموعه‌ای از رشته‌ها نیست که بازی آن‌ها را می‌پذیرد. بخش جالب این است که به بازیکن بگوییم رشته‌ای که روی تخته است چه معنایی دارد، و این کار را هم‌زمان در بیست‌ودو زبان انجام دهیم.

واژه‌نگاران مرزی روشن میان بن‌واژه (lemma) و صورت‌های صرفی آن می‌کشند. بن‌واژه همان سرواژه‌ای است که آن را جست‌وجو می‌کنید: run (دویدن)، house (خانه)، be (بودن). پیرامون آن، صرفی از صورت‌های ظاهری می‌چرخد: runs، ran، running. هر یک همان معنای هسته‌ای را دارد، اما برای نقش دستوری متفاوتی آراسته شده است. ³ فرهنگ لغت نثر خود را صرف بن‌واژه می‌کند و سایه‌ها را وامی‌گذارد تا به خانه اشاره کنند.

اینکه یک واژه چند سایه بیفکند به زبان بستگی دارد. انگلیسی زبانی تحلیلی است: بر ترتیب واژه‌ها و واژه‌های کمکی کوچک تکیه می‌کند، پس یک فعل به‌ندرت بیش از چند صورت دارد. فنلاندی زبانی پیوندی است و معنا را با چسباندن پسوندها به یک ستاک می‌سازد. یک اسم فنلاندی، پیش از آنکه پایانه‌های ملکی و واژه‌بست‌ها روی آن انباشته شوند، برای حدود پانزده حالت، در مفرد و جمع، صرف می‌شود؛ شمار عملی صورت‌های متمایز به هزاران می‌رسد. ⁴ مجاری یک عبارت کامل انگلیسی، in my house (در خانه‌ام)، را در یک واژه می‌گنجاند: házamban. ⁵

تعریف‌ها کجا زندگی می‌کنند

تعریف‌ها از ویکی‌واژه (Wiktionary) می‌آیند، فرهنگ لغت آزادی که هر کسی می‌تواند ویرایشش کند. این فرهنگ عظیم و چندزبانه است: این پروژه بسیار بیش از صد ویرایش زبانی فعال و ده‌ها میلیون مدخل را در بر می‌گیرد که داوطلبان، و نه یک هیئت ویراستاری با دستمزد، به‌طور مشارکتی نوشته‌اند. ¹ برای بازی‌ای که به 22 زبان اجرا می‌شود، هیچ واژه‌نامهٔ آزاد دیگری از نظر پوشش به آن نزدیک هم نمی‌شود.

اما پوشش روی کاغذ به معنای پوششی نیست که بتوان آن را خواند و نشان داد. ویکی‌واژه صورت‌های صرفی را به شیوه‌ای ذخیره می‌کند که ویراستاران انسانی را از نوشتن یک توضیح برای ده هزار بار معاف کند. به جای نوشتن کامل یک تعریف، مدخلی که بن‌واژه نیست یک الگوی «صورتِ» (form-of) دارد، اشاره‌گری کوچک که در عمل می‌گوید: «این صورت دستوری خاصی از آن بن‌واژه است». ² مدخل smoulders (می‌سوزد و دود می‌کند) نثر نیست؛ الگویی است که به صورت «third-person singular simple present form of smoulder» (صورت سوم‌شخص مفرد حال سادهٔ smoulder) نمایش داده می‌شود. ¹

این اشاره‌گرها خطای گردکردن نیستند. در ویکی‌واژهٔ انگلیسی، از حدود 1.27 میلیون تعریف، نزدیک به 478,000، یعنی بسیار بیش از یک‌سوم، تعریف‌های «صورتِ» هستند و نه معناهای نوشته‌شده. ¹ داده‌ها آنجا هستند. فقط تا شده‌اند.

توضیح، باز کردن تای الگو است

پس چالشی که اهمیت داشت هرگز این نبود که «واژه وجود ندارد». چالش این بود که معنای واژه درون الگویی نشسته بود که یک تجزیه‌گر ساده‌انگار دورش می‌انداخت. تعریف‌های WordChess با خواندن فایل‌های خام ویکی‌واژه و گسترش الگوهای صرفی، زبان به زبان، ساخته شدند؛ به تجزیه‌گر آموخته شد که هر اشاره‌گر چه معنایی دارد و آن را به توضیحی ساده بازنویسی کند. ⁶

هر زبان صورت‌هایش را پشت سازوکاری متفاوت پنهان می‌کند. اسپانیایی صورت‌های فعلی را پشت {{forma verbo}} جا می‌دهد که به «verbal form of X» (صورت فعلیِ X) ترجمه می‌شود. آلمانی برای صورت‌های صرف‌شدهٔ اسمی و فعلی از {{Grundformverweis Dekl/Konj}} استفاده می‌کند. فنلاندی بر {{taivutusmuoto}} تکیه دارد. روسی اغلب هیچ الگوی صورتی ذخیره نمی‌کند؛ واژهٔ صرف‌شده یک تغییرمسیر ساده است (собаки → собака) که باید دنبالش کرد تا توضیح «صورتِ» به دست آید. ⁶ هر قرارداد را که مدیریت کنید، پوشش جهش می‌کند.

برگرفته از یادداشت‌های طراحی و ساخت این پروژه. درصدها سهم مدخل‌های فرهنگ لغت را نشان می‌دهند که تعریفی قابل استفاده یا توضیح «صورتِ» حل‌شده دارند.

یک رشته، و جمله‌ای دربارهٔ آن

ارزش دارد صادقانه بگوییم بازی اکنون چه چیزی در اختیار دارد. وقتی WordChess نشان می‌دهد که собаки صورتی از собака، به معنای «سگ»، است، هیچ چیزی را درک نکرده است. رشته‌ای را به رشته‌ای دیگر، یعنی یک توضیح، نگاشته است، با دنبال کردن همان اشاره‌گرهایی که یک ویراستار انسانی به جا گذاشته بود. این بن‌واژه‌یابی (lemmatization) است، اسب بارکش پردازش زبان طبیعی: فروکاستن یک صورت ظاهری به پایهٔ آن تا ماشین چیزهای متمایز کمتری برای پیگیری داشته باشد. ⁷

این نوعی دانستن واقعی و سودمند است. به بازی اجازه می‌دهد در آتن یا آمستردام، بی‌آنکه واژه‌نگاری در استخدام داشته باشد، به پرسش «این واژه چیست؟» پاسخ دهد. اما این دانستن از جنس جست‌وجو است، نه از جنس معنا. توضیح وعده‌ای است که کسی با خواندنش واژه را بازخواهد شناخت. ماشین وعده را نگاه می‌دارد؛ خواننده معنا را فراهم می‌کند.