「ウェブ上における使用実態統計から改定常用漢字を考える」～高精度時間軸コーパスで見る「新しいウェブ」の言語現象～
•Download as PPTX, PDF•
2 likes•33,964 views
概要：現行の常用漢字表が制定されたのは２９年前の１９８１年。それ以来、情報機器の普及、インターネットの発展によって、漢字をはじめとすることばの使用実態はどのように変わってきているのだろうか。今回、ウェブ上の言語現象を、正確な時間と共に記録した「高精度時間軸ウェブコーパス」をバイドゥ独自に構築し、ブログやＢＢＳなどの「新しいウェブ」における漢字の使用実態を調査した。若者言葉の最先端において起こっている「変化」に照らし、改定常用漢字を見つめ直すきっかけとしたい。
Recommended
Recommended
More Related Content
Featured
Featured (20)
「ウェブ上における使用実態統計から改定常用漢字を考える」～高精度時間軸コーパスで見る「新しいウェブ」の言語現象～
- 2. はじめに
- 3. 新しい常用漢字選定の流れ 上位2500位以内 (1885字該当) 残す 常用漢字 残す 55字 2501位以下 (60字該当) 候補漢字Ａ 削除 5字 3500字 上位1500位以内 候補漢字S 表外漢字 追加字種候補 188字 上位1501-2500位 候補漢字A 1次試案 191字 上位2501-3500位 候補漢字B 2次試案 196字
- 5. 漢字出現頻度調査(ウェブ) について データＡ：ブログ・ニュース記事等 平成１９年２，４，６月 データＢ：掲示板サイトの投稿 平成１９年２，４，６月 ※ 蠶, 醴, 欝など，アスキーアートに用いられる漢字が混入 より長期間・高品質のウェブコーパスが必要
- 6. 高精度時間軸コーパス
- 7. 高精度時間軸コーパスとは ブログや掲示板などウェブ上の言語現象を正確な時間と共に記録した大規模文書集合 本文 時間（秒単位） URL 2008-01-02T11:34:11 あけましておめでとうございます。 こちらではかなりお久しぶりですよね。 http://f22.aaa.livedoor.jp/~erel/ealis/ealis.cgi?lapse;start=110;show=868 2008-01-01T20:52:32 明けましておめでとうございます。 こちらへは長らくご無沙汰しておりまして申し訳ありません。 http://f22.aaa.livedoor.jp/~erel/ealis/ealis.cgi?lapse;start=110;show=868
- 8. 高精度時間軸コーパス – 構築 対象１：電子掲示板(BBS)データ -> “XXXX年XX月XX日”などの日付・時間表現を手がかりに抽出 (正規表現) -> メタデータ (RDF, RSS, ATOM) を基に抽出 対象２：ブログデータ <item> <title>中国上海でのソフトウェア・エンジニア生活</title> <link>http://blog.lilyx.net/2009/05/07/software-engineer-in-shanghai-china/</link> <pubDate>Thu, 07 May 2009 09:43:48 +0900</pubDate> <dc:creator>matton</dc:creator> <description><![CDATA[ バイドゥ(百度)の上海研究開発センターにリロケーションして３週間…
- 9. 高精度時間軸コーパス – 規模 対象１（掲示板データ） 約380万行、1億4600万文字 対象2（ブログデータ） 約140万行、1億1900万文字 Google日本語版開始 Web2.0 mixi開始 twitter流行 ブログ普及 2ちゃんねる開設 ヤフオク開始 バイドゥ日本語版開始 はてなダイアリー
- 10. 高精度時間軸コーパス – 特徴 大規模… バイドゥの有するウェブデータから抽出 （本発表ではごく一部を使用） 長期間… 1992年～2010年7月の言語現象を収録 時間軸… 言語現象の発生時間を秒単位で記録 高品質… 高精度な文フィルタリング -> アスキーアートなどのノイズの混入を最小限に 近日公開予定 フィードバックお待ちしております
- 12. ウェブにおける漢字使用実態
- 13. 文字種の時間軸変動 ひらがな 漢字 カタカナ その他 英数字 対象１：掲示板データ 対象２：ブログデータ カタカナ 漢字の割合が増加し ひらがなの割合が減少している
- 14. ウェブで特に使われやすい漢字 (Top 100) 今 昨 良 更 無 回 韓 皆 週 買 俺 休 頑 楽 曜 最 好 除 願 板 購 試 日 画 奴 掲 疲 使 予 思 笑 終 頂 麺 気 削 詳 撮 暑 普 付 募 毎 萌 遅 了 寝 雨 初 糞 勉 達 寒 久 鯖 諦 感 索 全 様 録 曲 嬉 参 訳 携 店 番 紹 覧 噛 稿 凄 変 近 完 読 写 欲 雰 売 茨 某 昼 友 綺 忙 早 駅 販 食 痩 厨 習 醤 夏 新 嫌 貼 登 常用漢字外 2010年追加 ジップの法則：出現確率と順位は反比例する ->漢字出現頻度調査 (3) との出現順位の比を使用
- 15. ウェブで特に使われにくい漢字 (Top 50) 世 争 訊 蔵 藩 声 摑 平 者 瘦 子 立 門 父 民 俱 権 家 助 吉 小 官 江 代 皇 年 吞 百 嚙 一 搔 之 国 噓 政 頰 彼 八 衛 軍 兵 七 六 郎 四 九 三 二 五 十 常用漢字外 2010年追加
- 16. ウェブ漢字の時間推移
- 17. 「ウェブ漢字」をさらに見る 新 p1 = 0.358 p2 = 0.400 ２区間の尤度比を計算，差が大きい漢字に注目
- 19. 「ネットスラング」に関する漢字 萌 厨 鯖 貼 糞 俺 板 掲 笑
- 20. ウェブにおける「笑い方」の変化 2001年 このスレにどっぷりはまってたことを再確認（藁 http://0ch.squares.net/0verflow/test/read.cgi/erog/986222910/263-363 そう、オレはガムテープなんだよ。藁 http://yasai.2ch.net/wres/kako/988/988384346.html 2003年 こんにちは☆ 心の色診断やってみましたぁ。（笑） http://otd2.jbbs.livedoor.jp/281220/bbs_tree?base=169 鶴女ってうちの駅やん（ｗ http://otd2.jbbs.livedoor.jp/281220/bbs_tree?base=169 2008年 うはｗｗｗｗいいもん持ってるじゃねーかｗｗｗ http://rher75288.domainnamesnow.net/s9cnfmvi/2009/04/ 何とｗｗ観にいかねばｗｗいつからいつから？ http://jbbs.m.livedoor.jp/b/i.cgi/radio/5418/1240187698/
- 22. 「季節型・密着型」漢字 嬉 綺 噛 痩 諦 醤 麺
- 23. 「ネットスラング漢字」「季節型・密着型漢字」 ネットスラング漢字 萌 厨 鯖 糞 俺 貼 … -> 流行り廃りが大きく，慎重に検討すべき 季節型・密着型漢字 嬉 綺 噛 醤 諦 痩 麺 … -> ネット上の１次情報の増加に従い重要に 今後も増加傾向にあり
- 24. 電子商取引（ＥＣ）系 店 売 販 購 稼 贈 舗 品 料
- 25. 「ＥＣ系漢字」 ＥＣ系漢字 店 売 販 購 稼 贈 舗… -> ＥＣ，オークション，アフィリエイトの発展により 今後ますます重要に
- 26. まとめ 「新しいWeb」における漢字使用実態を明らかに 手法:「高精度時間軸ウェブコーパス」から ブログ・掲示板の漢字使用変化を調査 結果:「季節型・密着型」「ＥＣ系」漢字が重要 -> 使用頻度の変化を考慮に入れる必要