看Python和Go语言对Unicode的支持

Unicode是一个支持世界上绝大多数语言的字符系统。支持Unicode的编程语言更容易实现全球化(internationalization)和进行本地化(localization)。那么支持Unicode需要编程语言具有什么样的特性呢,让我们来以Python 3和Go语言为例子做个探究。 ...

December 9, 2017

谈谈字符集和Unicode

文本处理(text processing)是可以说计算机的最重要的应用领域之一。要使计算机能够处理文本,必须将文本中的字符映射成计算机可以处理的单元,也就是字节。早期的计算机系统都采用ASCII字符集,映射方法比较简单,一个字节就对应一个ASCII字符。后来发展到了Unicode,字符集太大,映射方法(也就是编码方法)变得多种多样,常见的如:UTF-8,UTF-16,UTF-32等等。 此文写得比较混乱,有比较大的改进空间。需要厘清各种概念,并增加例子和图示。 ...

December 3, 2017