我想完成这样图形交互，暂且称其为“交互式散点分类”
条件：已知一组点集及每个点所属的初始类别；
终极目标：点集的最优分类；关键环节：图形交互；

我用图形展示出所有点的坐标及分类情况（以下的链接有我做的一个例子http://www.zeuux.org/group/scipython/bbs/content/52956/），现在我想通过图形交互实现以下功能：
1.能够通过鼠标选取某个点，而后查看/修改其所属类别
2.能够通过鼠标连续选取某个点（类似于选取多个文件的操作），而后修改其所属类别
3.类别修改后可以通过类似于刷新的操作，显示出修改后的分类情况
4.实现不了第3也没关系，重要的是修改后的分类能存在内存中，能程序被继续使用

不会是要自己编GUI吧？

就算自己编GUI好像也不好实现

自己编写GUI是必须的了，你有几种选择：

绘图部分可以用matplotlib或者Chaco，书中比较详细地介绍了如何用Chaco做这样的选取工作。

界面部分可以用wxPython, pyQt，或者用TraitsUI。书中比较详细地介绍了如何用TraitsUI制作界面。

因此如果不熟悉GUI编程的话可以试试TraitsUI做界面。

用TraitsUI做界面的话，还是要选择绘图库，如果你已经在matplotlib中做了比较多的工作的话，你可以参考7.6.2节，将matplotlib嵌入到TraitsUI界面中。

matplotlib响应选取事件的话，可以参考下面的例子：

http://matplotlib.sourceforge.net/examples/event_handling/pick_event_demo2.html